人工智能“新革命”!ChatGPT竟然出现在论文共同作者栏,却惨遭顶刊“封杀”!
时间:2023-04-12 20:47:47 热度:37.1℃ 作者:网络
近期,人工智能(AI)聊天工具ChatGPT火遍全球,来自全球各地的用户很兴奋的展示着ChatGPT的逆天技能,包括写诗、写代码、做策划、改论文等等。据报道,ChatGPT仅用了两个月就达到1亿活跃用户数,成为史上用户增长速度最快的应用程序。
由于ChatGPT对人类语言和对话逻辑的理解,对回答内容进行“生成式”创作。ChatGPT竟然通过了美国具有极大挑战性的三大专业考试:美国医学执业考试(USMLE)、律师资格证考试、沃顿商学院MBA考试。ChatGPT的应用功能远不止医学问答或在线问诊,在临床试验方案设计、论文写作、诊疗方案提供等众多服务展示其“逆天”功能。
1,ChatGPT医学问答/在线问诊
近期,发表在JAMA杂志上的一项研究,通过ChatGPT进行在线对话,旨在对心血管疾病预防建议进行探讨。研究人员设立了25个具体问题,涉及到疾病预防概念、风险因素咨询、检查结果和用药咨询等。每个问题均向ChatGPT提问3次,记录每次的回复内容。
每个问题的3次回答都由1名评审员进行评定,评定结果分为合理、不合理或不靠谱,3次回答中只要有1次回答有明显医学错误,可直接判断为“不合理“。
结果显示,ChatGPT的合理概率为84%(21/25)。然而,ChatGPT在预防措施推荐不合理或概念解释不清晰等错误表现。值得注意的是,仅从这25个问题的回答来看,ChatGPT在回答心血管预防问题的结果较好,具有辅助临床工作的潜力,有助于加强患者教育,减少医生与患者沟通的壁垒和成本,但尚存在诸多问题需要解决,比如医学概念不清楚,预防措施推荐不合理等。
2,ChatGPT写医学论文
ChatGPT以其强大的文本创作能力,引发医疗界的关注。梅斯医学笔者也体验了ChatGPT,相比市面上其他聊天机器人,其功能更加多样,例如可以按照要求写诗、写讲话稿、新闻稿甚至写代码,甚至统计,专业论文也能干。
“写一篇有关DS-8201治疗HER2低表达的乳腺癌的临床研究方面的论文,前言该怎么写?”
一看写作风格,就知道应该吸收了大量的中文文献的资料。
当改为英文时,英文写的比中文略好!详细见:聊天机器人ChatGPT出圈,能在医学领域干点啥?#黑科技#
医学领域的研究人员对ChatGPT可谓是达到了痴迷的程度。美国已经有大学生用ChatGPT写论文,获得了第一名。来自西班牙的研究人员使用ChatGPT进行辅助论文写作,该论文旨在测试 ChatGPT的写作能力,并且论文内容被相关的学术期刊所接受。
另外,ChatGPT竟然以作者身份出现在了学术论文中。发表于Nurse Education in Practice的一篇关于人工智能在护理教育方面的应用文章,ChatGPT同样被列为第二作者。
Nature、Science多个顶级刊物纷纷开始对ChatGPT出台使用限制措施。Science明确禁止将ChatGPT列为合著者,且不允许在论文中使用ChatGPT所生产的文本。
Nature也发表声明,明确表示:任何大型语言模型工具(如ChatGPT)都不能作为论文作者,如在文章中使用过相关工具,需要在“方法“或”致谢“等位置有明确说明。这项要求目前已经被加入Nature的作者投稿指南中。
另外,由于ChatGPT写论文无敌技能,美国高校已“如临大敌”。一项调查显示,现在美国89%的大学生都是用ChatGPT做作业,目前,纽约教育系统全面“封杀”了ChatGPT。据《纽约时报》报道称,在全美范围内,大学教授、系主任和管理人员已经开始对授课进行大修,ChatGPT促使教学和学习发生了潜在的巨大转变。一些教授正在重新设计他们的课程,包括更多的口试、小组工作和手写评估,而不是打字的评估。
据每经报道,在北京、上海、四川等地的重点大学的一线教师正密切关注学生对于ChatGPT的使用情况。有老师明确表示,已经发现有学生用ChatGPT撰写论文。某位高校老师甚至直言,估计今年开学后会出现一些ChatGPT所引发的学术乱象问题。
时至今日,人类仍然在探索神秘的医学领域。ChatGPT在复杂的医学领域的适用场景仍然具有很大的想象力。Nature发表社论,针对ChatGPT等大型语言模型产品在科学研究中的应用,提出5大重点事项。
1、坚持人工验证
对话式的人工智能回答专业问题,可能带来不准确、抄袭等问题。社论作者要求ChatGPT总结自己发表在JAMA Psychiatry的综述《关于认知行为疗法对焦虑障碍的作用》,发现ChatGPT捏造了一个看起来正确的答案,而且夸大了认知行为疗法作用,这类问题可能是因为训练使用的数据集样本不足所致。
因此,对于研究中使用到ChatGPT,人工核验步骤必不可少,甚至必要时可能需要禁用相关程序。因为,人类需要对科学实践负责。
2、制定问责制度
科学论文撰写过程中,如果使用了ChatGPT,需要在作者贡献说明和致谢部分明确结实,在论文选题、数据分析等步骤和内容是否使用了ChatGPT,以及使用的比例有多大等,这些都需要公开透明。
此外,ChatGPT的爆火,也推动了人们对专利法的新思考,特别是对于内容作者的定义将会更加明确。
3、真正开放式的大型语言模型
据悉,BigScience建立了开源语言模型“BLOOM”,开源部分模型和语料库,这意味着将有更多机构参与到大型语言模型训练中,有利于开发更为开源和透明的人工智能技术。
4、拥抱人工智能
人工智能的应用有优有劣,需要正确认识人工智能的作用,开展研究创新。
5、扩大对ChatGPT的讨论
ChatGPT还尚属于早期应用阶段,更多探讨和研究可以让人们更为全面的认识大型语言模型产品,这无疑是有利且合理的。
1,Sarraju A, Bruemmer D, Van Iterson E, et al. Appropriateness of Cardiovascular Disease Prevention Recommendations Obtained From a Popular Online Chat-Based Artificial Intelligence Model. JAMA. 2023 Feb 3. doi: 10.1001/jama.2023.1044. Epub ahead of print. PMID: 36735264.
2,Performance of ChatGPT on USMLE: Potential for AI-Assisted Medical Education Using Large Language Models.
3,https://mp.weixin.qq.com/s/wwBgt07x5ZyxRI5RF9zTPA