AI显著加快了研究论文的传播速度。然而,近年来撤稿论文的数量显著增加,AI能否识别这些撤稿文章并避免将其作为信息来源,成为一个关键问题。2025年3月12日,《Journal of Advanced Research》(IF=11.4)发表了一项研究,检查了AI是否会使用来自撤稿论文中的信息,以及如何使用这些信息。
原文链接:https://www.sciencedirect.com/science/article/pii/S2090123225001808
研究方法
研究者于2024年11月25日在PubMed上检索了与癌症影像相关的撤稿英文研究性文章。研究使用了2组关键词:(cancer[Title]) AND (imaging[Title])) AND (retraction[Title]),和 (Cancer[Title]) AND (retracted[Title]) imaging[title]。
研究者首先考察了被撤稿论文在撤稿通知发布后是否被引用,收集了每篇撤稿论文被引用的出版物总数,以及在文章宣布被撤稿3个月后引用论文的出版物数量。接下来,研究者进一步测试了ChatGPT(版本4o)是否基于撤稿论文回答问题并引用这些文章。给到ChatGPT的问题基于被撤稿论文的内容,大多来自结论部分。
从ChatGPT获得答案后,研究者检查了答案是否包括撤稿论文的内容、标题、期刊等信息。如无法确定来自撤稿论文,则进一步要求ChatGPT提供文章标题和期刊名称。
研究结果
通过关键词检索,共识别出21篇撤稿文章,这些文章发表于13家期刊,发表时间集中在2011-2023年之间。目前,19篇文章在PubMed上标注了撤稿,20篇文章在期刊主页上标注了撤稿,但有一篇文章未在期刊主页上标注。
➤对撤稿文章的引用情况
研究发现,这些文章在撤稿后仍被引用了72次,其中26次发生在撤稿通知发布后的3个月内。在发布撤稿通知后3个月内,至少有10篇被撤稿论文被引用了一次。
➤ChatGPT对撤稿文章的使用情况
结果显示,ChatGPT有5次根据撤稿论文回答了问题,其中有3次识别出文章已被撤稿并提醒用户,但有2次仍然基于撤稿文章回答问题,并引用了这些文章。
例如,ChatGPT在回答基于2020年发表、2023年撤稿的一篇关于CT灌注成像的文章时,未提及文章的撤稿状态。类似的情况也发生在另一篇2022年发表、2024年撤稿的文章中。
此外,在2次测试中,ChatGPT提供了错误的文章标题或引用信息。例如文章标题或书籍名称与实际情况不符。
总结
这些数据表明,至少有10%的可能性,ChatGPT在回答问题时仍会基于撤稿论文,且未提及文章的撤稿状态。
研究根据每篇撤稿论文设计了一个问题,这些问题基于结论。由于结论通常具有非特异性,ChatGPT可能使用了其他文章来回答问题,而非直接反映其对撤稿状态的识别能力。此外,由于本研究涉及的撤稿文章数量有限,未能进行统计分析,以确定影响ChatGPT参考撤稿论文的因素。
未来的研究应进一步研究AI如何分析出版物资源并使用这些资源回答问题,以及希望新版本AI能更好地区分撤稿论文和非撤稿论文,从而避免误导用户。
参考文献:J Adv Res. 2025:S2090-1232(25)00180-8.
来源:“医咖会”微信公众号
原标题:《AI即使引用了真实文献,也要警惕引用了已撤稿的论文!》
(本网站所有内容,凡注明来源为“医脉通”,版权均归医脉通所有,未经授权,任何媒体、网站或个人不得转载,否则将追究法律责任,授权转载时须注明“来源:医脉通”。本网注明来源为其他媒体的内容为转载,转载仅作观点分享,版权归原作者所有,如有侵犯版权,请及时联系我们。)