AI撰写的注释为何会描述不存在的论文

一位导师连续十次阅读同一种句式，翻开一份带注释的参考文献目录，逐页朗读：本研究考察 X 与 Y 之间的关系，使用一组参与者样本来探讨 Z，发现仍需进一步研究。所有条目都读起来很流畅。十二个来源中有两个，按标题检索后并不存在。

AI 在参考文献目录中幻觉生成的引文，很少会在参考文献行中直接暴露自己。一个伪造的作者姓名和一个伪造的期刊，看起来可能与真实的完全一样，直到有人去检索它们。几乎每次最先暴露伪造之处的，是其下方的注释, 一段足够自信、能够详细描述某篇论文的方法和发现的文字，而这篇论文根本没有写成。

如何识别参考文献目录中 AI 幻觉生成的引文

先读注释，再读参考文献行。单独看一条引文，作者、年份、期刊、DOI，都是语言模型见过成千上万次的小型结构化模式，它们可能因为偶然或记忆而看起来正确，即使背后并没有真实内容。另一方面，注释必须说明那篇特定论文实际上做了什么，而且要有足够细节，使你能够判断它是真还是假。如果模型没有检索或阅读来源，它就无法可靠地做到这一点，而结果会在我们真正去检查 DOI 之前很久就表现为泛泛而谈。

为什么注释比引文更容易暴露问题

伪造的引文是伪装成参考文献的猜测, 一个看似合理的作者，一个看似合理的期刊，一个形似 DOI 的字符串，数字位数也恰当。伪造的注释则是伪装成理解的猜测，而要在整段文字中令人信服地伪装理解，要困难得多。模型必须明确给出样本、方法和发现方向，而这些细节中的每一项，都是一篇真实论文可以与之相矛盾的地方。

这也是为什么，注释比单纯的引文更容易供读者核查。参考文献无论来源是否真实，其格式都相同，因此仅凭外观不会泄露任何信息。注释则对具体内容作出具体断言，所以它要么能被真实论文支持，要么不能，而只需花几分钟查看真实摘要，就能判断是哪一种。

当模型从未真正读过论文时，它会写出什么

让语言模型为一篇它只有标题和大致主题的来源写注释，它不会拒绝，也不会含糊其辞。它会根据训练中见过的成千上万篇相似摘要，预测这篇具有该标题的论文大概会包含什么段落，并以同样自信的语气把它写出来，就像它在为一篇可以逐行引用的论文写注释一样。

它读起来像是与该主题相关的一切文字的平均值。一篇关于睡眠与记忆的研究的诚实摘要，会给出真实研究参与者的姓名、所用的真实测试，以及报告的真实效应量。一个虚构的摘要则会说，这项研究考察了人们睡得有多好以及他们的记忆，并发现二者之间存在强关联。它足够笼统，因此也能轻松地放在另一个无关的标题之下。

需要检查什么	真实的注释通常具有这一点	伪造的注释通常则具有这一点
数字	与真实摘要相符的具体样本量、效应量或百分比	没有数字，或者是一个圆整的、无法核实的数字，在实际来源中根本不存在
方法	所命名的实际方法, 一个具体的检验、设计或数据集	只是笼统地提到“a study”或“an analysis”，却没有命名任何方法
局限性	作者自己提出的一项局限性，且具体针对其设计	一种通用的局限性，对该领域几乎任何论文都成立
参考文献匹配	该引文可解析为一条真实记录，其标题与该注释相符	该参考文献无法解析，或者解析到一篇不同的、无关的论文

这些检查都不需要通读整篇论文。它们只需要打开论文一次，停留足够长的时间，看看注释中的具体主张是否 वास्तव上出现在摘要中。

为什么伪造率需要模型版本和日期

这一问题的规模是可以测量的，尽管这些测量彼此并不一致，因为它们从来没有在测量同一件事。研究人员在2023年同一天，用相同的42个学术主题测试 ChatGPT-3.5 和 ChatGPT-4，发现 GPT-3.5 的引文有55 percent是完全伪造的，而 GPT-4 只有18 percent。相同的提示，相同的研究人员，相同的一天, 只是模型变了，伪造率就下降了三分之二。

另一项研究测试的是幻觉生成的案例事实，而不是书目引文，研究发现，在 2024 年发表的研究中，ChatGPT-4 在关于真实联邦法院案件的可核实问题上有 58 percent 的时间是错误的，Llama 2 有 88 percent 的时间是错误的。这个数字描述的是不同模型上的不同任务，不应与上文的引文伪造数字平均后合并为一个总的错误率。两项研究都同意的问题形态是，缺少模型版本和日期的百分比并不能说明任何具体内容。更广泛的模式，跨越 2023 到 2026 的六项此类研究，本身就是一个主题, does ChatGPT make up references 对此有完整讨论。就书目本身而言，真正重要的范围更窄, 注释是否在任何人检查 DOI 之前就暴露了伪造。

如何检查 AI 起草的注释书目中的每一条目

先看参考文献行, 在 Google Scholar 或期刊自身网站中检索准确标题，并将 DOI 视为未经证实，直到它确实解析到该标题，因为伪造引文可能带有一个 DOI，而该 DOI 会指向他人真实但无关的论文。一个 AI 引文检查器，可将每一条目与真实的学术数据库进行解析比对，会自动完成这一检索，而不是把每一条来源都留给人工逐一查找。

然后将注释与来源本身核对，而不是看它听起来有多么可信。打开实际摘要，确认注释所声称的样本、方法和发现确实存在于其中。一个免费的注释书目生成器，它将每一段摘要都建立在论文自身摘要之上，而不是凭记忆撰写，展示了真正以来源为基础的注释与并非如此的注释之间的差别。

对于通过审查的条目，在 APA 中引用 ChatGPT 和 在 MLA 中引用 ChatGPT 都已逐步说明。

在你确认一条文献确实真实之后，这些都不会改变你格式化该条目的方式。如何引用 ChatGPT 本身是另一个问题，已针对 APA、MLA、Chicago 和 IEEE 作了完整说明，而引文生成器会以相同方式格式化普通参考文献，不受格式风格影响。两者都无法识别的是一种注释，它描述了一篇根本没人写过的论文，而且流畅得让人根本没有想到要去核查。