AI 检测器仍然依赖困惑度和突发性吗?
GPTZero 使困惑度和突发性广为人知,随后在 2023 年秋季悄然将二者都替换为深度学习分类器。本文追溯发生了什么变化,GPTZero 和 Turnitin 今天实际记录了什么,以及为什么这两个统计量仍然解释机器文本为何可被检测,即使这两家供应商都不再直接计算它们。
搜索今天 GPTZero 如何检测 AI 写作时,返回的大多数内容仍然围绕两个统计指标展开,困惑度和突发性,这一对指标使该工具在 2023 年 1 月上线后的数周内迅速成名。GPTZero 自己的支持文档现在给出了不同的说法, 它在同年秋季停止使用这两者。
那么,AI 检测器还在使用突发性吗?至少不是由那个让这一术语在学术界家喻户晓的工具在使用。GPTZero 的支持中心明确说明,它不再使用困惑度或突发性,而是改为采用深度学习架构。学生最常接触到的工具 Turnitin,起初就从未将这两个术语作为其方法的一部分公开发布。这些概念并没有从讨论中消失。它们是从真正执行检测的产品中消失了。
AI 检测器还在使用突发性吗?
没有,GPTZero 不再使用,而且也不以这个名称使用。GPTZero 自己的支持文档直接说明了这一点: “截至 2023 年秋季,GPTZero 由于迁移到基于深度学习的架构,不再将困惑度和突发性用于其 AI 检测。” Turnitin 自己的指南则描述了另一种方法,同样没有出现这两个术语, 该方法围绕对提交内容的各个片段使用训练好的分类器进行评分展开。定义第一波 AI 检测的这两个统计指标,并不是当前领先工具实际运行的方式。说它们被丢弃了,比这更准确的说法是,GPTZero 自己的说明仍将它们列为输入其模型的七个指标之一。它们停止作为方法存在,但并未停止作为测量指标存在,而这两种说法之间的差异,正是这个问题的关键所在。
2023 年秋季发生了什么变化
这两个术语从来都不晦涩。GPTZero 自己早期的说明将 perplexity 定义为“AI 模型会多大可能选择与文档中完全相同的一组词语的度量”,将 burstiness 定义为“写作模式和文本 perplexity 在整个文档中变化幅度的度量”,这是一个文档层面的统计量,而不是简单的句子长度计数。这两个定义至今仍发布在 GPTZero 的网站上。变化的是,检测器实际运行的是哪一个。
“迁移到基于深度学习的架构”是一个具体主张,不是营销措辞,它描述的是一种真实的性质变化。perplexity 分数是直接由公式计算出来的, 将文本输入一个参考语言模型,取对数概率的平均值,再对结果取指数。相对地,深度学习分类器是经过训练得到的,它会被展示大量人类和 AI 写作样本,直到它自行学会在这些训练数据中区分两类样本的任意特征组合。第二种方法中,没有人手工写出规则。模型自己找出规则。
这两个已退役术语在本网站的其他地方都有完整说明:perplexity 实际衡量什么和burstiness 实际衡量什么分别深入说明了各自的机制,包括背后的公式。本文只聚焦于,如今检测器运行的是否仍是其中之一。
GPTZero 和 Turnitin 今天实际记录了什么
当前的 GPTZero 技术页面说明了产品中交付的内容,页面写道其检测器采用的是“端到端深度学习方法”,并配有一个“逐句分类模型”,该模型输出带有置信度分数的概率结果。perplexity 和 burstiness 在该页面中完全没有出现,既不是组成部分,也不是遗留功能,脚注中也没有提及。
Turnitin 的文档从一开始就不是围绕这两个术语构建的。其指南描述的是将一次提交拆分为若干几百词的片段,每个片段由一个训练好的模型评分,然后把这些片段分数平均,得到报告中显示的单一百分比。这是一个在文本片段上运行的监督式分类器,属于 GPTZero 已经转向的同一类方法,而不是以另一种名称出现的困惑度计算,也不是突发性计算。
这种转变最容易通过并列比较看出来。
| 早期说明材料所描述的内容(2023) | 当前文档所描述的内容 | |
|---|---|---|
| GPTZero | 困惑度和突发性,依据参考模型评分 | 逐句的深度学习分类器,输出概率和置信度分数 |
| Turnitin | 从未公开发布,这些术语在 Turnitin 自身材料中任何时候都没有出现 | 由训练好的分类器对几百词的片段评分,再平均为一个百分比 |
将你自己的论文人性化
改写你的 AI 辅助文本,使其听起来更像人工撰写,同时不改动重要词语或引文。
为什么这些概念仍然能够解释可检测性
这并不意味着困惑度和突发性是错误的,只是它们作为对当前机制的描述已经过时了。这两个概念一直都在描述真实存在的东西, 由采样生成、并朝向模型自身最高概率续写的文本,往往比人从头写出的文本在逐词层面更可预测, 它在相邻句子之间的变化也往往更小。底层的规律并没有因为某个供应商改变了其检测器架构而改变。改变的是检测器寻找这种规律的方式。
经过训练的分类器并没有被明确要求去寻找困惑度或突发性。相反,它是在与这两个统计量所要捕捉的相同基本区分上训练的,也就是人类文本与机器文本之间的区分。而且,一个被训练来区分这两堆文本的分类器,很可能也会正是依据这种规律性, 也就是两者之间最可靠的差异之一, 来进行判断。这是关于分类器为何可能有效的一种推断,不是对其已公开特征列表的断言,这两者应当分开看待。
独立研究支持这样一种观点, 即底层统计量即使在任何单一供应商的产品之外,仍然具有作用。DetectGPT 是一种学术性的零样本方法,发表于 2023 年,它考察的是与困惑度密切相关的一种量,也就是模型的对数概率函数在一段文本周围曲线变化的陡峭程度,并在一个基准上取得了 0.95 AUROC,而此前最好的零样本基线为 0.81,而且完全没有在带标签的样本上训练分类器。其核心思想是,机器生成文本位于模型自身概率空间中一个在统计上不同的区域,这一点仍然是活跃的研究方向。它只是并不是 GPTZero 向用户提供的内容。
为什么互联网上这么多内容仍然把这件事弄错
关于 AI 检测如何工作的多数已发表解释,都是在 GPTZero 于 2023 年 1 月发布期间或之后不久写成的,当时困惑度和突发性是公司自身提供的唯一公开表述。这些最初的说明页面今天仍然在线。2023 年秋季的停用通知放在一个单独的支持页面上,而不是并入这些页面之中,因此,一个读完第一页就停止继续查证的作者,没有理由知道这种方法在不到一年后发生了变化。
一篇在2026年流传的第三方检测器评测声称,GPTZero 仍将困惑度和突发性作为更大系统中的若干层之一来运行。该说法与 GPTZero 自己当前的技术页面以及其自身的支持文档直接冲突,而且 GPTZero 自己的网站上没有任何内容证实这一点。描述自身已发布产品的公司陈述,仍然比针对同一产品的未经证实的第三方说法更具优先性,尽管供应商文档本身也可能出错。本文依据 GPTZero 自己的页面,而不是重复旧说法的那篇评测。
这对你的写作意味着什么
围绕突发性的实用建议,并不会因为这个词从 GPTZero 自己的材料中消失,就变得毫无用处。刻意变化句子长度,在机械层面上,仍然是在避免分类器很可能被训练去识别的那种相同统计均匀性,无论它在内部如何称呼这一信号。尽管描述它的词汇没有保留下来,底层建议仍然随着供应商的架构变化而保留了下来。
这一切都不要求你相信任何人的说法,包括本文的说法。TextPulse 的 免费困惑度检查器 和更广泛的 免费工具集合 让你在任何一代检测器真正介入之前,先查看自己的草稿处于什么位置。
如果结果把你带回到自己的写作,那么接下来的实际步骤就是 刻意提高突发性,以及 在学术段落中变化句子长度,这与不使用该指标时所描述的工作是同一件事。
检测器运行的机制会不断变化,GPTZero 已经改变过一次。保持不变的是实际问题,本文网站的 AI 检测器实际如何工作的指南 已完整讨论这一点, 即可预测的写作是否等同于机器写作,不论在某一年里哪一种公式恰好流行。
常见问题
AI 检测器仍然使用突发性吗?GPTZero 不使用,而且也不是以这个名称使用。GPTZero 自己的支持文档明确说明,自 2023 年秋季起,在迁移到基于深度学习的架构之后,它停止将困惑度和突发性用于检测。Turnitin 从未将这两个术语作为其方法的一部分公开,而这两家公司现在都描述的是经过训练的分类器。
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.