AI 检测器仍然依赖困惑度和突发性吗?
GPTZero 让困惑度和突发性广为人知,然后在 2023 年秋季悄然将二者都替换为深度学习分类器。本文追溯发生了什么变化,GPTZero 和 Turnitin 今天实际记录了什么,以及为什么这两个统计量仍能解释机器文本为何可被检测,即使两家供应商都不再直接计算它们。
搜索今天 GPTZero 如何检测 AI 写作时,返回的大多数内容仍然围绕两个统计量展开,即 perplexity 和 burstiness,这一对指标使该工具在 2023 年 1 月推出后的数周内便声名大噪。GPTZero 自己的支持文档现在说法不同, 它在同年秋季停止使用这两者。
那么,burstiness 现在仍被 AI 检测器使用吗?并非被那个让这一术语在学术界家喻户晓的工具所使用。GPTZero 的支持中心明确表示,它不再使用 perplexity 或 burstiness,而是改用了深度学习架构。Turnitin, 也就是大多数学生实际接触到的工具,从一开始就从未将这两个术语作为其方法的一部分公开过。这些概念并没有从讨论中消失。它们只是从真正执行检测的产品中消失了。
Burstiness 现在仍被 AI 检测器使用吗?
没有,GPTZero 不使用,且并未以该名称使用。GPTZero 自己的支持文档直接说明了这一点, "截至 2023 年秋季,GPTZero 由于迁移到基于深度学习的架构,已不再将 perplexity 和 burstiness 用于其 AI 检测。" Turnitin 自己的指南则描述了另一种方法,它围绕对提交内容的分块进行评分,并由训练好的分类器完成,而这些文档中同样完全没有出现这两个术语。定义第一波 AI 检测的这两个统计量,并不是当前领先工具实际运行的内容。说它们被弃用,比说它们被丢弃更准确, GPTZero 自己的说明仍将它们列为输入其模型的七个指标之一。它们停止作为方法,但并未停止作为测量,而这两种说法之间的差异,正是这个问题最关键的部分。
2023 年秋季发生了什么变化
这两个术语从来都不晦涩。GPTZero 自己早期的说明将 perplexity 定义为“衡量 AI 模型会有多大可能选择与文档中完全相同的一组词语的指标”,将 burstiness 定义为“衡量写作模式和文本 perplexities 在整个文档中变化幅度的指标”,这是文档层面的统计量,而不是简单的句子长度计数。这两个定义至今仍发布在 GPTZero 的网站上。变化的是,检测器实际运行的是其中哪一个。
“迁移到基于深度学习的架构”是一个具体主张,不是营销措辞,它描述的是一种真实的性质变化。perplexity 分数是直接由公式计算出来的, 方法是将文本输入一个参考语言模型,取对数概率的平均值,再对结果取指数。相反,深度学习分类器是经过训练得到的,它会向模型展示大量人类和 AI 写作的示例,直到它自行学会在该训练数据中区分这两堆文本的任意特征组合。第二种方法中,没有人手工写出规则。模型自己找出来。
这两个已退役的术语在本网站的其他地方都有完整说明: perplexity 实际衡量什么 和 burstiness 实际衡量什么 都深入介绍了各自的机制,包括背后的公式。本文只聚焦于,如今检测器运行的是否仍然是其中任何一个。
GPTZero 和 Turnitin 今天实际记录了什么
当前的 GPTZero 技术页面,它描述了产品中实际提供的内容,写道公司采用“端到端的深度学习方法,使用来自网络、教育领域以及由不同 LLMs 生成的文本数据集进行训练”,其中“一个逐句分类模型确定文本由 AI 创建的概率和置信度”。perplexity 和 burstiness 在该页面上完全没有出现,既不是组成部分,也不是遗留功能,脚注中也没有。
Turnitin 的文档从一开始就不是围绕这两个术语构建的。其指南描述的是将一次提交拆分为若干个每个几百词的片段,每个片段由一个经过训练的模型评分,然后将这些片段分数平均,得到报告中显示的单一百分比。这是一个在文本片段上运行的监督式分类器,属于 GPTZero 已经转向的同一类方法,而不是一种以不同名称出现的困惑度计算,也不是一种以不同名称出现的突发性计算。
这种转变最容易通过并列比较看出来。
| 早期说明材料所描述的内容(2023) | 当前文档所描述的内容 | |
|---|---|---|
| GPTZero | 困惑度和突发性,依据参考模型进行评分 | 逐句的深度学习分类器,输出概率和置信度分数 |
| Turnitin | 从未公开发布,这些术语在 Turnitin 的任何材料中都从未出现过 | 每个几百词的片段由一个经过训练的分类器评分,再平均为一个百分比 |
将你自己的论文人性化
改写你的 AI 辅助文本,使其听起来更像人工写作,同时不改动重要词语或引文。
为什么这些概念仍然能够解释可检测性
这并不意味着困惑度和突发性是错误的,只是它们作为对当前机制的描述已经过时了。这两个概念一直都在描述真实存在的东西, 文本如果是通过对模型自身最高概率的后续词进行采样生成的,往往会比人从头写出的文本在逐词层面更可预测, 它在相邻句子之间的变化也往往更小。底层规律并没有因为供应商改变了检测器的架构而改变。改变的是检测器寻找这种规律的方式。
训练好的分类器并没有被明确要求去寻找困惑度或突发性。相反,它是在与这两个统计量旨在捕捉的相同基本区分上进行训练的,也就是人类文本与机器文本之间的区分。而且,一个被训练来区分这两堆文本的分类器,不太可能不会同样把注意力放在恰恰是这种规律性上,也就是两者之间最可靠的差异之一。这是关于分类器为何可能有效的一种推断,不是关于其已发表特征列表的断言,这两者应当分开看待。
独立研究支持这样一种观点,即底层统计量即使在任何单一供应商的产品之外,仍然具有作用。DetectGPT 是一项发表于 2023 年的学术零样本方法,它考察的是困惑度的一个近亲,也就是模型的对数概率函数围绕一段文本时曲线的陡峭程度,并在一个基准上取得了 0.95 AUROC,而此前最好的零样本基线为 0.81,而且完全没有在带标签样本上训练分类器。其核心思想是,机器生成文本位于模型自身概率空间中一个在统计上不同的区域,这仍然是活跃的研究方向。它只是并不是 GPTZero 向用户提供的内容。
为什么互联网上的这么多内容仍然把这件事弄错
关于 AI 检测如何工作的已发表解释,大多写于 GPTZero 在 2023 年 1 月发布期间或之后不久,当时困惑度和突发性是公司自己提供的唯一公开表述。那些最初的说明页面今天仍然在线。2023 年秋季的退役通知放在单独的支持页面上,而不是并入这些页面,因此,一个只读了第一页就停止继续查证的作者,没有理由知道这种方法在不到一年后发生了变化。
一篇在 2026 年流传的第三方检测器评测声称,GPTZero 仍然把困惑度和 burstiness 作为更大系统中的多个层级之一来运行。该说法与 GPTZero 自己当前的技术页面以及其支持文档直接冲突,而且 GPTZero 自己的网站上没有任何内容能够证实它。描述自身已发布产品的公司陈述,仍然比关于同一产品的未经证实的第三方说法更有分量,尽管供应商文档也可能出错。本文依据 GPTZero 自己的页面,而不是重复旧说法的那篇评测。
这对你的写作意味着什么
围绕 burstiness 建立的实用建议,并不会仅仅因为这个词从 GPTZero 自己的材料中消失了就变得无用。刻意变化句子长度,机械地说,仍然是在避免同一种统计上的一致性,而分类器很可能正是被训练来注意这种一致性的,不论它在内部把这种信号称为什么。支撑这一建议的底层逻辑在供应商的架构变更之后仍然成立,尽管描述它的词汇已经不再相同。
这一切都不需要你相信任何人的说法,包括本文的说法。TextPulse 的 免费困惑度检查器 和更广泛的 免费工具集合,可以让你在任何检测器,或者说无论哪一代检测器,真正介入之前,先查看你的草稿处于什么位置。
如果结果把你带回自己的写作,那么接下来的实际步骤就是 有意识地提高 burstiness,以及 在学术段落中变化句子长度,这只是不用该指标来表述的同一项工作。
检测器运行的机制会不断变化,GPTZero 已经改变过一次。保持不变的是实际问题,本文网站的 AI 检测器实际如何工作的指南 已完整讨论这一点, 即可预测的写作是否与机器写作是同一回事,不论在某一年里哪一种公式恰好流行。
常见问题
AI 检测器仍然使用突发性吗?GPTZero 不使用,而且也不是以这个名称使用。GPTZero 自己的支持文档明确说明,自 2023 年秋季起,它在检测中停止使用困惑度和突发性,转而采用基于深度学习的架构。Turnitin 从未将这两个术语作为其方法的一部分公开,而这两家公司现在都改为描述经过训练的分类器。
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.