GPTZero 如何运作

在搜索栏中输入“how gptzero works”，返回的大多数内容仍然在描述困惑度和突发性，这两个统计量在 ChatGPT 发布后的最初几周里被其创始人广泛传播。这个描述在 2023 年 1 月是准确的。自那年秋天以来，它就不再准确了，因为 GPTZero 自己的文档说明，公司已经用完全不同的方法取代了它。该工具在发布时的工作方式与它现在的工作方式之间存在很大差距，以至于今天仍在流传的大多数解释描述的都是一个已经不复存在的产品。

如今，GPTZero 运行的是一个逐句分类器，它针对由人类生成和 AI 生成文本组成的大型混合语料库进行分析，而不是进行困惑度计算。今天的 GPTZero 仍然提供一个单一的总分，但其计算方式不同。总分下方的句子级高亮显示，其含义也与 2023 年不同。这两个版本的故事都值得了解, 一个是让这些术语出名的版本，另一个是今天实际运行的版本。

历史, 困惑度和突发性如何让 GPTZero 出名

2023 年 1 月 2 日，当时还是普林斯顿大学学生的 Edward Tian 发布了 GPTZero 的公开演示，这距离 ChatGPT 发布仅过去了几周。他最初的说明页面描述了他如何使用从语言建模中借用的两个统计量来检测语言模型何时写出了某些内容。困惑度是衡量参考模型对文本中词语选择感到多么意外的分数。突发性是 GPTZero 对这种意外在整篇文档中波动程度的称呼。这些说明页面正是这两个词进入关于 AI 写作的日常讨论的原因。今天能够定义困惑度或突发性的大多数人，都是从 GPTZero 而不是从教科书中学到这些术语的。

其机制本身很容易描述。将一段文本输入参考语言模型，如果模型认为某段散文高度可预测，困惑度很低，那么它就会显得更像机器生成，因为生成过程往往更偏向于下一个最可能的词，而不是那个令人意外的词。GPTZero 自己已经停用的文档甚至给出过一条经验法则, 困惑度分数高于 85 时，更可能是人类而不是机器写的。这个阈值来自某一家供应商、某一个模型、某一个时间点，而且 GPTZero 自己现在也不再认可它。

GPTZero 现在如何工作, 基于句子的分类器

GPTZero 的支持中心明确说明，该公司自 2023 年秋季起在检测中不再使用困惑度和突发性，而是迁移到深度学习架构。其当前技术页面, 本文查阅时所见, 证实这一切换是彻底的, 页面描述了一种端到端深度学习方法，训练数据来自网络、教育领域以及一系列语言模型，并运行逐句分类模型，输出概率和置信度分数。该页面完全没有出现困惑度和突发性。

此后，它还增加了一层防御，即 Paraphraser Shield，用于捕捉经过改写工具处理、以规避检测的 AI 文本。你可以粘贴文本，上传 Word 文档、PDF 和图像文件，最多一次上传五十个文件。所有这些基础设施都与统计参考模型会多频繁猜中同一个词毫无关系。

GPTZero 报告实际上向你展示了什么

GPTZero 的结果包含三个部分, AI、human 或 mixed 的分类, 一个表示模型认为该文档由 AI 写成的概率百分比, 以及一个说明该预测可靠程度的置信度标签。这个标签比表面看起来更重要。GPTZero 将“highly confident”与低于 2 percent 的错误率对应，将“low confidence”与 14 percent 或更高的错误率对应，这一范围足够宽，以至于同样的标题百分比在不同报告中的分量可能非常不同。

付费扫描增加了句子级高亮，而且需要正确解读。GPTZero 将被高亮的句子描述为对整体得分影响不成比例的句子，而不是针对单个行的指控清单。某个句子即使没有被高亮，也仍然可能影响了结果，因为分类器是将整篇文档作为一个整体来读取，而不是逐句投票。

报告元素	它告诉你的内容
分类	单一标签, AI, human, 或 mixed
AI 概率得分	一个百分比，反映模型判断该文档为 AI 写作的可能性
置信度标签	范围从高度置信, 低于 2 percent 的错误率, 到低置信度, 14 percent 或更高
句子高亮	在 Advanced Scan 中标记对得分贡献最大的句子, 而不是与其相关的每一个句子

当关于 perplexity 和 burstiness 的说明文档仍然是 GPTZero 对自身的公开描述时，这些报告元素都还没有以现在的形式存在。界面随着方法一起发生了变化。

为什么 perplexity 和 burstiness 的描述仍在流传

GPTZero 最初的说明文档仍然在线，仍然被索引，而且仍然是对 perplexity 和 burstiness 作为概念如何运作的较为清晰的通用说明之一。搜索引擎和其他网站持续引用它，有些还指向一篇被广泛传播的 2026 review，该 review 声称该工具仍在分类器旁边悄然运行一层 perplexity 和 burstiness。GPTZero 自己当前的页面，技术页面以及两篇支持文章，说法正相反, 这些术语已经被废弃，而不是仅仅被隐藏在幕后。描述一个抽象概念的页面，与描述这款工具当前方法的页面，并不是一回事，而把两者当作可以互换，正是这种混淆在过期三年后仍然持续的主要原因。

这不仅仅是琐碎之事。若有人告诉学生或同事，为了击败 GPTZero 而降低 perplexity 或拉开句长分布，那么他们得到的是针对该产品一个已经在 2023 年停止运行的版本的建议。真正决定句子分类器表现的是一个相关但不同的问题，更接近于AI 检测器实际上如何工作的更广泛说明，而不是这两个统计量中的任何一个单独来看。GPTZero 并未停止测量它们，按其自身说法，它们仍是当前模型所依据的七项指标之一，但它们已经不再是决定答案的因素。

GPTZero 声称它不能做什么

GPTZero 公布的准确率，和一家供应商最可能公开的自家产品数据一样强: 在混合文档上的准确率为 96.5 percent，总体误报率公司上限设为 1 percent，而在 TOEFL essays 上则为 1.1 percent，后者常被用作非母语英语写作的替代样本。这些数字来自 GPTZero 自身的评估，页面上并未引用任何独立复现来报告它们。

GPTZero 自己的限制页面比营销数字更具体。公司声明，随着提交文本更多，准确率会提高，而在句子和段落层面，相较于整篇文档则会下降。公司声明，其训练数据主要是成人英语散文，因此偏离这一模式的文本更难被可靠分类。公司声明，该分类器并未针对生成后经过大幅修改的 AI 文本进行训练。并且公司明确指出，其他机器生成的或高度程序化的写作，不仅仅是聊天机器人输出，也可能以同样方式被标记。

这些都不足以成为把 GPTZero 的数字视为无可置疑的理由，而且它也不是唯一值得按其自身标准来理解的检测器。对这类分类器实际响应什么感到好奇的读者，可以通过一个免费 perplexity 检查器或一个免费 burstiness 检查器亲自看到这种模式的一个版本，这两者是更完整的免费工具集合的一部分，该集合涵盖了像这样的报告所依赖的其他统计层面。

GPTZero 的两个核心统计量各自都有独立页面: perplexity 在 AI 检测中衡量什么，以及产生这两个数字的 token 概率算术。

一个愿意如此精确地指出自身盲点的工具，比一个声称没有盲点的工具更值得信任，而报告中下一个未解释的百分比，是开始追问它由哪一种工具生成的好地方。