Turnitin 能检测人类化的 AI 文本吗？

Turnitin 在其自身的支持网站上回答了这个问题，而且答案比通常争论双方中的任何一方都更具体。其 AI 写作指标，Turnitin says，已经包括对可能经过人工化处理，或通过 bypasser 以规避检测的 AI 生成内容的检测。这是一个供应商对其自身产品的描述。它也是一个合适的起点，因为它告诉你该模型声称涵盖什么。

那么，Turnitin 能检测人工化文本吗？这个问题有一个更窄也更有用的表述。Turnitin 的模型并不寻找 humanizer 的指纹，也不保存工具列表。它按句子对散文进行评分，判断写作与机器生成文本的统计模式有多接近，然后对整篇文档的这些分数取平均。经过人工化处理的段落是否仍然得分较高，取决于重写改变了这种模式的多少，也取决于整篇文档有多少内容被重写。

Turnitin 能检测人工化文本吗？Turnitin 的主张是什么

其公开立场是明确的肯定回答。对于它是否能够检测经过 humanizer 处理的内容，其说明写道: "Yes, Turnitin's AI indicator includes detection of AI-generated content that may have been humanized or passed through a bypasser to avoid detection." 同一页面对 AI paraphrasing tools 给出了相同的回答。

这一主张并不是在报告中的某个第二个数字里出现。Turnitin 将其并入单一的 AI 写作百分比，而该百分比的公开定义直接说明了这一点: 它涵盖模型判断为可能由 AI 生成的文本，或可能先由 AI 生成、随后又被 AI paraphraser 或 bypasser 修改的文本。只有一个分数，而在模型能力范围内，它已经将重写因素计算在内。

仔细阅读，这是一种关于覆盖范围的陈述，而不是关于准确性的陈述。Turnitin 的意思是，在模型构建时，humanized text 被纳入了适用范围。它远未声称每一份 humanized document 都会得到高分，而其自己在下文公布的数据进一步描述了一个将单个句子视为不确定的模型。

AI Writing Indicator 实际在评分什么

它不是百分比。它是文本所占的比例，因此不是置信水平。它衡量的是，在你的文档中，有多少文本被我们的模型认为可能是 AI generated。我们把这称为 qualified text，这意味着它是长篇写作格式中的散文句子。它不包括项目符号列表、代码、表格或短片段。这就是为什么你可能会根据同一篇论文中连续散文所占的多少，看到不同的数值。

其底层机制足够简单，可以直接想象。Turnitin 将文档切分为重叠的片段，每个片段大约几百个词，约五到十个句子，并且彼此重叠，以便每个句子都在上下文中获得评分。每个句子都会得到一个介于 0 和 1 之间的数值。随后，将各片段的分数在整篇文档中取平均，生成教师看到的那个单一数值。关于Turnitin 如何检测 AI的逐步说明，会更详细地逐一讲解每个阶段。

与流程中的其他任何部分相比，这一步取平均对 humanized text 的影响更大，而且几乎没有人考虑到这一点。教师读到的数值是片段层面判断的算术平均值。一份文档可以被改写了一半，并且由于与改写质量关系不大的原因，最终落在中间某个位置。

为什么 humanized output 有时仍然得分很高

最常见的原因是覆盖范围。只对引言和结论使用 humanizer，会使文献综述和讨论部分保持不变，而这些段落会连同原始分数一起直接进入平均值。在较长的章节中，重写开头几页只会改变少数几个段落，其余部分则完全保持原样，因此产生的变化幅度比作者对这项看似相当大的工作所预期的要小。

第二个原因是重写的深度。仅替换词汇，同时保留句长、从句顺序和过渡方式不变的改写，会使分类器所训练的模式在很大程度上保持完整。模型评估的是散文的形态，因此，改变填充这一形态的词语，作用比大多数人想象的要小。一个免费 perplexity checker可以显示一段文字在改写后仍然有多么可预测，这比改写前后逐词比较更能提供信息。

第三个原因是，改写可能会引入自身的规律性。对每个段落都应用同一种转换的软件，会产生一种新的模式，而这种模式和旧模式一样规则。如果每个句子都被以同一种方式切开，或者如果每个句子都在同一个位置加入同一种缓和从句，那么分类器会把这些句子看作同样均匀，就像它们一开始全都具有相同长度时那样。

情况	AI 分数的变化	原因
只重写了文档的一部分	下降幅度小于预期	未改动的片段会将其原始分数带入平均值
词汇改变了，但句子结构保持不变	变化很小	分类器对交换后保留下来的句子层面模式进行评分
句子在全文范围内确实被重新组织	变化更大	模型训练用来识别的那种统一节奏被打破了
提交的散文少于 300 个词	根本不会生成分数	Turnitin 要求先有 300 个词的合格散文，然后才会报告百分比
结果低于 20 percent	用星号代替数字	Turnitin 将该范围内的结果标记为可靠性较低

为什么同样的改写有时会产生较低的分数

一份经过人性化处理的文档可能会因为与重写无关的原因而得到较低的分数。Turnitin 至少需要 300 个词的合格散文，才会生成 AI 百分比，这一门槛是从最初的 150 个词提高的，理由是多一些文本有助于提高准确性。简短的反思性文本不会产生数字，而没有分数并不等同于干净的分数。

Turnitin 会用星号标记低于 20 percent 的范围，而不是给出精确百分比，因为在这一范围内误报的发生率更高。在发布时，教育报道也提到过这一行为，称据报低于 20 percent AI-written 的结果具有更高的误报发生率，因此 Turnitin 增加了免责声明。落在该区间内的文档已被标记为 Turnitin 拒绝精确报告的一个范围，这与被判定为无问题是不同的。

此外，还有一个凌驾于一切之上的制度性门槛。Turnitin 只有在机构开启该功能时，才会处理用于 AI 写作检测的提交，管理员也可以在整个账户范围内将其关闭。Vanderbilt University 在 2023 年 8 月正是这样做的，理由是 Turnitin 当时公布的约 75,000 份年度提交中 1 percent 的假阳性率，对非英语母语写作者存在偏见，以及对模型如何运作缺乏透明度。若某机构关闭了该功能，学生的任何提交，无论是否 humanized，都不会显示 AI 分数。

而且，当改写确实属于结构性改动时，分数可能会下降，因为所测量的模式已经改变。Turnitin 报告的是基于写作模式计算出的估计值，因此，模式不同的文本会得到不同的分数。这个机制是双向起作用的，这正是令人不安之处, 原本的人类写作有时也会因为完全相同的原因而得分很高。

每个 Humanizer 供应商声称了什么，以及有哪些文献记录

表格遵循一条规则。中间一栏是供应商自己的营销表述，只要其官网可用，就取自其官网。右栏记录每一项主张背后实际有什么支撑，而在大多数情况下，根本没有数据集、日期或方法。针对这些品牌，不存在公开的正面对比测试。

品牌	供应商声称	已有文献记录的内容
Undetectable.ai	将通过 AI 检测器列为产品功能，但未附带具体数值，并承诺如果输出被标记为非人类，则退还人性化处理费用	退款属于商业条款，相关主张没有数据集、日期或按检测器分别给出的结果作为支撑
QuillBot	其自身页面并未对 humanizer 功能作出检测规避或绕过的主张。其单独的 AI detector 仅被描述为检测 AI 生成内容	QuillBot 将 humanizer 作为通用写作套件的一部分出售，并未就此对 Turnitin 作出特定主张
WriteHuman	在 Humanizer Leaderboard 中排名第一，并被描述为适用于严肃写作的高级 AI humanizer	该排行榜未说明方法或样本，WriteHuman 也未为该排名附上任何数值准确率
Walter Writes AI	在 80+ 种语言中推广广泛的人性化处理，但未作出针对 Turnitin 的特定主张	没有任何一方的测试数据
HIX Bypass	按检测器分别设置绕过页面进行推广，但未给出针对 Turnitin 的特定数值	HIX Bypass 和 BypassGPT 是位于不同域名上的两个独立产品，因此需要确认某项主张具体描述的是哪一个
StealthGPT	在 Turnitin 上的人类化平均值为 98%，在 GPTZero 上为 95%，每项都来自一次明确说明的 30 个样本运行且零检测，并且如果订阅者被检测到，还提供退款保证	为自述数据。数值旁未公布数据集、样本选择、日期或方法，而 30 篇文档对于声称某个模型可处理数百万提交的说法来说是很小的一次运行
Phrasly	将自身定位为 AI detection remover, 但未公布测试数据	没有任何公开的双向主张。评论中流传的数值属于二手信息，原则上不纳入此处
Grammarly	并未将其改写功能宣传为检测绕过。其 AI detector 页面声称 99% 的检测准确率，并在 RAID 的独立基准测试中排名第一	同一 Grammarly 页面说明，没有任何 AI detector 能达到 100% 准确。其 Authorship 功能会将文本标记为由人类输入、由 AI 创建，或经 Grammarly 编辑
TextPulse	在 Turnitin AI 上的通过率为 92.33%，在 Originality.ai 上为 89.12%，在 GPTZero 上为 87.91%，基于 2,000 篇文档的学术语料库测得	由 TextPulse 测量并发布，因此与上面的所有数值一样属于自述。语料库规模和检测器名称都已说明，但并未对任何单独文档承诺具体检测结果

从该表中可以得出三点。大多数这类工具根本没有公布任何可供核查的检测器声明。少数工具会把样本量与一个数字对应起来，这已经比同类中的其他产品做得更多。并且，没有任何一家公布过公司外部的人可以自行运行的数据集。不过，也应当肯定各品牌真正做对的地方。Undetectable.ai 在其声明后附带退款承诺，这是一项具体承诺，而不是一个形容词。WriteHuman 公布了各层级精确的请求和字数上限，因此买家知道自己会得到什么。Grammarly 在给出自身准确率数字的同一页面上对该数字作了限定，这已经比大多数检测器供应商做得更多。而 QuillBot 干脆不提出任何绕过声明，这在名单中是最站得住脚的立场。

为什么供应商之外的任何人都无法核查这些数字

一家人性化工具供应商声称的 Turnitin 通过率，描述的是它用自己控制的账户、在其自行选择的文档上、于其通常不会说明的某一天所进行的测试，并且这些测试针对的是一个会随着新语言模型发布而被 Turnitin 修订的分类器。StealthGPT 的30个样本数字如此，这个网站公布的2,000份文档数字也同样如此。语料规模会影响一个数字中噪声的多少，但它不会把自我报告变成审计。

问题的另一半在于，Turnitin 自己列出的、其声称能够检测的模型清单，会随着新版本的到来而被编辑。与上个季度的分类器相比所测得的通过率，只能说明上个季度的分类器，别无其他。为什么这意味着没有人能够给出一个绕过 Turnitin 的最佳 AI humanizer，另有专门说明。每一个 humanizer 首页上的数字，包括本网站的数字，都是一张带有日期的快照，而该日期可能从未被供应商公布过。

在为绕过声明付费之前，如何阅读它

有四个问题可以把值得权衡的声明与值得忽略的声明区分开来，而且它们适用于上表中的每一行，包括最后一行。

• 测试了多少份文档，是谁选择的？没有样本量支撑的百分比，只是披着数字外衣的口号。
• 在什么日期，针对的是哪个检测器版本？随着新的语言模型发布，检测模型会被修订，没有日期的通过率很快就会过时。
• 保证是退款还是结果？退款承诺转移的是一小部分财务风险，对学术诚信委员会完全没有作用。
• 供应商如何说明引文、技术术语或块引用会发生什么？大多数 humanizer 页面对此只字不提，而这本身就是答案。

对于提交学术作品的人来说，最后这个问题比检测器的算术更能决定结果。一个改写版本如果得分很好，却悄悄把方法部分的一句话泛化了，那么你失去的正是你被评分的那个东西。TextPulse's academic humanizer 记录了在 APA、MLA、IEEE、Chicago、Harvard 和 Vancouver 中保留引文，提供 freeze terms 以便在运行通过前锁定精确词汇，并且在受同行评审的学术文本上训练，输出被控制在 Flesch-Kincaid 13 到 18 级。这些都是关于文本会发生什么的主张，这与关于检测器的百分比是不同类型的主张，读者可以在一分钟内通过输出加以核实。

分数对学生而言无论如何意味着什么

Turnitin 明确指出，AI writing indicator 并不构成不当行为的认定。Turnitin 的产品页面明确说明，Turnitin Originality "does not make a determination of misconduct through our AI writing detection (or similarity checking) technology." 它还明确表示，Turnitin 提供信息，使教师能够根据其机构政策作出知情决定。这一点又通过如下警告得到重申，即该模型 "may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."

学生默认看不到分数。Turnitin 明确说明，AI 写作检测指标和报告对学生不可见，唯一能看到的方法是教师将报告下载为 PDF 并交给学生。学生检查自己的草稿时，检查的是一个用不同数据训练的不同工具，这两个数值没有义务一致。

这就留下了分数无法解决的部分。是否允许使用 AI 辅助，本来就是课程和机构要回答的问题，而 AI 使用政策给出的答案，是任何百分比都无法给出的。对被允许且已披露的使用而言，高分只是带有证据支撑的一次讨论。对被政策禁止而未披露的使用而言，低分仍然是未披露使用。

对于正在编辑自己草稿的作者来说，这一切的实际解读是，分数跟随写作而变化。Turnitin 的模型衡量的是整篇文档中的句子层面模式，因此局部改写只会带来局部变化，而词汇替换几乎不会带来任何变化。关于 如何将 AI 文本人性化 的完整讲解，会按最能改变模式的顺序，逐步说明那些会改变结构的编辑。

TextPulse 的 AI humanizer 会一次性对整篇文档应用这些结构性编辑，并报告一个基于文本本身计算的估计 Human Score，而不是对任何特定检测器会给出什么结果的预测。任何工具都无法承诺 Turnitin 的结果，因为没有任何工具能够看到 Turnitin 的模型内部。任何声称相反的产品，描述的都是它无法观察的结果。

humanizer 与 paraphraser 的区别在这里很重要，改写文本为何仍会被标记的原因也同样重要。

这个数字是其中最不有趣的部分。决定结果的是标记者查看后的二十分钟：论文是否能够展示其推导过程、草稿历史、一组笔记，以及作者无需打开就能谈论的来源。对于真正完成了这项工作的人来说，这些证据是可获得的，而且它们能够经受住一次重写未能改变的分数。