AI 检测器最低字数:Turnitin、GPTZero 等需要多少词
Turnitin、GPTZero、ZeroGPT、Pangram 和 Sapling 对文本长度的说明,TextPulse 对 25,561 对学术文本的研究发现,以及文本过短无法评分时应如何处理。
AI 检测器的最低字数取决于工具。有些工具,例如 Turnitin,至少需要 300 个符合条件的散文词,而其他工具,例如 ZeroGPT,建议至少写 150 到 200 个词,以产生一致的结果。无论你的检测器在几百词以下是否显示结果,你的结果都不太可靠。
有些工具仍会为每个段落提供百分比,而且对于短文本,分数往往不够准确。TextPulse Research 的研究人员用 25,561 对人类撰写的学术文本及其 AI 改写文本测试了这一点。在 300 词时,他们调整了一个分类器,使其能够识别 95% 的 AI 改写文本。它同时也标记了 33.9% 的人类文本。在 25 词时,它标记了 67.6%。
AI 检测需要多少词?
AI 检测需要几百个词才可靠, 也就是结果稳定。可靠性在大约 100 词以下下降得最快。TextPulse 研究中,大部分可靠性是在大约 150 词时建立的。此后,准确率上升得更慢,从 150 词时的 84.0% 上升到 300 词时的 86.8%。
其他研究也指向类似的阈值。TextPulse 论文中引用的 2025 年《Journal of Artificial Intelligence Research》调查汇总了迄今报告的数据。统计分类器和微调分类器需要大约 100 词才能准确工作。若干标准检测器大约需要 120 词才能达到完整性能,而检测最强模型则需要大约 200 词。
随着检测器看到更多 token, 也就是语言模型处理的词片段,区分人类文本和 AI 文本就变得更容易。当检测器在一段简短回答中只看到少量 token 时,任一判断都缺乏足够证据。困惑度、突发性以及所涉及的其他指标,在AI 检测器如何工作指南中有说明。
按工具划分的 AI 检测器最低字数, Turnitin、GPTZero 及其他
每个供应商都设定自己的下限或指导标准,而且它们并不都使用相同的计量单位。Turnitin 按符合条件的散文词数计算。其他供应商则建议一个长度,或者描述文本变长时准确率如何变化。
| Detector | 供应商关于文本长度的说明 |
|---|---|
| Turnitin | 在生成 AI 分数之前,至少需要 300 个符合条件的散文词,较早前的 150 词最低要求有所提高,因为文本越多,准确性越高 |
| GPTZero | 随着提交文本增多,准确性会提高。整篇文档的分类比段落更准确,段落又比单个句子更准确 |
| ZeroGPT | 建议至少 150 到 200 词,以获得稳定结果,500 到 1,000 词或更多可进一步提高可靠性。非常短或经过大量编辑的片段“携带的信号更少” |
| Pangram | 在由完整句子写成的较长文本上效果最佳。该公司建议不要对简短的项目符号列表或高度公式化的文本进行筛查 |
| Sapling | 其已公布的检测和误报数据适用于较长文本。较短文本“可能具有不同的准确率” |
这是大多数学生会遇到的最低门槛,因为 Turnitin 是许多大学学习平台内置的检测器。在 AI 写作报告中,低于 300 词的符合条件散文不会给出分数。低于这一门槛的分段评分,以及 Turnitin 在低于 20% 的分数旁显示的星号,已在Turnitin 如何检测 AI指南中说明。
屏幕上的百分比并不意味着文本达到了该工具自身建议的长度,因为许多面向消费者的检测器会对单个段落进行评分。2023 年,OpenAI 的 AI 文本分类器需要至少 1,000 个字符的输入。OpenAI 表示,它对短文本的可靠性很低,并在六个月后因准确率较低而将其移除。
按文本长度划分的 AI 检测器准确性:TextPulse 研究发现了什么
TextPulse 关于文本长度与 AI 检测可靠性的工作论文只考察长度本身,脱离文本的所有其他特征。数据集包括 25,561 对文本,其中人类文本及其 AI 改写文本都至少有 300 个词。每篇文本都被截断为 25、50、100、150、200、250 和 300 个词。对于每一种词数长度,都对分类器进行了训练和测试。
相同的文本在每一种长度下都会出现, 也就是说,主题、学科和 AI 模型都保持不变。改写文本来自六个模型家族中的八种不同 AI 模型组合。分类器对 45 项风格特征进行评分,例如词长和词汇多样性。这是一个研究工具, 论文并未对商业检测器可能如何使用这些特征或阈值作出任何主张。关于商业工具的测试,请参见AI 检测器是否准确的指南。
| 文本长度 | 准确率 | 当 95% 的 AI 改写文本被识别时,被误标的人类文本 | 当 1% 的人类文本被误标时,被识别的 AI 改写文本 |
|---|---|---|---|
| 25 words | 73.9% | 67.6% | 17.2% |
| 50 words | 78.2% | 58.8% | 28.0% |
| 100 words | 82.3% | 49.4% | 40.5% |
| 150 words | 84.0% | 44.1% | 47.9% |
| 200 words | 85.2% | 40.1% | 50.5% |
| 250 words | 86.1% | 36.7% | 54.2% |
| 300 words | 86.8% | 33.9% | 56.5% |
| 全文 | 88.4% | 28.6% | 60.6% |
对于 AI 检测,短文本在表格的每一列中的准确率都更差,而且准确率这一列低估了损失。一个可用的判定需要分数接近量表的任一端,而较短的文本会把人类和 AI 的分数都推向中间。将阈值设为捕捉 95% 的 AI 改写时,分类器在 100 词时会错误标记大约一半的人类文本。将阈值设为只标记 1% 的人类文本时,它在 25 词时能捕捉 17.2% 的 AI 改写。
AUC 是论文衡量分类器区分两组能力的主要指标,它从 25 词时的 0.817 上升到 300 词时的 0.940。对于完整文本,人类一侧平均为 466 词,它达到了 0.950。该上升中最陡的部分出现在 100 词以下,而每增加一个超过 150 词的步长,增幅都更小。
为什么短文本上的假阳性会上升
基于长文档构建的检测器,在短文本上的假阳性率要高得多。论文展示了一个分类器,它是在完整长度文本上训练的,并在默认阈值下用于短文本分类。该系统对人类文本的假阳性率从 300 词时的 16.1% 到 100 词时的 39.1%,再到 25 词时的 69.8%。
它对 AI 改写的检测在同一范围内几乎没有变化,从 300 词时的 88.4% 到 25 词时的 92.4%。额外的错误是对人类写作的误报。论文将短输入上的分类器描述为系统性地偏向于将其判定为 AI。
原因是机械性的。词型比,即文本中不同词语所占的比例,会随着文本变短而上升,因为较短的样本提供的重复某个词的机会更少。研究中的人类文本在完整长度时的平均比率为 0.47,在 25 词时为 0.87。完整长度的 AI 改写平均为 0.55。
这个基于全文训练的分类器会学到,大约 0.55 的比率可以区分 AI 写作和人类写作。每一篇 25 词的文本,无论作者是谁,都会明显高于这个比率,并被推向 AI 一侧。论文指出,已部署的检测器不会因为你改变输入长度而每次重新训练。关于 Turnitin 公布的误报率 的指南,说明了这个数值包含什么,以及排除了什么。
将你自己的论文人性化
改写你的 AI 辅助文本,使其听起来更像人工写作,同时不改动重要词语或引文。
为什么短文本难以分类
短文本让检测器在它所测量的各个方面都得到更少的信息。词数更少意味着可比较的 token 更少,句子更少意味着可测量的节奏更少。在这项研究中,25 词文本平均有 1.6 个句子,50 词文本有 2.7 个句子,300 词文本有 13.4 个句子。
句长变化,通常称为 burstiness,依赖于句子之间的相互比较。在这项研究中,它在全文中将人类文本和 AI 文本区分开来,差异为 0.71 个标准差,在 100 词时为 0.31 个标准差。在 50 词时,这种差异实际上为零。依赖 burstiness 的检测器需要若干句子才能可靠地测量它。
在词级别上,这种能力保留得更多。平均词长和长词比例在 25 词时保留了大约三分之二的区分能力。但重叠也增加了, 在 50 词时,两组的分数往往向中心聚集。每一组中有很大一部分最终落入重叠区域。
引文或套话在短文本中也更重要。一个 50 词的回答大约有三句话,因此每句话大约占检测器所见内容的三分之一。某一句中的引文定义,与同一句出现在一篇 2,000 词论文中相比,权重要大得多。
讨论帖、摘要、简答考试和求职信
讨论板帖子
一篇按 200 词要求撰写的帖子低于 Turnitin 的 300 词下限,因此 Turnitin 不会给它任何 AI 分数。其他工具仍然可能对它评分。在 200 词时,当该研究的分类器被设定为捕捉 95% 的 AI 改写时,它对 40.1% 的人类文本给出了误报,而在全文上这一比例为 28.6%。
摘要
一篇250词的期刊摘要已经接近下限,而摘要本身就是密集、正式的写作。TextPulse早先的一项研究发现,分类器误判的人类文本,往往是最正式的那些。长度论文又把文本长度加入为第二个、独立的误报原因,而一篇简短、正式的摘要同时暴露于这两种因素之下。如果摘要受到质疑,检查全文可以为检测器提供其供应商建议的长度。
简答考试
50到100词的答案处在研究数据下降最快的区间。到了50词时,一个设定为捕捉95% AI改写的分类器会错误标记58.8%的人类文本。论文得出的结论是,低于50词时,没有任何实际可用的阈值能给出可用结果。论文还补充说,对短文本不作判断,比对其评分更可靠。
求职信
一封用于求职或期刊投稿的单页求职信只有几百词长,其中很大一部分遵循固定措辞。Pangram建议不要筛查高度公式化的文本。如果对求职信进行检查,应将任何分数都视为带有较大误差范围的估计值。
当你的文本低于下限时该怎么做
保持文本为你写下的样子,并改为提供分数的上下文。以下步骤适用于作者,也适用于审阅分数的人。
- 不要为了凑够下限而填充文本。为达到下限而额外写入的词语会改变你被要求写作的内容,而此时的分数描述的是填充后的版本。
- 在可以做到时,检查整份文档。完整的论文或章节会为检测器提供其建议长度,而短小部分则作为更长文本的一部分被评分。
- 查看句子视图。按句子评分的检测器会显示哪些行推动了结果,而在短文本中,这通常是一两句话,例如被引用的定义。
- 保留草稿和版本历史。它们显示文本是如何发展的,而短段落上的分数无法显示这一点。
- 询问分数将如何使用。对低于供应商自身建议长度的文本给出的结果,是一个较弱的信号,审阅者应当据此权衡。
对于工作人员,论文的讨论指向一条简单规则:要求更多文本,或者在低于规定长度时不给出结论。Turnitin 的 300 词下限就是这种规则。一旦生成完整报告,关于什么是好的 Turnitin 分数的指南会说明如何解读它。
TextPulse 如何处理短文本
TextPulse 不使用 AI detector,也不出售 detector 扫描。TextPulse 在每次 humanization 之后显示一个 Human Score, 0 到 100。这个分数是应用内根据改写深度、词汇多样性、token 分布以及文本的句长变化所做的估计。计算这个分数时没有使用 detector。
AI Humanizer 每次 humanization 至少需要 50 词,在 Pro 上每次最多处理 500 词,在 Plus 上每次最多处理 1,000 词。Document Humanizer 可以处理一整个英文 .docx 文件,长度最多 15,000 词。它至少需要 50 词正文,并且会按原样保留标题、列表、表格、图注和参考文献。这两者都旨在降低课程或期刊允许使用 AI 辅助的草稿中的 AI 分数。
在将文本粘贴到 detector 之前,请使用免费的 Word Counter检查其长度。该工具会统计词数、含空格和不含空格的字符数、句子数以及唯一词数,因此你可以将文本与按任一单位规定的下限进行比较。关于长度研究的所有细节, 每篇文本的分数和分析代码, 都可在 Zenodo 上公开获取,研究中心页面也将该研究与其他 TextPulse 论文一并列出。
常见问题
Turnitin 在生成 AI 分数之前,至少需要 300 词符合条件的散文,之前的下限是 150 词。低于这一长度时,AI 写作报告不会显示分数。AI 检测器最低字数因工具而异,因此在你信任短文本结果之前,应先查看各供应商自己的说明。
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.