Минимальный объем слов для AI Detector: сколько слов нужно Turnitin, GPTZero и другим

Минимальное количество слов для AI detector зависит от инструмента. Некоторым инструментам, таким как Turnitin, требуется не менее 300 слов подходящего по типу прозаического текста, тогда как другие, такие как ZeroGPT, рекомендуют писать не менее 150 до 200 слов, чтобы получить устойчивый результат. Независимо от того, показывает ли ваш detector значение ниже нескольких сотен слов, ваш результат менее надёжен.

Некоторые по-прежнему выдают процент для каждого абзаца, и оценки, как правило, менее точны для коротких текстов. Исследователи из TextPulse Research проверили это на 25,561 парах академических текстов, написанных человеком, и их AI-переработок. При 300 словах они настроили классификатор так, чтобы он выявлял 95% AI-переработок. Он также пометил 33.9% человеческих текстов. При 25 словах он пометил 67.6%.

Сколько слов требуется для обнаружения AI?

Обнаружение AI требует нескольких сотен слов, чтобы быть надёжным, то есть давать устойчивый результат. Надёжность быстрее всего снижается ниже примерно 100 слов. Основная часть надёжности была установлена в исследовании TextPulse примерно на уровне 150 слов. После этого точность росла медленнее, с 84.0% при 150 словах до 86.8% при 300 словах.

Другие исследования указывают на сходные пороговые значения. Обзор 2025 года в Journal of Artificial Intelligence Research, на который ссылается статья TextPulse, собирает приведённые на данный момент данные. Статистическим и дообученным классификаторам требуется порядка 100 слов, чтобы работать точно. Нескольким стандартным detector требуется примерно 120 слов, чтобы достичь полной производительности, а для обнаружения самых сильных моделей требуется около 200 слов.

По мере того как detector видит больше токенов, то есть фрагментов слов, с которыми работает языковая модель, становится легче различать человеческий и AI-текст. Когда detector видел лишь несколько токенов в коротком ответе, доказательств в пользу любого из выводов недостаточно. Perplexity, burstiness и другие используемые показатели объясняются в руководстве по принципу работы AI detector.

Минимальное количество слов для AI detector по инструментам: Turnitin, GPTZero и другие

Каждый поставщик устанавливает собственный нижний предел или рекомендацию, и не все используют одну и ту же единицу измерения. Turnitin считает слова подходящего по типу прозаического текста. Другие поставщики рекомендуют определённую длину или описывают, как меняется точность по мере увеличения длины текста.

Детектор	Что поставщик заявляет о длине текста
Turnitin	Не менее 300 слов связной прозы, прежде чем будет сгенерирован AI score, что увеличено по сравнению с прежним минимумом в 150 слов, поскольку точность возрастает с увеличением объёма текста
GPTZero	Точность повышается по мере того, как отправляется больше текста. Целые документы классифицируются точнее, чем абзацы, а абзацы точнее, чем отдельные предложения
ZeroGPT	Для стабильного результата рекомендуется не менее 150 to 200 слов, а 500 to 1,000 слов или более дополнительно повышают надёжность. Очень короткие или сильно отредактированные фрагменты "carry fewer signals"
Pangram	Лучше всего работает на более длинном тексте, написанном полными предложениями. Компания не рекомендует проверять короткие маркированные списки или сильно формализованный текст
Sapling	Его опубликованные показатели обнаружения и ложноположительных срабатываний относятся к более длинным текстам. Более короткие тексты "may have different accuracy rates"

Это нижний предел, с которым сталкивается большинство студентов, поскольку Turnitin является встроенным детектором на учебных платформах многих университетов. Ниже 300 слов связной прозы в отчёте об AI writing score не присваивается. Сегмент, получающий оценку ниже этого нижнего предела, и звёздочка, которую Turnitin отображает для оценок ниже 20%, рассматриваются в руководстве о том, как Turnitin detects AI.

Процент на экране не означает, что текст соответствует рекомендованной инструментом длине, поскольку многие потребительские проверяющие могут оценивать один абзац. В 2023 году классификатор AI text OpenAI требовал минимум 1,000 символов входного текста. OpenAI заявила, что он был очень ненадёжен на коротких текстах, и через шесть месяцев удалила его из-за низкой точности.

Точность AI detector в зависимости от длины текста: что показало исследование TextPulse

Рабочая статья TextPulse о длине текста и надёжности обнаружения AI рассматривает только длину, отдельно от всех остальных характеристик текстов. Набор данных включает 25,561 пару текстов, где и человеческий текст, и его AI-переписывание имеют длину не менее 300 слов. Каждый текст был сокращён до 25, 50, 100, 150, 200, 250 и 300 слов. Для каждой длины текста классификатор обучался и тестировался.

Одни и те же тексты представлены на каждой длине, то есть тема, дисциплина и модель AI остаются постоянными. Переписывания получены из восьми различных комбинаций моделей AI по шести семействам моделей. Классификатор оценивает 45 стилевых признаков, таких как длина слова и разнообразие словаря. Это исследовательский инструмент, статья не делает никаких утверждений о том, как коммерческие детекторы могут использовать эти признаки или пороги. См. руководство о том, насколько точны детекторы AI для тестов коммерческих инструментов.

Длина текста	Точность	Человеческие тексты, ошибочно помеченные, когда 95% переписанных AI текстов обнаруживаются	Переписанные AI тексты, обнаруженные, когда 1% человеческих текстов ошибочно помечается
25 слов	73.9%	67.6%	17.2%
50 слов	78.2%	58.8%	28.0%
100 слов	82.3%	49.4%	40.5%
150 слов	84.0%	44.1%	47.9%
200 слов	85.2%	40.1%	50.5%
250 слов	86.1%	36.7%	54.2%
300 слов	86.8%	33.9%	56.5%
Полный текст	88.4%	28.6%	60.6%

Для обнаружения AI точность на коротком тексте хуже в каждом столбце таблицы, а столбец точности занижает величину потери. Пригодный для использования вердикт требует оценки, близкой к одному из концов шкалы, а более короткие тексты сдвигают как человеческие, так и AI оценки к середине. При пороге, установленном так, чтобы выявлять 95% AI переписываний, классификатор ошибочно помечает примерно половину человеческих текстов при 100 словах. При пороге, установленном так, чтобы помечать только 1% человеческих текстов, он выявляет 17.2% AI переписываний при 25 словах.

AUC, основной показатель статьи того, насколько хорошо классификатор разделяет две группы, вырос с 0.817 при 25 словах до 0.940 при 300 словах. На полных текстах, где средний объём на человеческой стороне составлял 466 слов, он достиг 0.950. Самая крутая часть этого роста пришлась на диапазон ниже 100 слов, и каждый шаг после 150 слов добавлял меньше.

Почему ложноположительные результаты на коротком тексте растут

Детектор, построенный на длинных документах, имеет гораздо более высокий уровень ложноположительных результатов на коротких. В статье был представлен классификатор, который обучали на полноразмерных текстах и использовали с порогом по умолчанию для классификации коротких текстов. Уровень ложноположительных результатов системы для человеческих текстов варьировался от 16.1% при 300 словах до 39.1% при 100 словах и 69.8% при 25 словах.

Его обнаружение AI переписываний почти не менялось в том же диапазоне, от 88.4% при 300 словах до 92.4% при 25 словах. Дополнительные ошибки были ложными срабатываниями на человеческом письме. В статье классификатор на коротких входных данных описывается как систематически смещённый в сторону отнесения их к AI.

Причина носит механический характер. Отношение типов к токенам, доля различных слов в тексте, растёт по мере того, как текст становится короче, потому что короткая выборка даёт меньше возможностей повторить слово. В исследовании у человеческих текстов среднее значение этого отношения составляло 0.47 при полной длине и 0.87 при 25 словах. У AI переписываний полной длины среднее значение составляло 0.55.

Этот классификатор, обученный на полнотекстовых материалах, научится тому, что соотношение около 0.55 разделяет AI и человеческое письмо. Любой текст из 25 слов, кем бы он ни был написан, находится значительно выше этого соотношения и смещается в сторону AI. В статье отмечается, что развернутый детектор не переобучается каждый раз, когда вы меняете длину входного текста. Руководство по опубликованной частоте ложноположительных срабатываний Turnitin рассматривает, что включает в себя эта величина и что она не учитывает.

Почему короткие тексты трудно классифицировать

Короткие тексты дают детектору меньше всего того, что он измеряет. Меньшее число слов означает меньше токенов для сравнения, а меньшее число предложений означает меньшую ритмическую вариативность для измерения. В исследовании текст из 25 слов в среднем содержал 1.6 предложения, текст из 50 слов, 2.7 предложения, а текст из 300 слов, 13.4 предложения.

Вариативность длины предложений, которую часто называют burstiness, зависит от сравнения предложений друг с другом. В исследовании она разделяла человеческие и AI тексты на 0.71 стандартного отклонения на полнотекстовых материалах и на 0.31 при 100 словах. При 50 словах различие было фактически нулевым. Детектор, который опирается на burstiness, нуждается в нескольких предложениях, чтобы надежно измерять его.

Больше этой мощности сохраняется на уровне слов. Средняя длина слова и доля длинных слов сохраняли примерно две трети своей разделяющей силы при 25 словах. Но также увеличивалось перекрытие: при 50 словах оценки для обеих групп, как правило, смещаются к центру. Значительная доля каждой группы оказывается в зоне перекрытия.

Цитируемые или шаблонные формулировки также имеют больший вес в коротком тексте. Ответ из 50 слов содержит около трех предложений, поэтому каждое предложение составляет примерно треть того, что видит детектор. Цитируемое определение в одном из них имеет гораздо больший вес, чем то же предложение внутри эссе из 2,000 слов.

Посты на дискуссионных форумах, аннотации, экзамены с короткими ответами и сопроводительные письма

Посты на дискуссионной доске

Пост, написанный в расчете на требование в 200 слов, находится ниже порога Turnitin в 300 слов, поэтому Turnitin не присваивает ему AI score. Другие инструменты все же могут присвоить ему оценку. При 200 словах классификатор в исследовании ошибочно помечал 40.1% человеческих текстов, когда был настроен на выявление 95% AI переработок, по сравнению с 28.6% на полнотекстовых материалах.

Аннотации

Аннотация журнала в 250 слов находится почти на нижней границе, а аннотации представляют собой плотное, формальное письмо. Более раннее исследование TextPulse показало, что человеческие тексты, которые классификатор ошибочно относит к другой категории, являются наиболее формальными. Работа о длине добавляет длину текста как вторую, отдельную причину ложных срабатываний, и короткая формальная аннотация подвержена обеим. Если аннотация вызывает сомнение, проверка полного текста дает детектору ту длину, которую рекомендует его поставщик.

Экзамены с краткими ответами

Ответы объемом от 50 до 100 слов попадают в диапазон, где показатели исследования падают быстрее всего. При 50 словах классификатор, настроенный на выявление 95% переписанных AI текстов, ошибочно пометил 58,8% человеческих текстов. В работе делается вывод, что ниже 50 слов ни один практический порог не дает пригодных результатов. Также в ней говорится, что отказ выносить вердикт по короткому тексту надежнее, чем оценивать его.

Сопроводительные письма

Сопроводительное письмо на одну страницу для вакансии или подачи в журнал содержит несколько сотен слов, и значительная его часть следует установленным формулировкам. Pangram не рекомендует проверять сильно формализованный текст. Если сопроводительное письмо проверяется, следует рассматривать любой балл как оценку с широким интервалом.

Что делать, когда ваш текст ниже нижней границы

Оставьте текст таким, каким вы его написали, и вместо этого дайте контекст оценки. Эти шаги относятся и к автору, и к человеку, который рассматривает оценку.

1. Не раздувайте текст. Лишние слова, добавленные, чтобы достичь нижней границы, изменяют работу, которую вас попросили написать, и тогда оценка описывает уже раздутое version.
2. По возможности проверяйте весь документ. Полное эссе или глава дает детектору рекомендуемую длину, а короткий раздел оценивается как часть более длинного текста.
3. Смотрите на представление по предложениям. Детекторы, которые оценивают предложения, показывают, какие строки определяют результат, и в коротком тексте это часто одно или два предложения, например цитируемое определение.
4. Сохраняйте черновики и историю версий. Они показывают, как развивался текст, а оценка короткого фрагмента этого показать не может.
5. Уточните, как будет использоваться оценка. Результат для текста ниже собственной рекомендуемой длины поставщика является слабым сигналом, и рецензент должен учитывать его именно так.

Для сотрудников обсуждение в статье указывает на простое правило: требовать больше текста или не выносить вердикт ниже установленной длины. Порог Turnitin в 300 слов является именно таким правилом. Когда полный отчет уже существует, руководство по тому, что такое хороший результат Turnitin, объясняет, как его интерпретировать.

Как TextPulse обрабатывает короткий текст

TextPulse не использует AI detector и не продает сканы детектора. TextPulse показывает Human Score (0 to 100) после каждой гуманизации. Этот показатель является оценкой, сделанной в приложении на основе глубины переработки, разнообразия словаря, распределения токенов и вариации длины предложений вашего текста. Для вычисления этого показателя не использовался детектор.

AI Humanizer требует как минимум 50 слов на одну гуманизацию и обрабатывает до 500 слов за один проход в Pro и 1,000 в Plus. Document Humanizer может работать с целым английским файлом .docx длиной до 15,000 слов. Ему требуется как минимум 50 слов основного текста, и он сохраняет заголовки, списки, таблицы, подписи и ссылки в том виде, в каком они написаны. Оба инструмента предназначены для снижения AI scores в черновиках, если ваш курс или журнал допускает помощь AI.

Перед тем как вставлять текст в детектор, проверьте его длину с помощью бесплатного Word Counter. Этот инструмент подсчитывает слова, символы с пробелами и без пробелов, предложения и уникальные слова, чтобы вы могли сопоставить текст с порогом, указанным в любой из этих единиц. Все сведения об исследовании длины, включая оценки по каждому тексту и код анализа, открыто доступны на Zenodo, а исследовательский центр перечисляет это исследование вместе с другими статьями TextPulse.