Используют ли AI-детекторы по-прежнему perplexity и burstiness?

Поиск того, как GPTZero сегодня обнаруживает текст, написанный ИИ, по-прежнему в основном сводится к двум статистическим показателям, perplexity и burstiness, паре, которая сделала этот инструмент известным в течение нескольких недель после запуска в январе 2023 года. Собственная справочная документация GPTZero теперь говорит о другом: осенью того же года он перестал использовать оба показателя.

Так используется ли burstiness по-прежнему в детекторах ИИ? Не тем инструментом, который сделал этот термин общеупотребительным в академической среде. В центре поддержки GPTZero прямо сказано, что он больше не использует perplexity или burstiness, а вместо этого перешёл на архитектуру глубокого обучения. Turnitin, инструмент, с которым большинство студентов действительно сталкивается, вообще никогда не публиковал ни один из этих терминов как часть своего метода. Эти понятия не исчезли из обсуждения. Они исчезли из продуктов, которые фактически выполняют обнаружение.

Используется ли burstiness по-прежнему в детекторах ИИ?

Нет, не GPTZero, и не под этим названием. Собственная справочная документация GPTZero говорит об этом прямо: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Собственные руководства Turnitin описывают ещё один иной метод, основанный на оценке фрагментов работы с помощью обученного классификатора, и ни один из этих терминов там тоже нигде не встречается. Два статистических показателя, которые определяли первую волну обнаружения ИИ, не являются тем, что сейчас используют ведущие инструменты. Это уже более узкое утверждение, чем сказать, что от них отказались: в собственном пояснении GPTZero они по-прежнему относятся к семи индикаторам, которые подают на вход его модели. Они перестали быть методом, не перестав быть измерением, и различие между этими двумя утверждениями во многом и составляет суть этого вопроса.

Что изменилось осенью 2023 года

Эти два термина никогда не были неясными. В собственном раннем пояснении GPTZero perplexity определялась как "a measure of how likely an AI model would have chosen the exact same set of words as found in the document," а burstiness как "a measure of how much writing patterns and text perplexities vary over the entire document," то есть как статистика на уровне документа, а не простой подсчёт длины предложений. Обе эти дефиниции по-прежнему опубликованы на сайте GPTZero. Изменилось то, какой именно из этих показателей детектор фактически использует.

"Migrated to a deep-learning based architecture" это конкретное утверждение, а не маркетинговая формулировка, и оно описывает реальное изменение типа. Оценка perplexity вычисляется напрямую по формуле: текст прогоняется через эталонную языковую модель, усредняются логарифмические вероятности, затем результат возводится в экспоненту. Вместо этого обучается классификатор на основе deep learning, которому показывают большие массивы примеров, написанных человеком и AI, пока он сам не научится тому сочетанию признаков, которое разделяет эти две группы в обучающих данных. Во втором подходе правило вручную никто не пишет. Его находит модель.

Оба устаревших термина подробно объясняются в другом месте на этом сайте: what perplexity actually measures и what burstiness actually measures подробно разбирают собственные механизмы каждого из них, включая лежащие в их основе формулы. В этом материале речь идёт только о том, используется ли сегодня в детекторе хоть один из них.

Что GPTZero и Turnitin На Самом Деле Документируют Сегодня

Текущая страница GPTZero о технологии, которая описывает то, что поставляется в продукте, утверждает, что их детектор представляет собой "end-to-end deep learning approach", с "sentence-by-sentence classification model", которая выдаёт вероятностный результат вместе с оценкой уверенности. Perplexity и burstiness не упоминаются на этой странице нигде, ни как компонент, ни как устаревшая функция, ни в сноске.

Документация Turnitin изначально вообще не строилась вокруг ни одного из этих терминов. В её руководствах описывается разбиение текста на фрагменты по несколько сотен слов, каждый фрагмент оценивается обученной моделью, а оценки фрагментов усредняются в единый процент, который показывает отчёт. Это классификатор с обучением под наблюдением, работающий с сегментами текста, из той же семейства методов, к которому перешёл GPTZero, а не вычисление perplexity и не вычисление burstiness под другим названием.

Разницу проще всего увидеть рядом.

	Что описывали ранние пояснения (2023)	Что описывает текущая документация
GPTZero	Perplexity и burstiness, оцениваемые относительно эталонной модели	Классификатор на основе глубокого обучения, работающий по предложениям и выдающий вероятность и показатель уверенности
Turnitin	Никогда не публиковалось, эти термины ни разу не появляются в собственных материалах Turnitin	Фрагменты по несколько сотен слов, оцениваемые обученным классификатором и усредняемые в один процент

Почему эти понятия по-прежнему объясняют обнаруживаемость

Ничто из этого не делает perplexity и burstiness неверными, они лишь устарели как описание текущего механизма. Оба понятия всегда описывали нечто реальное: текст, сгенерированный путём выборки в сторону наиболее вероятных продолжений самой модели, как правило, более предсказуем, слово за словом, чем текст, который человек пишет с нуля, и он, как правило, меньше варьируется от одного предложения к другому. Лежащая в основе регулярность не изменилась только потому, что поставщик изменил архитектуру своего детектора. Изменилось то, как детектор ищет её.

Обученный классификатор не просит явно искать perplexity или burstiness. Скорее, он обучен на том же базовом различии между человеческим и машинным текстом, которое эти две статистики и были призваны фиксировать. И крайне маловероятно, что классификатор, обученный различать эти две группы, не опирался бы именно на эту регулярность, одну из самых надёжных различий между ними, тоже. Это вывод о том, почему классификатор, вероятно, работает, а не утверждение о его опубликованном списке признаков, и эти два вопроса следует держать раздельно.

Независимые исследования подтверждают идею о том, что лежащая в основе статистика по-прежнему имеет значение, даже вне продукта какого-либо отдельного поставщика. DetectGPT, академический zero-shot метод, опубликованный в 2023, рассматривает близкого родственника perplexity, то, насколько резко функция логарифма вероятности модели изгибается вокруг фрагмента текста, и достигает 0.95 AUROC на одном бенчмарке против 0.81 у лучшего предыдущего zero-shot базового метода, вообще без обучения классификатора на размеченных примерах. Основная идея, что текст, сгенерированный машиной, находится в статистически отличной области собственного пространства вероятностей модели, по-прежнему остаётся активной областью исследований. Просто это не то, что GPTZero поставляет пользователям.

Почему так много людей в интернете до сих пор понимают это неправильно

Большинство опубликованных объяснений того, как работает обнаружение ИИ, были написаны во время запуска GPTZero в январе 2023 или вскоре после него, когда perplexity и burstiness были единственной публичной рамкой, которую сама компания предлагала. Эти исходные страницы с объяснениями до сих пор доступны. Уведомление об отказе от метода осенью 2023 находится на отдельной странице поддержки, а не встроено в них, поэтому у автора, который прочитал первую страницу и прекратил дальнейшее исследование, не было бы причин знать, что метод изменился менее чем через год.

Обзор стороннего детектора, распространяемый в 2026 году, утверждает, что GPTZero по-прежнему использует perplexity и burstiness как один из слоёв в составе более крупной системы. Это утверждение прямо противоречит собственной текущей странице о технологии GPTZero и собственной справочной документации, и ничто на собственном сайте GPTZero его не подтверждает. Компания, описывающая собственный выпущенный продукт, по-прежнему имеет больший вес, чем неподтверждённое утверждение третьей стороны об этом же продукте, хотя документация поставщика тоже может быть неверной. Этот материал опирается на собственные страницы GPTZero, а не на обзор, повторяющий более старую версию истории.

Что это означает для того, как вы пишете

Практическая рекомендация, связанная с burstiness, не стала бесполезной только потому, что это слово исчезло из собственных материалов GPTZero. Намеренное варьирование длины предложений по-прежнему, с механической точки зрения, является аргументом против той же статистической однородности, которую классификатор, весьма вероятно, обучен замечать, как бы он ни называл этот сигнал внутри. Базовая рекомендация пережила изменение архитектуры у поставщика, хотя словарь, которым она описывается, и изменился.

Ничто из этого не требует принимать чьи-либо слова на веру, включая слова в этом материале. Бесплатный проверяющий perplexity от TextPulse и более широкая коллекция бесплатных инструментов позволяют посмотреть, где находится ваш собственный черновик, прежде чем это сделает детектор, какого бы поколения он ни был.

Если ответ возвращает вас к вашему собственному тексту, практические дальнейшие шаги, это намеренное увеличение burstiness и варьирование длины предложений в пределах академического абзаца, то есть та же задача, описанная без использования метрики.

Механизм, который запускает детектор, будет продолжать меняться, GPTZero уже изменил его один раз. Постоянным остаётся сам вопрос, полностью рассмотренный в руководстве этого сайта о том, как на самом деле работают детекторы AI: является ли предсказуемое письмо тем же самым, что и текст, написанный машиной, независимо от того, какая формула в данный год оказывается модной.