Что такое перплексия в AI detection?

Поиск по словам perplexity и AI detection вместе приводит к тому, что несколько первых результатов оказываются посвящены не связанному с этим продукту, поисковой системе на основе ИИ, которая тоже называется Perplexity. Метрика, которую на самом деле сообщает детектор, не имеет с этой компанией ничего общего, кроме самого слова. Она происходит из исследований распознавания речи, которые на десятилетия старше, чем GPTZero или поисковая система, и измеряет нечто более узкое, чем любой из них, а именно, насколько модель языка удивляется словам, уже находящимся на странице.

Так что такое perplexity в AI detection? Perplexity это показатель, который описывает, насколько хорошо модель языка предсказала точные слова в отрывке, и который получают, усредняя собственные вероятности модели и преобразуя результат в одно число. Низкий показатель означает, что модель продолжала угадывать верно. Высокий показатель означает, что она продолжала удивляться.

Эта идея старше любого AI detector на рынке, и сама по себе она ничего не говорит о том, кто написал документ. Когда арифметика, лежащая в основе числа, становится видимой, показатель в отчете перестает выглядеть как вердикт и начинает выглядеть как то, чем он и является на самом деле, описанием выбора слов.

Что такое perplexity в AI detection?

Perplexity это измерение, заимствованное из language modeling. Оно оценивает, насколько хорошо модель предсказала конкретные слова, которые встречаются в отрывке, и сообщает этот результат как одно число. Детекторы применяют то же измерение к представленному документу: низкое число, означающее, что предположения модели близко совпали с реальными словами, воспринимается как признак машинного авторства, а высокое число воспринимается как признак человеческого авторства. В самом расчете не учитываются аргументация документа, его цитаты или предметная область. Он учитывает только то, насколько ожидаемым было каждое слово, по одному за раз.

Детекторы не изобрели это измерение. Они заимствовали инструмент, который системы распознавания речи и машинного перевода уже десятилетиями использовали для оценки того, насколько хорошо модель предсказывала обычный язык, и переосмыслили его как косвенный показатель авторства, хотя изначально он не был создан для этой задачи.

Ничто из этого не имеет никакого отношения к упомянутой ранее не связанной с этим поисковой системе. Perplexity, которое сообщает детектор, никогда не является компанией и никогда не пишется с заглавной буквы: это обычное статистическое свойство последовательности слов, заново вычисляемое по любому данному тексту.

Как на самом деле вычисляется perplexity

Это вычисление восходит к более раннему периоду, чем любой продукт AI. Frederick Jelinek, Robert Mercer, Lalit Bahl и James Baker ввели perplexity в 1977 году, чтобы измерять, насколько трудной была задача распознавания речи для статистической модели, за десятилетия до того, как кто-либо применил этот термин к эссе или лабораторному отчёту. Определение с тех пор не изменилось.

В каждой позиции документа модель выдаёт вероятность для слова, которое действительно идёт следующим, что-то вроде 0.72 для обычного перехода или 0.03 для необычного. Perplexity усредняет логарифмы этих вероятностей по всему отрывку, а затем обращает это среднее с помощью показательной функции.

Показательная функция в этом выражении делает больше, чем кажется. Усреднение логарифмов вероятностей, это именно то, что мы делаем при вычислении кросс-энтропии, то есть информационно-теоретического способа сказать, сколько битов нужно, чтобы закодировать последовательность, заданную предсказаниями модели. Но perplexity переводит число битов обратно в нечто, что мы можем понять лучше, в эффективное число вариантов, а не в абстрактный счёт битов.

То, что остаётся после этой арифметики, имеет ясное, почти физическое значение. Модель, которая каждый раз полностью уверена, даёт perplexity 1, нижнюю границу шкалы. Модель, которая рассматривает каждую позицию как равновероятный выбор между восьмьюдесятью одинаково вероятными словами, даёт perplexity 80.

Большинство реальных документов оказывается где-то между этими двумя крайностями, и где именно, зависит от автора, темы и от того, какая модель выполняет чтение.

Почему письменная речь человека обычно получает иные оценки

Ожидания модели полностью формируются на основе того, что было до этого, по одному слову за раз. После фразы 'the treatment group showed a statistically' подавляющее большинство грамматически правильных продолжений это 'significant', и модель, обученная на большом объёме научных текстов, без колебаний присваивает этому слову высокую вероятность. Человек, пишущий ту же фразу, тоже может выбрать 'significant', потому что сама эта фраза является устойчивым элементом жанра. Разрыв возникает в другом месте, в существительном, выбранном двумя предложениями позже, в ремарке, добавленной в скобках, в числе, приведённом с необычной точностью до десятых знаков вместо округлённого значения.

В этом нет никакого трюка. Когда человек, пишущий о реальных данных, пытается подобрать точное число, точный уточняющий оборот, чуть более узкое слово, он обращается к тому, что верно для работы, а не к тому, что верно для жанра. И каждый такой выбор немного увеличивает неожиданность для модели. Именно неожиданность и должна суммироваться в этом показателе.

Из этого вывода следует больше, чем может обосновать измерение. Perplexity напрямую измеряет предсказуемость. Она делает вывод об авторстве только исходя из предположения, что предсказуемое письмо редко встречается у людей и часто у моделей, предположения, которое обычно разумно и иногда ошибочно в конкретном, поддающемся определению смысле, поскольку предсказуемость это свойство, которым текст может обладать по причинам, не имеющим ничего общего с тем, кто его набрал.

Почему один и тот же фрагмент может получать разные оценки

Этот показатель также менее переносим, чем кажется, потому что его никогда не измеряют в вакууме. Perplexity всегда вычисляется относительно обучения одной конкретной эталонной модели, и эта зависимость создаёт проблемы, которые не может показать само по себе ни одно определение.

Фактор	Что меняется	Почему это происходит
Какую модель использует чтение	Один и тот же абзац может получить низкий балл на одной модели и высокий на другой	Перплексия всегда измеряется только относительно обучающих данных одной модели, а разные модели обучались на разных текстах
Является ли отрывок широко воспроизводимым текстом	Известный исторический документ или определение из учебника может получить низкую перплексию, даже если человек ввел в детектор каждое слово	Pangram Labs указывает на Декларацию независимости как на пример, ее так часто цитируют в обучающих данных, что модель не находит ни одно ее предложение неожиданным
Может ли детектор вообще видеть вероятности токенов	Закрытые коммерческие модели, такие как ChatGPT, Gemini и Claude, не раскрывают вероятности по словам, которые нужны для перплексии	Детекторы приближают оценку с помощью подставной открытой модели вместо вычисления перплексии относительно модели, которая фактически создала текст

Все это не делает число бессмысленным, оно лишь делает его более рискованным как самостоятельный вердикт, которому можно доверять. В собственной документации GPTZero когда-то публиковала грубое правило, согласно которому перплексия выше 85 читалась как более вероятно человеческая, но порог одного поставщика на одной модели не переносится на другой инструмент, измеренный относительно другой модели. Детектор, который сообщает одно число, сводит все перечисленные выше факторы к одной величине, не говоря, какой из них сыграл решающую роль.

Что на самом деле говорит оценка перплексии

Коммерческие детекторы объединяют перплексию с паттернами на уровне предложений, обучением классификатора и несколькими другими сигналами еще до того, как они выводят одно число в отчете. Более полная картина того, как на самом деле работают детекторы AI рассматривается отдельно, и там объясняется, откуда берется остальная часть этого числа.

Ритм от предложения к предложению, это связанный, но отдельный сигнал, который рассматривается сам по себе в burstiness checker, и он оценивает, насколько велика вариативность в пределах фрагмента, а не какого-либо отдельного слова.

Ни один из этих показателей не может доказать, кто написал документ, включая оценку Human Score, которую TextPulse вычисляет по представленному черновику, и которая описывает текст, а не выносит по нему вердикт. Упрощённая версия той же идеи, разнообразие словаря, а не полная вероятность модели, лежит в основе free perplexity checker на этом сайте, и его стоит попробовать на абзаце, происхождение которого уже известно, прежде чем доверять тому, что отчёт говорит о чужом тексте.

Perplexity checker находится рядом с остальными free tools TextPulse, так что полный просмотр черновика, словаря, ритма и всего остального не требует держать открытыми дюжину отдельных вкладок одновременно.

Perplexity, это одна из двух статистик, на которые опираются эти системы. Другая, это burstiness, вариативность длины и структуры предложений в пределах фрагмента, а под обеими лежит арифметика вероятности токенов, которая и порождает оценку изначально.

Число в отчёте, это конец длинной цепочки арифметических вычислений, а не начало спора о том, кто что-то написал. Более интересный вопрос, когда арифметика перестаёт быть загадочной, состоит в том, что именно сделало документ в первую очередь неожиданным или предсказуемым, и это вопрос о самом тексте.