Что такое перплексия в AI detection?

Поиск по perplexity и AI detection вместе приводит к тому, что несколько первых результатов оказываются посвящены не связанному с этим продукту, поисковой системе на основе ИИ, которая тоже называется Perplexity. Метрика, которую на самом деле сообщает детектор, не имеет с этой компанией ничего общего, кроме самого слова. Она происходит из исследований распознавания речи, появившихся на десятилетия раньше, чем GPTZero или поисковая система, и измеряет нечто более узкое, чем любой из них, насколько язык модели был удивлён словами, уже находящимися на странице.

Так что же такое perplexity в AI detection? Perplexity, это показатель, который описывает, насколько хорошо языковая модель предсказала точные слова в отрывке, полученный путём усреднения собственных вероятностей модели и преобразования результата в одно число. Низкий показатель означает, что модель продолжала угадывать правильно. Высокий показатель означает, что она продолжала удивляться.

Эта идея старше любого AI detector на рынке, и сама по себе она ничего не говорит о том, кто написал документ. Как только становится видна арифметика, лежащая в основе числа, показатель в отчёте перестаёт выглядеть как вердикт и начинает выглядеть как то, чем он и является на самом деле, описанием выбора слов.

Что такое perplexity в AI detection?

Перплексия является показателем, заимствованным из языкового моделирования. Он оценивает, насколько хорошо модель предсказала конкретные слова, которые появляются в отрывке, и выражает этот результат одним числом. Детекторы применяют тот же показатель к представленному документу: низкое число, означающее, что предположения модели близко совпали с фактическими словами, читается как признак машинного авторства, а высокое число читается как признак человеческого авторства. В этом расчёте не учитываются аргументация документа, его цитаты или предметная область. Он учитывает только то, насколько ожидаемым было каждое слово, по одному за раз.

Детекторы не изобрели этот показатель. Они заимствовали инструмент, который системы распознавания речи и машинного перевода уже использовали десятилетиями для оценки того, насколько хорошо модель предсказывала обычный язык, и переосмыслили его как косвенный показатель авторства, хотя изначально он не был создан для этой задачи.

Ничто из этого не имеет отношения к не связанному с этим поисковому движку, упомянутому ранее. Перплексия, которую сообщает детектор, никогда не является компанией и никогда не пишется с заглавной буквы: это обычное статистическое свойство последовательности слов, вычисляемое заново по любому тексту, который ему предоставлен.

Как перплексия на самом деле вычисляется

Вычисление восходит к более раннему периоду, чем любой продукт AI. Frederick Jelinek, Robert Mercer, Lalit Bahl и James Baker ввели перплексию в 1977 году, чтобы измерять, насколько трудной была задача распознавания речи для статистической модели, за десятилетия до того, как кто-либо применил этот термин к эссе или лабораторному отчёту. Определение с тех пор не изменилось.

В каждой позиции документа модель выдаёт вероятность для слова, которое фактически идёт следующим, например 0.72 для обычного перехода или 0.03 для необычного. Перплексия усредняет логарифмы этих вероятностей по всему отрывку, а затем обращает это среднее с помощью показательной функции.

Показатель степени в there's делает больше, чем кажется. Усреднение логарифмов вероятностей, это именно то, что мы делаем, когда вычисляем кросс-энтропию, то есть информационно-теоретический способ сказать, сколько битов нужно, чтобы закодировать последовательность, заданную предсказаниями модели. Но perplexity переводит число битов обратно в нечто, что мы можем понять лучше, в эффективное число вариантов, а не в абстрактный счёт битов.

То, что сохраняется после этой арифметики, имеет ясное, почти физическое прочтение. Модель, которая каждый раз полностью уверена, даёт perplexity 1, нижнюю границу шкалы. Модель, которая рассматривает каждую позицию как равновероятный выбор между восьмьюдесятью одинаково вероятными словами, даёт perplexity 80.

Большинство реальных документов оказывается где-то между этими двумя крайностями, и где именно, зависит от автора, темы и от того, какая модель выполняет чтение.

Почему человеческое письмо обычно получает иной результат

Ожидания модели полностью строятся на том, что было до этого, по одному слову за раз. После фразы 'the treatment group showed a statistically' подавляющее большинство грамматически правильных продолжений, это 'significant', и модель, обученная на большом объёме научного письма, без колебаний присваивает этому слову высокую вероятность. Человек, пишущий ту же фразу, тоже может выбрать 'significant', потому что сама эта фраза является устойчивым элементом жанра. Разрыв возникает в другом месте, в существительном, выбранном двумя предложениями позже, в ремарке, добавленной в скобках, в числе, приведённом с необычной точностью после запятой вместо округлённого значения.

В этом нет никакого трюка. Когда человек, пишущий о реальных данных, пытается подобрать точное число, точный уточняющий признак, чуть более узкое слово, он стремится к тому, что истинно для работы, а не к тому, что истинно для жанра. И каждый такой выбор немного сильнее удивляет модель. Именно это удивление и складывается в итоговый показатель.

Вывод делает больше работы, чем может выдержать измерение. Perplexity напрямую измеряет предсказуемость. Она делает вывод об авторстве только исходя из предположения, что предсказуемое письмо редко встречается у людей и часто у моделей, и это предположение обычно разумно и иногда ошибочно в конкретный, поддающийся определению способ, поскольку предсказуемость является свойством, которое текст может иметь по причинам, не связанным с тем, кто его напечатал.

Почему один и тот же фрагмент может получать разные оценки

Оценка также менее переносима, чем кажется, потому что она никогда не измеряется в вакууме. Perplexity всегда вычисляется относительно обучения одной конкретной эталонной модели, и эта зависимость создаёт проблемы, которые не может показать сама по себе ни одно определение.

Фактор	Что меняется	Почему это происходит
Какая модель выполняет чтение	Один и тот же абзац может получить низкую оценку у одной модели и высокую у другой	Perplexity всегда измеряется только относительно обучающих данных одной модели, а разные модели обучались на разных текстах
Является ли фрагмент широко воспроизводимым текстом	Известный исторический документ или определение из учебника может получить низкую perplexity даже тогда, когда человек ввёл каждое слово в детектор	Pangram Labs указывает на Декларацию независимости как на пример: её так часто цитируют в обучающих данных, что модель не находит ни одно её предложение неожиданным
Может ли детектор вообще видеть вероятности токенов	Закрытые коммерческие модели, такие как ChatGPT, Gemini и Claude, не раскрывают вероятности по словам, которые нужны perplexity	Детекторы приближают оценку с помощью подставной открытой модели вместо вычисления perplexity относительно модели, которая фактически произвела текст

Ничто из этого не делает число бессмысленным, оно лишь делает его более рискованным как самостоятельный вердикт. Собственная документация GPTZero когда-то публиковала приблизительное правило, согласно которому perplexity выше 85 считалась более вероятно человеческой, но порог одного поставщика для одной модели не переносится на другой инструмент, измеренный по другой модели. Детектор, сообщающий одно число, сводит все перечисленные выше факторы к одной величине, не говоря, какой именно из них сыграл решающую роль.

Что на самом деле сообщает оценка perplexity

Коммерческие детекторы объединяют perplexity с паттернами на уровне предложений, обучением классификатора и несколькими другими сигналами еще до того, как выводят одно число в отчете. Более полная картина того, как на самом деле работают детекторы AI, рассматривается отдельно, и она объясняет, откуда берется остальная часть этого числа.

Ритм от предложения к предложению является связанным, но отдельным сигналом, который отдельно рассматривается в проверке burstiness, и он оценивает, насколько велика вариативность в пределах отрывка, а не какое-либо отдельное слово.

Ни одно из этих чисел не может доказать, кто написал документ, включая оценку Human Score, которую TextPulse вычисляет по представленному черновику и которая описывает текст, а не выносит по нему вердикт. Упрощенная версия той же идеи, разнообразие словаря, а не полная вероятность модели, лежит в основе бесплатной проверки perplexity на этом сайте, и ее стоит попробовать на абзаце, происхождение которого уже известно, прежде чем доверять тому, что отчет говорит о чужом тексте.

Проверка perplexity находится рядом с остальными бесплатными инструментами TextPulse, так что полный анализ черновика, словаря, ритма и всего остального не требует одновременно держать открытыми дюжину отдельных вкладок.

Перплексия является одной из двух статистик, на которые опираются эти системы. Другая, это burstiness, вариативность длины и структуры предложений в пределах фрагмента, а под обеими лежит арифметика вероятностей токенов, которая и порождает оценку изначально.

Число в отчёте, это конец длинной цепочки арифметических вычислений, а не начало спора о том, кто что-то написал. Более интересный вопрос, когда арифметика перестаёт быть загадочной, состоит в том, что именно сделало документ неожиданным или предсказуемым изначально, и это вопрос о самом тексте.