Що таке перплексія в AI detection?

Пошук за запитами perplexity та AI detection разом дає кілька найкращих результатів, які виявляються присвяченими не пов’язаному продукту: пошуковій системі на основі AI, що також має назву Perplexity. Метрика, яку насправді повідомляє детектор, не має нічого спільного з цією компанією, окрім самого слова. Вона походить із досліджень розпізнавання мовлення, що на десятиліття старші за GPTZero або пошукову систему, і вимірює дещо вужче, ніж будь-що з цього: наскільки language model здивована словами, які вже є на сторінці.

То що таке perplexity в AI detection? Perplexity, це показник, який описує, наскільки добре language model передбачила точні слова у фрагменті, і який отримують шляхом усереднення власних імовірностей моделі та перетворення результату на одне число. Низький показник означає, що модель здебільшого вгадувала правильно. Високий показник означає, що її постійно дивували.

Ця ідея старіша за будь-який AI detector на ринку, і сама по собі вона нічого не говорить про те, хто написав документ. Коли арифметика, що стоїть за числом, стає видимою, показник у звіті перестає виглядати як вирок і починає виглядати як те, чим він є насправді: описом вибору слів.

Що таке perplexity в AI detection?

Перплексія є показником, запозиченим із мовного моделювання. Вона оцінює, наскільки добре модель передбачила конкретні слова, що з’являються у фрагменті, і подає цю оцінку як одне число. Детектори застосовують той самий показник до поданого документа: низьке число, тобто коли припущення моделі близько збігалися з фактичними словами, читається як ознака машинного авторства, а високе число читається як ознака людського авторства. У самому обчисленні не враховуються аргументація документа, його цитати чи предметна сфера. Воно лише враховує, наскільки очікуваним було кожне слово, по одному за раз.

Детектори не винайшли цей показник. Вони запозичили інструмент, який системи розпізнавання мовлення та машинного перекладу вже використовували десятиліттями, щоб оцінювати, наскільки добре модель передбачала звичайну мову, і переосмислили його як непрямий показник авторства, для чого він спочатку не був створений.

Усе це не має жодного стосунку до згаданого раніше нерелевантного пошукового рушія. Перплексія, яку повідомляє детектор, ніколи не є компанією і ніколи не пишеться з великої літери: це звичайна статистична властивість послідовності слів, обчислена заново з будь-якого тексту, який їй подано.

Як перплексія насправді обчислюється

Обчислення сягає далі, ніж будь-який продукт AI. Frederick Jelinek, Robert Mercer, Lalit Bahl і James Baker запровадили перплексію у 1977 році, щоб вимірювати, наскільки складним було завдання розпізнавання мовлення для статистичної моделі, за десятиліття до того, як хтось застосував цей термін до есе або лабораторного звіту. Визначення відтоді не змінилося.

У кожній позиції документа модель видає ймовірність для слова, яке фактично йде наступним, щось на кшталт 0.72 для поширеного переходу або 0.03 для незвичного. Перплексія усереднює логарифми цих імовірностей по всьому фрагменту, а потім обертає це середнє за допомогою показникової функції.

Показник у there’s робить більше, ніж здається. Усереднення логарифмів імовірностей є саме тим, що ми робимо, коли обчислюємо крос-ентропію, тобто інформаційно-теоретичний спосіб сказати, скільки бітів потрібно, щоб закодувати послідовність, задану прогнозами, зробленими моделлю. Але perplexity переводить кількість бітів назад у щось, що ми можемо краще зрозуміти, у ефективну кількість варіантів, а не в абстрактний підрахунок бітів.

Те, що зберігається після цієї арифметики, має чітке, майже фізичне тлумачення. Модель, яка щоразу є цілком упевненою, дає perplexity 1, нижню межу шкали. Модель, яка розглядає кожну позицію як рівноймовірний вибір між вісімдесятьма однаково ймовірними словами, дає perplexity 80.

Більшість реальних документів опиняються десь між цими двома крайнощами, і де саме, залежить від автора, теми та від того, яка саме модель виконує читання.

Чому людське письмо зазвичай отримує інші оцінки

Очікування моделі повністю будуються на тому, що було раніше, по одному слову за раз. Після фрази 'the treatment group showed a statistically' переважна більшість граматично правильних продовжень є 'significant', і модель, навчена на великому обсязі наукового письма, без вагань надає цьому слову високу ймовірність. Людина, яка пише ту саму фразу, теж може обрати 'significant', тому що сама фраза є типовою для цього жанру. Розрив виникає в іншому місці, у іменнику, обраному через два речення, у вставному зауваженні в дужках, у числі, поданому з дивною кількістю знаків після коми замість округленого.

У цьому немає жодної хитрості. Коли людина, яка пише про реальні дані, намагається дійти до точного числа, точного уточнювального слова, трохи вужчого терміна, вона тягнеться до того, що є істинним щодо роботи, а не щодо жанру. І кожен із цих виборів коштує моделі трохи більшого здивування. Саме здивування і є тим, що цей показник покликаний підсумовувати.

Інференція виконує більше роботи, ніж може підтримати вимірювання. Perplexity безпосередньо вимірює передбачуваність. Вона робить висновок про авторство лише на підставі припущення, що передбачуване письмо рідко трапляється серед людей і часто серед моделей, припущення, яке зазвичай є обґрунтованим і часом помилковим у конкретний, ідентифікований спосіб, оскільки передбачуваність є властивістю, яку текст може мати з причин, що не мають нічого спільного з тим, хто його набрав.

Чому той самий уривок може отримувати різні оцінки

Оцінка також менш переносна, ніж здається, оскільки її ніколи не вимірюють у вакуумі. Perplexity завжди обчислюється щодо навчання однієї конкретної референсної моделі, і ця залежність створює проблеми, яких не може показати жодне окреме визначення саме по собі.

Фактор	Що змінюється	Чому це відбувається
Яка модель виконує читання	Один і той самий абзац може отримати низьку оцінку в однієї моделі та високу в іншої	Perplexity завжди вимірюється лише щодо навчальних даних однієї моделі, а різні моделі навчалися на різних текстах
Чи є уривок широко відтворюваним текстом	Відомий історичний документ або визначення з підручника може отримати низьку perplexity навіть тоді, коли людина набрала кожне слово з нього в детектор	Pangram Labs наводить Декларацію незалежності як приклад: її так часто цитують у навчальних даних, що модель не вважає жодне її речення несподіваним
Чи може детектор взагалі бачити ймовірності токенів	Закриті комерційні моделі, такі як ChatGPT, Gemini і Claude, не надають імовірності для кожного слова, які потрібні perplexity	Детектори наближено оцінюють показник за допомогою замінної відкритої моделі замість обчислення perplexity щодо моделі, яка фактично створила текст

Усе це не робить число беззмістовним, лише більш ризикованим для довіри як самостійного висновку. Власна документація GPTZero колись опублікувала приблизне правило, за якого perplexity вище 85 читалося як більш імовірно людське, але поріг одного постачальника на одній моделі не переноситься на інший інструмент, виміряний проти іншої моделі. Детектор, що повідомляє одне число, стискає всі наведені вище чинники в одну величину, не кажучи, які саме з них виконали роботу.

Що насправді повідомляє показник perplexity

Комерційні детектори поєднують perplexity із шаблонами на рівні речень, навчанням класифікатора та кількома іншими сигналами ще до того, як вони виводять одне число у звіті. Повніша картина того, як насправді працюють детектори AI розглядається окремо, і вона пояснює, звідки береться решта цього числа.

Ритм від речення до речення є пов'язаним, але окремим сигналом, який самостійно розглядає перевірка burstiness, і він оцінює, наскільки велика варіативність у фрагменті, а не будь-яке окреме слово.

Жодне з цих чисел не може довести, хто написав документ, зокрема й оцінений Human Score, який TextPulse обчислює з поданого чернеткового тексту, що описує текст, а не виносить щодо нього вердикт. Спрощена версія тієї самої ідеї, різноманітність словника, а не повна ймовірність моделі, лежить в основі безплатної перевірки perplexity на цьому сайті, яку варто спробувати на абзаці, походження якого вже відоме, перш ніж довіряти тому, що звіт каже про чужий текст.

Перевірка perplexity розміщена поруч з іншими безплатними інструментами TextPulse, тож повна перевірка чернетки, словника, ритму і всього іншого не потребує одночасно відкривати десяток окремих вкладок.

Перплексія є однією з двох статистик, на які спираються ці системи. Інша, це бурстинес, варіація довжини та структури речень у фрагменті тексту, а під обома лежить арифметика ймовірності токенів, яка й породжує цей показник від самого початку.

Число у звіті є кінцем довгого ланцюга арифметичних обчислень, а не початком суперечки про те, хто щось написав. Після того як арифметика перестає бути загадковою, цікавішим стає питання, що саме спочатку зробило документ несподіваним або передбачуваним, і це питання стосується самого письма.