Що таке перплексія в AI detection?

Пошук за perplexity та AI detection разом дає кілька найкращих результатів, які виявляються присвяченими не пов’язаному продукту: пошуковій системі на основі AI, яка також має назву Perplexity. Метрика, яку насправді повідомляє детектор, не має нічого спільного з цією компанією, окрім слова. Вона походить із досліджень розпізнавання мовлення, що на десятиліття старші за GPTZero або пошукову систему, і вимірює дещо вужче, ніж будь-що з них: наскільки language model здивована словами, які вже є на сторінці.

Отже, що таке perplexity в AI detection? Perplexity, це показник, який описує, наскільки добре language model передбачила точні слова у фрагменті, і який отримують шляхом усереднення власних ймовірностей моделі та перетворення результату на одне число. Низький показник означає, що модель здебільшого вгадувала правильно. Високий показник означає, що вона постійно дивувалася.

Ця ідея старіша за будь-який AI detector на ринку, і сама по собі вона нічого не говорить про те, хто написав документ. Коли арифметика, що стоїть за числом, стає видимою, показник у звіті перестає виглядати як вердикт і починає виглядати як те, чим він насправді є: описом вибору слів.

Що таке perplexity в AI detection?

Perplexity, це вимірювання, запозичене з language modeling. Воно оцінює, наскільки добре модель передбачила конкретні слова, що з’являються у фрагменті, і подає цей показник як одне число. Детектори застосовують те саме вимірювання до поданого документа: низьке число, тобто коли здогадки моделі близько збігалися з фактичними словами, читається як ознака машинного авторства, а високе число читається як ознака людського авторства. У самому розрахунку немає нічого, що читало б аргументацію документа, його цитати або тему. Він лише читає, наскільки очікуваним було кожне слово, по одному.

Детектори не винайшли це вимірювання. Вони запозичили інструмент, який системи розпізнавання мовлення та машинного перекладу вже десятиліттями використовували для оцінювання того, наскільки добре модель передбачала звичайну мову, і переосмислили його як непрямий показник авторства, для чого він спочатку не був створений.

Нічого з цього не має жодного стосунку до не пов’язаного пошукового рушія, згаданого раніше. Перплексія, яку повідомляє детектор, ніколи не є компанією і ніколи не пишеться з великої літери: це звичайна статистична властивість послідовності слів, яку щоразу обчислюють заново на основі будь-якого тексту, що його подано.

Як насправді обчислюють перплексію

Обчислення сягає значно далі, ніж будь-який продукт AI. Frederick Jelinek, Robert Mercer, Lalit Bahl і James Baker запровадили перплексію 1977 року, щоб вимірювати, наскільки складним було завдання розпізнавання мовлення для статистичної моделі, за десятиліття до того, як хтось застосував цей термін до есе або лабораторного звіту. Визначення відтоді не змінилося.

У кожній позиції документа модель видає ймовірність для слова, яке фактично йде наступним, щось на кшталт 0.72 для поширеного переходу або 0.03 для незвичного. Перплексія усереднює логарифми цих імовірностей по всьому уривку, а потім обертає середнє за допомогою показникової функції.

Показникова функція в слові there's робить більше, ніж здається. Усереднення логарифмів імовірностей це саме те, що ми робимо, коли обчислюємо крос-ентропію, тобто інформаційно-теоретичний спосіб сказати, скільки бітів потрібно, щоб закодувати послідовність з огляду на передбачення, зроблені моделлю. Але перплексія переводить кількість бітів назад у щось, що ми можемо краще зрозуміти: ефективну кількість варіантів, а не абстрактний підрахунок бітів.

Те, що зберігається після цієї арифметики, має чітке, майже фізичне тлумачення. Модель, яка щоразу є цілком упевненою, дає перплексію 1, нижню межу шкали. Модель, яка розглядає кожну позицію як рівну ймовірність між вісімдесятьма однаково ймовірними словами, дає перплексію 80.

Більшість реальних документів опиняється десь між цими двома крайнощами, і де саме, залежить від автора, теми та того, яка саме модель виконує читання.

Чому людське письмо зазвичай отримує інші оцінки

Очікування моделі повністю формуються з того, що було раніше, по одному слову за раз. Після фрази 'the treatment group showed a statistically' переважна більшість граматично правильних продовжень є 'significant', і модель, навчена на великому обсязі наукового письма, без вагань надає цьому слову високу ймовірність. Людина, яка пише ту саму фразу, теж може зупинитися на 'significant', тому що сама фраза є усталеним елементом цього жанру. Розрив виникає в іншому місці, у іменнику, обраному через два речення, у вставному зауваженні в дужках, у числі, поданому з незвичною кількістю знаків після коми замість округленого значення.

У цьому немає жодної хитрощі. Коли людина, що пише про реальні дані, намагається дібрати точне число, точний уточнювальний вислів, трохи вужче слово, вона звертається до того, що є істинним щодо роботи, а не щодо жанру. І кожен із цих виборів коштує моделі трохи більшого здивування. Саме здивування і підсумовує цей показник.

Висновок робить більше, ніж може обґрунтувати вимірювання. Perplexity безпосередньо вимірює передбачуваність. Воно робить висновок про авторство лише через припущення, що передбачуване письмо рідкісне серед людей і поширене серед моделей, припущення, яке зазвичай є обґрунтованим і інколи помилковим у конкретний, ідентифікований спосіб, оскільки передбачуваність є властивістю, яку текст може мати з причин, що не мають нічого спільного з тим, хто його набрав.

Чому один і той самий уривок може отримувати різні оцінки

Цей показник також менш переносний, ніж здається, тому що його ніколи не вимірюють у вакуумі. Perplexity завжди обчислюється щодо навчання однієї конкретної референтної моделі, і ця залежність створює проблеми, яких не може показати жодне окреме визначення саме по собі.

Фактор	Що змінюється	Чому це відбувається
Яка модель виконує читання	Один і той самий абзац може отримати низький бал в однієї моделі та високий в іншої	Perplexity завжди вимірюється лише щодо навчальних даних однієї моделі, а різні моделі навчалися на різних текстах
Чи є уривок широко відтворюваним текстом	Відомий історичний документ або визначення з підручника може отримати низький показник perplexity, навіть якщо людина ввела в детектор кожне його слово	Pangram Labs наводить Декларацію незалежності як приклад, її так часто цитують у навчальних даних, що модель не вважає жодне речення з неї несподіваним
Чи може детектор взагалі бачити ймовірності токенів	Закриті комерційні моделі, такі як ChatGPT, Gemini і Claude, не надають покрокові ймовірності, які потрібні perplexity	Детектори наближено оцінюють показник за допомогою замінної відкритої моделі, а не обчислюють perplexity щодо моделі, яка фактично створила текст

Усе це не робить число беззмістовним, лише підвищує ризик покладатися на нього як на самостійний вердикт. У власній документації GPTZero колись було опубліковано приблизне правило, за яким perplexity вище 85 читався як більш імовірно людський, але поріг одного постачальника для однієї моделі не переноситься на інший інструмент, виміряний щодо іншої моделі. Детектор, що повідомляє одне число, стискає всі наведені вище чинники в одну величину, не пояснюючи, який із них справді спрацював.

Що насправді повідомляє показник perplexity

Комерційні детектори поєднують perplexity із шаблонами на рівні речень, навчанням класифікатора та кількома іншими сигналами ще до того, як вони виводять одне число у звіті. Повнішу картину того, як насправді працюють AI detectors, розглянуто окремо, і там пояснено, звідки береться решта цього числа.

Ритм між реченнями є пов’язаним, але окремим сигналом, який розглядається сам по собі за допомогою burstiness checker, і він оцінює, наскільки велика варіативність у межах уривка, а не в межах окремого слова.

Жоден із цих чисел не може довести, хто написав документ, зокрема й оцінений Human Score, який TextPulse обчислює з поданого чернеткового тексту, і який описує текст, а не виносить щодо нього вердикт. Спрощена версія тієї самої ідеї, різноманітність словника, а не повна ймовірність моделі, лежить в основі free perplexity checker на цьому сайті, який варто спробувати на абзаці, походження якого вже відоме, перш ніж довіряти тому, що звіт каже про чужий.

Perplexity checker розміщений поруч з іншими free tools TextPulse, тож повна перевірка чернетки, словника, ритму і всього іншого, не потребує одночасно відкривати десяток окремих вкладок.

Perplexity є однією з двох статистик, на які спираються ці системи. Іншою є burstiness, варіація довжини та структури речень у межах уривка, а під обома лежить арифметика ймовірності токенів, яка й породжує оцінку від самого початку.

Число у звіті є кінцем довгого ланцюга арифметичних обчислень, а не початком аргументу про те, хто щось написав. Більш цікаве питання, коли арифметика перестає бути загадковою, полягає в тому, що саме зробило документ несподіваним або передбачуваним від самого початку, і це питання стосується самого письма.