Чому AI-текст виявляють? Справжні причини

Якщо попросити мовну модель завершити речення "The weather today is," вона не намагатиметься вибрати колір на кшталт "cerulean" або "apocalyptic." Натомість вона спробує сказати "sunny," "cloudy," або "nice," тому що саме ці слова найчастіше стояли після цієї фрази в тому матеріалі, на якому її навчали. Програмне забезпечення, що обирає наступне слово в реченні, було спроєктоване так, щоб надавати перевагу саме такому типу відповіді.

Чому AI текст виявляють? Тому що та сама перевага, яка обирає 'sunny' замість 'cerulean', проходить крізь увесь документ, слово за словом, і результат опиняється в вужчій смузі можливих варіантів письма, ніж та, яку насправді займає людина. Детектору не потрібно виявляти неправду. Йому достатньо помітити, що уривок знову і знову потрапляє в цю вузьку смугу.

Усе, що далі, не потребує формули. Механізм ґрунтується на одній ідеї, повтореній на трьох різних рівнях, вибір слова, форма речення і конкретна деталь, до якої автор звертається, не замислюючись. Кожен із цих рівнів підводить до ширшого питання how AI detectors actually work, і кожен легше побачити, щойно названо першопричину.

Чому AI текст виявляють? Коротка відповідь

AI текст виявляють тому, що процес декодування, який перетворює передбачення моделі на завершені речення, побудований так, щоб на кожному кроці надавати перевагу ймовірним словам, а послідовне застосування цього підходу протягом тисяч слів створює письмо, яке займає вужчий сегмент мови, ніж зазвичай займає людина. Статистичний інструмент може виявити цю вузькість навіть тоді, коли кожне речення граматично бездоганне і фактично точне.

Із цієї однієї причини випливають три симптоми. Словник звужується до найбезпечнішого поширеного слова. Структура речень звужується до кількох улюблених форм. А конкретний, трохи малоймовірний вибір, який людина робить майже рефлекторно, дивне слово, відступ, деталь, яку нічого не коштує включити і все коштує передбачити, зазвичай узагалі не з'являється.

Як мовна модель обирає своє наступне слово

Якби мовну модель залишити саму по собі, вона просто виводила б свій повний ранжований список можливих наступних слів і дозволяла б комусь іншому робити вибір. На практиці стратегія декодування автоматично робить цей вибір, слово за словом, і те, яка саме стратегія працює, змінює вигляд вихідного тексту, навіть коли сама модель не змінюється.

Жадібне декодування завжди обирає одне, найімовірніше слово. У статті, що запровадила nucleus sampling як спосіб виправлення, Ari Holtzman та співавтори зауважили, що дотримання цієї стратегії призводить до тексту, який, за їхніми власними словами, є "bland and strangely repetitive." Beam search, що відстежує кілька ймовірних продовжень одночасно, перш ніж зупинитися на одному, натрапляє на подібну версію тієї самої проблеми.

Стратегії вибірки знову вводять певну випадковість, але контрольованим способом. Temperature змінює те, наскільки різко модель надає перевагу власним найкращим варіантам перед тим, як слово буде вибране. Nucleus sampling, яку іноді називають top-p, обрізає розподіл до найменшої множини слів, сукупна ймовірність яких перевищує поріг, і вибирає лише з цієї множини, яку в оригінальній статті описано як вибірку з динамічного ядра розподілу, а не з його ненадійного хвоста.

Навіть найменш детерміновані з цих налаштувань усе одно вибирають із короткого списку, побудованого навколо того, що модель уже вважає ймовірним. Людське письмо ніколи не генерувалося шляхом ранжування словника і вибору з його верхівки, тому воно постійно виходить за межі цього короткого списку. Сенс іноді живе в слові, якого ніколи не було в списку.

Плоскість словника: менше, безпечніші слова

Плоскість словника є словесним рівнем тієї самої звички. У кожній точці речення десятки слів могли б правдоподібно його продовжити, але жменька з них значно випереджає решту в ранжуванні моделі, і декодування знову й знову зупиняється саме на цій жменьці. Помножте цей вибір на кожне речення в документі, і діапазон слів, які фактично використовуються, помітно звужується порівняно з людським письмом подібної довжини.

Ефект накопичується, а не залишається сталим. Модель, яка в першому реченні тягнеться до слова з найвищим рейтингом, з більшою ймовірністю створює контекст, у якому слово з найвищим рейтингом у другому реченні також є поширеним, тому що поширені слова мають тенденцію слідувати за поширеними словами. Людський автор постійно перериває цей дрейф, добираючи конкретний технічний термін, трохи незвичне дієслово, слово, що називає саму річ, а не безпечне наближення до неї. Ця відмінність проявляється як вимірно менший робочий словник у згенерованій версії, навіть коли обидві версії описують ті самі базові факти.

Це властивість усього уривка, а не будь-якого окремого вибору слова. Одне безпечне слово нічого не доводить. Сторінка таких слів, речення за реченням, що тягнуться до одного й того самого рангу поширеної лексики, це саме те, що сигнал на рівні слів у детектора покликаний помічати.

Синтаксична однорідність: ті самі форми, повторювані

Синтаксична однорідність, це версія на рівні речення. Йдеться не про те, наскільки довго триває речення. Йдеться про те, скільки різних граматичних форм використовує уривок: як починаються речення, як підрядні частини приєднуються одна до одної, як часто слово переходу виконує роботу з’єднання однієї думки з наступною. Модель, яка продовжує прогнозувати статистично ймовірну наступну структуру, зупиняється на невеликому наборі форм і повторює його.

Абзац може варіювати довжину своїх речень і все одно читатися як синтаксично плаский, якщо кожне речення дотримується тієї самої схеми підмет, присудок, додаток, починається з того самого типу переходу або завершується однаково. Передбачуваність міститься в шаблоні, а не в кількості слів, і цю відмінність докладніше розглянуто в посібнику про те, що насправді вимірює burstiness.

Що звужує	Що зазвичай робить текст, оптимізований для декодування	Що зазвичай робить людське письмо
Вибір слів	Зупиняється на найімовірнішому поширеному слові на кожному кроці	Тягнеться до конкретного або менш поширеного слова, яке називає реальну річ
Початок речення	Повторює невеликий набір безпечних перехідних початків	Варіює спосіб початку речення, зокрема початки, які модель оцінила б як менш імовірні
Структура підрядних частин	Повторює одну або дві улюблені граматичні моделі впродовж уривка	Поєднує прості й складні структури залежно від того, що потрібно реченню

Вибори, які схильна робити лише людина

Зворотний бік вузького діапазону полягає в тому, що виходить за його межі. Людина, яка описує реальні події, тягнеться до точного числа замість округленого, визнає ту частину, що не спрацювала, перериває речення, щоб виправити його в середині думки, або обирає слово, яке є правильним, а не типовим. Кожен із цих виборів, з погляду мовної моделі, є токеном із низькою ймовірністю, саме тим типом, якого декодування покликане уникати.

Усе це не означає, що конкретне або незвичне письмо захищене від будь-якої позначки, або що вільне, правильне письмо за замовчуванням є підозрілим. Розділ методів, юридичне положення або сильно відредагований фінальний чернетковий варіант можуть потрапити у вузький діапазон з причин, які не мають нічого спільного з моделлю, саме тому один бал є описом шаблону, а не вердиктом про те, хто це надрукував.

Корисніше побачити, де ваш власний чернетковий варіант розташовується в цьому діапазоні, ніж гадати. Безкоштовний перевірник perplexity і перевірник burstiness від TextPulse окремо вимірюють передбачуваність на рівні слів і ритм від речення до речення, тож плоский словник і повторювана структура речень виявляються як два різні сигнали, а не як одне змішане число.

З цього випливають дві вужчі сторінки. Як Turnitin виявляє AI саме по собі є однією з них, а різниця між його показником схожості та його AI-оцінкою є іншою, оскільки ці два показники регулярно плутають один з одним.

Обидві входять до ширшої колекції безплатних інструментів для всіх, хто хоче побачити закономірність самостійно, а не сліпо довіряти одному числу.