Як працюють AI-детектори? Перплексія, burstiness і ймовірність токенів

Ваш університет почав пропускати подання через AI detector, і у звіті з’явилося число, на яке ви не очікували. Перш ніж намагатися його оскаржити, корисно зрозуміти, що означає це число. Як працюють AI detectors? Вони не читають машинний текст так, як це робить людина. Вони вимірюють, наскільки передбачуваним є ваш текст для мовної моделі, а потім перетворюють цю передбачуваність на оцінку. У цьому процесі нічого не враховує, що ви маєте на увазі, яким є ваш аргумент або чи справді ви написали цей текст.

Я роками створював інструменти, що статистично розбирають текст, і найкорисніше, що потрібно зрозуміти про виявлення, це таке: це вимір типовості, а не походження. Коли це усвідомлюєш, і технологія, і її збої стають значно зрозумілішими.

Що насправді вимірює детектор

Детектор не знає, хто що написав. У нього є мовна модель і функція оцінювання. Модель читає ваш текст зліва направо, і в кожній точці вона створює розподіл імовірностей того, яке слово має йти далі. Дайте їй слова "the results of the", і вона поставить "study" найвище, "experiment" трохи нижче, а "marmalade" десь поблизу нуля.

Отже, детектор ставить вашому документу одне запитання: як часто цей текст обирав слово, яке модель очікувала? Письмо, яке знову і знову потрапляє на слова з високою імовірністю, виглядає створеним машиною, тому що саме так працює генератор тексту. Модель вибирає з верхньої частини власного розподілу знову і знову, для тисяч токенів.

Саме тому вся ця категорія стоїть на значно хиткішому ґрунті, ніж це подає маркетинг. Детектор не знаходить водяний знак або відбиток. Він лише помічає, що ваша проза статистично не є несподіваною, а для несподівано невиразної прози є багато причин, окрім chatbot.

Perplexity: наскільки модель здивована

Головний показник називається perplexity, і він простіший, ніж здається. Візьміть імовірність, яку модель призначила кожному слову, що фактично з’явилося, усередніть логарифми цих імовірностей і піднесіть результат до експоненти. У підсумку виходить одне число, що описує, наскільки модель була здивована вашим документом. Ви можете перевірити perplexity власного чернеткового тексту замість того, щоб здогадуватися про нього.

Низький perplexity означає, що текст рухався туди, куди модель очікувала. Високий perplexity означає, що він постійно робив повороти, яких модель не очікувала. Людське письмо зазвичай має вищі значення, бо люди тягнуться до дивного конкретного іменника, незвичної конструкції, речення, яке починається з неочікуваного місця. Згенерований текст зазвичай має нижчі значення, бо процес декодування побудований так, щоб уникати саме таких ходів.

Порівняйте два способи почати розділ методів. "The results of the study were statistically significant" це послідовність, яку майже будь-яка модель передбачила б із високою впевненістю, бо вона не несе жодної неочікуваної інформації. "Two of the three cohorts drifted before week six, which we had not planned for" є значно менш передбачуваним, бо містить конкретну, незграбну інформацію, яку не можна було б вгадати з решти статті. Другий варіант коштує детектору справжнього здивування, а саме це здивування і реєструється як людське.

Burstiness: дисперсія, а не середнє

Perplexity сам по собі недостатній, бо документ може в середньому давати цілком прийнятне число, залишаючись підозріло однорідним усередині. Важливою є варіація в межах вашого тексту, і саме це вимірює burstiness: наскільки змінюються довжина речень і perplexity на рівні речень у міру розгортання тексту. burstiness checker покаже вам цей розкид безпосередньо.

Ми прискорюємося, коли впевнені, і сповільнюємося, коли обережні, і цей ритм переходить у прозу. Люди пишуть уривками. Абзац може починатися з короткого розповідного речення з восьми слів, переходити в речення на тридцять чотири слова, яке містить три підрядні частини і вставну конструкцію, а потім знову повертатися до чогось жвавого.

Вихід моделі не робить цього надійно. Речення групуються біля середньої довжини. Абзаци постають у впорядкованих блоках. Кожен розділ починається з повторення власного заголовка. Це читається плавно і отримує низький бал, тому що низька варіативність між реченнями є одним із найсильніших сигналів, якими володіє детектор. Видає його не якесь одне речення. Видає його однорідність.

Сигнал	Що він вимірює	Чому машинний текст отримує низький бал
Perplexity	Наскільки модель здивована вашим вибором слів, усереднено по всьому документу	Під час декодування за задумом вибираються токени з високою ймовірністю
Burstiness	Наскільки сильно варіюють довжина речень і передбачуваність у тексті	Вихід групується біля середнього значення, а не коливається
Token probability	Ймовірність для кожного слова, з якої обчислюються два інші показники	Тривалі послідовності окремо нічим не примітних виборів

Ймовірність токена і звідки береться оцінка

Обидва ці числа побудовані на основі третього, а саме логарифмічної правдоподібності для кожного токена, тобто сирого матеріалу, з якого обчислюється все інше. Деякі інструменти показують його безпосередньо, виділяючи фрагменти, де ваш текст був найбільш передбачуваним. Ці виділення не є звинуваченнями щодо окремих речень, незалежно від того, що може підказувати інтерфейс. Це ті частини, які найбільше сприяли формуванню числа на рівні документа.

Дослідницькі підходи вийшли за межі простих порогів. DetectGPT та його нащадки аналізують кривизну: вони трохи збурюють ваш текст і перевіряють, чи падає правдоподібність за тим шаблоном, який зазвичай демонструє згенерований текст. Інші порівнюють один і той самий уривок у двох різних моделях і використовують розбіжність як сигнал.

Один наслідок має значення для будь-кого, кого оцінюють. Оскільки метрики обчислюються щодо певної референтної моделі, показник завжди є відносним до цієї моделі. Два детектори можуть прочитати один і той самий абзац і повністю не погодитися між собою, і жоден з них не є несправним. Вони відповідають на те саме запитання, але з різними точками відліку.

Другий наслідок згадують рідше. Модель може вважати уривок передбачуваним лише тоді, коли цей уривок подібний до того, на чому її навчали, тому якість виявлення погіршується, коли розрив між референтною моделлю і тим, що згенерувало текст, збільшується. Новіші генератори, незвичні дисципліни та мови, відмінні від англійської, усі розширюють цей розрив. Саме тому точність, виміряна в контрольованому бенчмарку, рідко зберігається під час зіткнення з реальним масивом подань.

Чому текст AI взагалі виявляють

Як мовна модель обирає своє наступне слово

Якби мовну модель залишити саму по собі, вона просто виводила б повний ранжований список можливих наступних слів і дозволяла б чомусь іншому зробити вибір. На практиці стратегія декодування автоматично робить цей вибір, слово за словом, і те, яка саме стратегія працює, змінює вигляд вихідного тексту, навіть коли базова модель ніколи не змінюється.

Жадібне декодування завжди обирає одне, найімовірніше слово. У статті, що запровадила nucleus sampling як спосіб виправлення, Арі Голцман та співавтори зауважили, що дотримання цієї стратегії призводить до тексту, який, за їхніми власними словами, є "нудним і дивно повторюваним". Beam search, який відстежує кілька ймовірних продовжень одночасно, перш ніж зупинитися на одному, стикається з подібною версією тієї самої проблеми.

Стратегії семплювання знову вводять певну випадковість, але контрольованим способом. Температура коригує, наскільки різко модель надає перевагу своїм найкращим варіантам перед тим, як буде вибране слово. Nucleus sampling, який іноді називають top-p, обрізає розподіл до найменшої множини слів, сукупна ймовірність яких перевищує поріг, і вибирає лише з цієї множини, що в оригінальній статті описано як семплювання з динамічного ядра розподілу, а не з його ненадійного хвоста.

Навіть найменш детерміновані з цих налаштувань усе одно спираються на короткий список, побудований навколо того, що модель уже вважає ймовірним. Людське письмо ніколи не генерувалося шляхом ранжування словника і вибору з його верхівки, тому воно постійно виходить за межі цього короткого списку. Зміст іноді живе в слові, якого ніколи не було в списку.

Лексична пласкість: менше, безпечніші слова

Лексична пласкість є словесним рівнем тієї самої звички. У кожній точці речення десятки слів могли б правдоподібно його продовжити, але жменька з них значно випереджає решту в ранжуванні моделі, і декодування знову й знову обирає саме цю жменьку. Помножте цей вибір на кожне речення в документі, і діапазон слів, які фактично використовуються, помітно звужується порівняно з людським письмом подібної довжини.

Ефект не залишається сталим, а накопичується. Модель, яка тягнеться до найвище ранжованого слова в першому реченні, з більшою ймовірністю створює контекст, у якому найвище ранжоване слово в другому реченні також є поширеним, бо поширені слова зазвичай слідують за поширеними словами. Людський автор постійно перериває цей дрейф, обираючи конкретний технічний термін, трохи незвичне дієслово, слово, що називає саму річ, а не її безпечний наближений варіант. Ця відмінність проявляється як вимірно менший робочий словник у згенерованій версії, навіть коли обидві версії описують ті самі базові факти.

Це властивість усього уривка, а не якогось окремого вибору слова. Одне безпечне слово нічого не доводить. Сторінка таких слів, коли речення за реченням тягнуться до одного й того самого рангу поширеної лексики, це те, що словесний сигнал детектора насправді й покликаний помічати.

Синтаксична однорідність: ті самі форми, повторені

Синтаксична однорідність є рівнем речення. Йдеться не про те, наскільки довго триває речення. Йдеться про те, скільки різних граматичних форм використовує уривок: як починаються речення, як підрядні частини приєднуються одна до одної, як часто сполучне слово виконує роботу з’єднання однієї думки з наступною. Модель, яка й далі передбачає статистично ймовірну наступну структуру, зупиняється на невеликій ротації форм і повторює її.

Абзац може варіювати довжину своїх речень і все одно здаватися синтаксично пласким, якщо кожне речення дотримується тієї самої схеми підмет, присудок, додаток, починається з однакового типу переходу або завершується однаково. Передбачуваність міститься в шаблоні, а не в кількості слів, і це розрізнення докладніше розглянуто в посібнику до що саме вимірює burstiness.

Що звужує	Що зазвичай робить текст, оптимізований для декодування	Що зазвичай робить людське письмо
Вибір слів	Зупиняється на найімовірнішому поширеному слові на кожному кроці	Тягнеться до конкретного або менш поширеного слова, яке називає реальну річ
Початок речення	Повторює невеликий набір безпечних початкових переходів	Варіює спосіб початку речення, включно з початками, які модель оцінила б як менш імовірні
Структура підрядних частин	Повторює одну або дві улюблені граматичні форми в межах уривка	Поєднує прості й складні структури залежно від того, що потрібно реченню

Вибір, який зазвичай робить лише людина

Зворотний бік вузького діапазону полягає в тому, що виходить за його межі. Людина, описуючи реальні події, тягнеться до точної цифри замість округленої, визнає ту частину, яка не спрацювала, перериває речення, щоб виправити його в процесі думки, або обирає слово, яке є правильним, а не типовим. Кожен із цих виборів, з погляду мовної моделі, є токеном із низькою ймовірністю, саме тим типом, якого декодування покликане уникати.

Усе це не означає, що конкретне або незвичне письмо захищене від будь-якого прапорця, або що вільне, правильне письмо за замовчуванням є підозрілим. Розділ методів, юридичне положення або суттєво відредагований фінальний чернетковий варіант можуть потрапити у вузький діапазон з причин, які не мають нічого спільного з моделлю, саме тому один бал є описом шаблону, а не вердиктом про те, хто це набрав.

Бачити, де саме ваш власний чернетковий текст розташовується на цій шкалі, корисніше, ніж здогадуватися. Безкоштовний перевірник perplexity від TextPulse і перевірник burstiness вимірюють передбачуваність на рівні слів і ритм від речення до речення окремо, тож плоский словник і повторювана структура речень виявляються як два різні сигнали, а не як одне змішане число.

Звідси випливають дві вужчі сторінки. Як Turnitin виявляє AI саме по собі є однією з них, а різниця між його показником схожості та його AI-показником є іншою, оскільки ці два показники регулярно плутають один з одним.

Обидві вони входять до ширшої колекції безкоштовних інструментів, для всіх, хто хоче побачити закономірність самостійно, а не сліпо довіряти одному числу.

Яка частка вебу тепер створюється AI?

За кількома показниками, текст, створений машиною, тепер переважає текст, написаний людиною, в інтернеті. Команда в Amazon Web Services проаналізувала 6.4 мільярда речень з вебу і виявила, що 57.1% існували як машинні переклади трьома або більше мовами, значна частина з них була низької якості. Аналіз 2025 року, проведений SEO-фірмою Graphite, показав, що трохи більше половини нещодавно опублікованих вебстатей були створені AI. Wikipedia не є винятком: дослідження Princeton сторінок, створених у серпні 2024 року, оцінило приблизно одну з двадцяти нових англомовних статей як істотно створену AI.

Ця частка зростає, тому що вартість виходу моделі на порядки нижча за людське письмо, і кожен комерційний стимул вказує в той самий бік. Цілі платформи тепер працюють без людських авторів узагалі: Chirper є соціальною мережею, повністю заповненою обліковими записами AI, де люди можуть лише спостерігати, а SocialAI продає стрічку, у якій кожна відповідь вам є ботом. Форуми, розділи відгуків і гілки коментарів відтворюють ту саму закономірність у меншому масштабі.

Для виявлення це змінює базову частоту. Класифікатор, що читає довільний вебтекст у 2023 році, міг припускати, що більша його частина була написана людиною, класифікатор у 2026 році не може цього припускати. Це також впливає на самі моделі, оскільки кожне нове покоління навчається на вебі, який уже був записаний їхніми попередниками, і саме тому лексичні звички, на які орієнтуються детектори, поширюються, а не зникають.

Для вашого власного письма наслідок прямий: проза, написана людиною, стає меншістю, і викладачі, редактори та читачі це знають. Підвищена підозра тепер є стандартом, і саме тому варто розуміти, що детектор може, а що не може виміряти.

Що комерційні детектори додають понад це

Інструменти, які насправді купують установи, не запускають підручникову перплексію. Turnitin, GPTZero, Originality.ai та інші навчають класифікатори з учителем на великих розмічених наборах людського і машинного тексту, використовуючи статистичні ознаки поряд зі стилістичними. Те, чого навчається класифікатор, це все, що розрізняє ці дві купи в його навчальних даних, а це вужча і більш історично зумовлена річ, ніж "AI writing" загалом.

Залежність від навчання є тихою проблемою. Класифікатор, навчений переважно на одному поколінні вихідних даних моделі, має узагальнювати на новіші моделі, на незнайомі дисципліни і на авторів, чия англійська не нагадує його навчальний розподіл. Постачальники публікують показники точності зі своїх власних оцінювань, і незалежні бенчмарки регулярно дають значно нижчі результати для тих самих інструментів.

Як читати оцінку, не переоцінюючи її

Звіт детектора зазвичай надходить у вигляді відсотка, і цей відсоток регулярно неправильно тлумачать. Це не частка вашого документа, написана машиною. Залежно від інструмента, це або впевненість класифікатора, або частка речень, що перетнули певний внутрішній поріг, і постачальники часто нечітко пояснюють, що саме мається на увазі. Два звіти, які обидва показують шістдесят відсотків, можуть означати зовсім різні речі.

Також варто знати, що змінює оцінку з причин, які не мають нічого спільного з тим, хто її написав. Короткі документи є більш шумними, тому що для усереднення є менше тексту, і есе на п'ятсот слів може сильно змінюватися під впливом двох або трьох незвичних речень. Цитований матеріал теж враховується, якщо тільки інструмент не відсікає його, тож огляд літератури, насичений блоковими цитатами, успадковує передбачуваність усього, що він цитує. Технічний уривок, перевантажений стандартною термінологією, поводиться так само.

Якщо ви отримали позначку, корисною відповіддю є докази, а не суперечка про метрику. Історія версій, чернетки, нотатки та записи пошуку, усе це свідчить про процес, а саме процес є тим, що комісія з академічної недоброчесності може реально оцінити. Не існує жодного порогу, на який хтось міг би вказати і який відокремлює уважного автора від моделі.

Чому детектори позначають текст, який не створила жодна модель

Хибнопозитивні результати не є рідкісною несправністю. Вони безпосередньо випливають із вимірювання типовості. Будь-який текст, який є справді передбачуваним, отримає оцінку як передбачуваний, незалежно від того, хто його створив.

Автори, для яких англійська не є рідною мовою, страждають найбільше. Дослідники Stanford виявили, що детектори помилково класифікували значну частку есе неносіїв як згенеровані машиною, тоді як есе носіїв класифікували правильно. Причина є механічною, а не зловмисною: автори, які працюють другою мовою, зазвичай покладаються на добре відомі конструкції та більш поширену лексику. Саме це і є профіль низької perplexity, тому ESL writers отримують позначку за обережне письмо.

Академічні конвенції спричиняють ту саму проблему. Розділ методів має бути формульним. Юридичне письмо, технічна документація та клінічна звітність, усе це винагороджує стандартне формулювання, а не винахідливе. Інтенсивне редагування ще більше посилює це, оскільки полірування чернетки зазвичай означає усунення нерегулярностей, які несли ваш статистичний підпис.

Установи це помітили. Vanderbilt вимкнув функцію виявлення ШІ в Turnitin, замість того щоб діяти на підставі оцінок, які він не міг перевірити, а інші університети обмежили, як ці числа можна використовувати в провадженнях щодо академічної недоброчесності. Ставтеся до оцінки детектора як до одного слабкого доказу, а не як до вироку.

Що це означає для вашого власного письма

Практична порада, що випливає з механіки, не є екзотичною, і жодна її частина не передбачає жодних маніпуляцій. Свідомо варіюйте довжину речень, тому що саме одноманітність фіксується. Зберігайте конкретну деталь, фактичне число, фактичне обмеження, те, що пішло не так на шостому тижні. Загальна компетентність саме й оцінюється як машинна, а конкретність є і кращим письмом, і сильнішим сигналом.

Зберігайте також власний ідіом. Якщо у вас є свій спосіб формулювати думки, залишайте його. Прагнення шліфувати чернетку доти, доки вона не звучить як будь-яка інша робота в цій галузі, це саме той імпульс, який знижує вашу perplexity.

Одна річ, якої слід уникати: деякі інструменти навмисно вводять граматичні помилки, щоб підвищити perplexity. Це працює для метрики, але є вкрай поганою ідеєю для будь-чого, що оцінюється або рецензується, оскільки ви обмінюєте підозру на певність. Мета полягає в тому, щоб текст читався як ваш, а не в тому, щоб навмисно пошкодити текст. У цьому і полягає вся різниця між переписуванням для людського читача і псуванням тексту, щоб обдурити оцінювач.

Якщо ви хочете побачити ці числа для власної чернетки, а не покладатися на чорну скриньку на слово, базові вимірювання не є таємницею. Безплатні інструменти аналізу тексту покажуть, де саме перебуває ваша проза, і ви зможете самі вирішити, чи є рівні фрагменти стилістичною проблемою, яку варто виправити.