Чи досі AI-детектори покладаються на perplexity і burstiness?

Пошук того, як GPTZero сьогодні виявляє AI writing, і більшість результатів, що з’являються, досі зосереджуються на двох статистиках, perplexity і burstiness, парі, яка зробила цей інструмент відомим за кілька тижнів після його запуску в січні 2023 року. Власна документація підтримки GPTZero тепер говорить інше: восени того самого року він перестав використовувати обидві.

То чи використовується burstiness досі AI detectors? Не тим інструментом, який зробив цей термін загальновживаним в академічних колах. Центр підтримки GPTZero прямо зазначає, що він більше не використовує perplexity або burstiness, а натомість перейшов на архітектуру deep-learning. Turnitin, інструмент, з яким насправді стикається більшість студентів, від самого початку ніколи не публікував жоден із цих термінів як частину свого методу. Ці поняття не зникли з обговорення. Вони зникли з продуктів, які фактично виконують виявлення.

Чи використовується Burstiness досі AI detectors?

Ні, не GPTZero, і не за назвою. Власна документація підтримки GPTZero прямо це стверджує: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Власні посібники Turnitin знову описують інший метод, побудований навколо оцінювання фрагментів подання за допомогою навченого класифікатора, і жоден із цих термінів також ніде не з’являється в цій документації. Дві статистики, які визначали першу хвилю AI detection, не є тим, що нині використовують провідні інструменти. Це вужче, ніж сказати, що їх просто відкинули: власне пояснення GPTZero все ще зараховує їх до семи індикаторів, що живлять його модель. Вони перестали бути методом, не переставши бути вимірюванням, і різниця між цими двома твердженнями значною мірою і є тим, на чому тримається це питання.

Що змінилося восени 2023 року

Обидва терміни ніколи не були неясними. Власне раннє пояснення GPTZero визначало perplexity як "міру того, наскільки ймовірно, що модель AI обрала б точно той самий набір слів, який міститься в документі", а burstiness як "міру того, наскільки змінюються патерни письма і текстові perplexities в усьому документі", тобто статистику на рівні документа, а не простий підрахунок довжини речень. Обидва визначення досі опубліковані на сайті GPTZero. Змінилося те, який саме з них фактично використовує детектор.

"Migrated to a deep-learning based architecture" є конкретним твердженням, а не маркетинговою фразою, і воно описує реальну зміну типу. Оцінка perplexity обчислюється безпосередньо за формулою: текст пропускають через еталонну мовну модель, усереднюють логарифмічні ймовірності, підносять результат до експоненти. Натомість deep-learning класифікатор навчають, показуючи йому великі масиви прикладів, написаних людиною та AI, доки він сам не навчиться будь-якої комбінації ознак, що розрізняє ці дві групи в навчальних даних. У другому підході ніхто не виписує правило вручну. Модель знаходить його сама.

Обидва застарілі терміни мають повне пояснення в іншому місці на цьому сайті: що саме вимірює perplexity і що саме вимірює burstiness окремо докладно описують власні механізми, включно з формулами, на яких вони ґрунтуються. Цей матеріал зосереджується лише на тому, чи є будь-який із них тим, що детектор використовує сьогодні.

Що GPTZero і Turnitin фактично документують сьогодні

Поточна сторінка технології GPTZero, яка описує те, що постачається в продукті, стверджує, що їхній детектор є "end-to-end deep learning approach", із "sentence-by-sentence classification model", яка формує вихідну ймовірність із показником упевненості. Perplexity і burstiness не згадуються на цій сторінці ніде, ані як компонент, ані як застаріла функція, ані в примітці.

Документація Turnitin від самого початку не будувалася навколо жодного з цих термінів. У її посібниках описано подання, розбите на фрагменти по кілька сотень слів, де кожен фрагмент оцінюється навченою моделлю, а бали за фрагменти усереднюються в один відсоток, який показує звіт. Це класифікатор із навчанням під наглядом, що працює з сегментами тексту, тобто той самий клас методу, до якого перейшов GPTZero, а не обчислення perplexity і не обчислення burstiness під іншою назвою.

Зсув найлегше побачити поруч.

	Що описували ранні пояснення (2023)	Що описує поточна документація
GPTZero	Perplexity і burstiness, оцінені відносно еталонної моделі	Класифікатор на основі deep learning, що працює речення за реченням і виводить імовірність та показник упевненості
Turnitin	Ніколи не публікувалося, ці терміни не з'являються в матеріалах Turnitin у жодному місці	Фрагменти по кілька сотень слів, оцінені навченим класифікатором, усереднені в один відсоток

Чому ці поняття все ще пояснюють виявлюваність

Усе це не робить perplexity і burstiness хибними, лише застарілими як опис поточного механізму. Обидва поняття завжди описували реальне явище: текст, згенерований шляхом вибірки в бік найімовірніших продовжень самої моделі, зазвичай є більш передбачуваним, слово за словом, ніж текст, який людина пише з нуля, і він, як правило, менше змінюється від одного речення до наступного. Базова регулярність не змінилася лише тому, що постачальник змінив архітектуру свого детектора. Змінилося те, як детектор шукає цю регулярність.

Навчений класифікатор не просять прямо шукати perplexity або burstiness. Радше його навчають на тій самій базовій відмінності між людським і машинним текстом, яку ці дві статистики були покликані виявляти. І видається вкрай малоймовірним, що класифікатор, навчений розрізняти ці дві групи, не спиратиметься також саме на цю регулярність, одну з найнадійніших відмінностей між ними. Це висновок про те, чому класифікатор, ймовірно, працює, а не твердження про перелік його опублікованих ознак, і ці два питання слід розрізняти.

Незалежні дослідження підтверджують думку, що базова статистика й далі має значення, навіть поза межами продукту окремого постачальника. DetectGPT, академічний метод zero-shot, опублікований у 2023 році, розглядає близьку до perplexity величину, те, наскільки різко функція логарифмічної ймовірності моделі вигинається навколо уривка, і досягає 0.95 AUROC на одному бенчмарку проти 0.81 для найкращої попередньої zero-shot базової моделі, зовсім без навчання класифікатора на розмічених прикладах. Основна ідея, що текст, згенерований машиною, перебуває в статистично відмінній області власного простору ймовірностей моделі, і досі є активним напрямом досліджень. Просто це не те, що GPTZero постачає користувачам.

Чому так багато людей в інтернеті досі помиляються щодо цього

Більшість опублікованих пояснень того, як працює виявлення AI, були написані під час запуску GPTZero у січні 2023 року або невдовзі після нього, коли perplexity і burstiness були єдиною публічною рамкою, яку сама компанія пропонувала. Ті початкові сторінки з поясненнями досі доступні сьогодні. Повідомлення про припинення використання восени 2023 року розміщене на окремій сторінці підтримки, а не включене до них, тож автор, який прочитав першу сторінку і припинив подальше дослідження, не мав би підстав знати, що метод змінився менш ніж за рік.

Огляд стороннього детектора, що поширюється у 2026 році, стверджує, що GPTZero досі використовує perplexity і burstiness як один рівень серед кількох у межах більшої системи. Це твердження прямо суперечить власній поточній сторінці GPTZero про технологію та його власній документації підтримки, і на власному сайті GPTZero немає нічого, що це підтверджувало б. Компанія, яка описує власний уже випущений продукт, все ще має вищу вагу, ніж непідтверджене твердження стороннього джерела про той самий продукт, хоча документація постачальника теж може бути помилковою. Цей матеріал спирається на власні сторінки GPTZero, а не на огляд, що повторює старішу версію історії.

Що це означає для того, як ви пишете

Практична порада, побудована навколо burstiness, не стала марною лише тому, що це слово зникло з матеріалів GPTZero. Свідоме варіювання довжини речень, у механічному сенсі, і далі є аргументом проти тієї самої статистичної однорідності, яку класифікатор, дуже ймовірно, навчено помічати, незалежно від того, як він називає цей сигнал усередині. Базова порада пережила зміну архітектури постачальника, хоча словник, яким її описують, і змінився.

Усе це не вимагає вірити комусь на слово, включно з цим матеріалом. Безкоштовний перевірник perplexity від TextPulse і ширша колекція безкоштовних інструментів дають змогу подивитися, де перебуває ваш власний чернетковий текст, ще до того, як це зробить детектор, будь-якого покоління.

Якщо відповідь повертає вас до власного тексту, практичні подальші кроки це свідоме збільшення burstiness і варіювання довжини речень у межах академічного абзацу, тобто та сама робота, описана без метрики.

Механізм, який запускає детектор, і надалі змінюватиметься, GPTZero вже змінював його один раз. Незмінним лишається власне питання, повністю розглянуте в поясненні про те, як насправді працюють AI детектори на цьому сайті, а саме, чи є передбачуване письмо тим самим, що й письмо, створене машиною, незалежно від того, яка формула в певному році є модною.