Хибні спрацьовування AI Detector: чому людське письмо позначається

У 1982 році New England Journal of Medicine опублікував статтю про цитомегаловірус у пацієнтів після трансплантації кісткового мозку. Вона пройшла рецензування і пролежала в архіві чотири десятиліття. У 2023 році дослідники пропустили її через детектор AI writing, який OpenAI оприлюднив, і інструмент оцінив її як таку, що з імовірністю 99.96 percent була згенерована AI, за тридцять сім років до того, як існувала модель, якою, як стверджувалося, її було написано. Це хибнопозитивний результат AI detector у найчистішому вигляді, документ, позначений як машинно написаний, який не може бути машинно написаним за визначенням.

Цей приклад є крайнім лише за своїм часом. Основний шаблон, коли детектор сприймає формульну, передбачувану прозу як створену машиною, незалежно від того, хто її написав і коли, постійно трапляється в звичайних поданнях, есе, мотиваційних листах, лабораторних звітах, особистих заявах. У цій статті розглядається, що спричиняє хибнопозитивний результат, які види письма є найбільш уразливими, і чому один позначений бал не є тим доказом, яким він здається.

Що таке хибнопозитивний результат AI Detector?

Хибнопозитивний результат AI detector, це написаний людиною текст, який інструмент виявлення оцінює як згенерований AI. Тут не вимірюється нічого, що стосується процесу написання, чесності або майстерності автора. Інструмент порівнює статистичну форму речення, те, наскільки передбачуваними є вибір слів і структура, з формою, яку він навчився пов'язувати з машинним виводом.

Постачальники повідомляють про рівні хибнопозитивних результатів як про один невеликий відсоток, зазвичай менше ніж один або два percent. Ця цифра описує контрольоване тестування на benchmark, який створив постачальник, а не гарантію щодо будь-якого окремого документа. Ширше питання чи є AI detectors точними взагалі вже перевіряли незалежно, і результати виявилися зовсім іншими, іноді значно вищими за будь-які показники постачальників. У цій статті розглядається вужче питання, які види письма підвищують цей ризик, і що може, а що не може сказати будь-кому позначений бал.

Які риси письма змушують людський текст виглядати створеним машиною

Чотири види звичайного письма несуть найбільший ризик, і жоден із них не пов’язаний із тим, що людина робить щось неправильне. Короткі документи, дуже формалізоване письмо, цитований або шаблонний матеріал і письмо, яке ретельно вичитали, зазвичай отримують вищі оцінки як більш передбачуване, ніж вільно складена проза, а саме ця властивість і є тим, що насправді вимірює кожен детектор. Безкоштовний перевірник burstiness безпосередньо вимірює ту саму варіативність, і це швидший спосіб побачити закономірність, ніж читати її опис.

Деякі жанри за своєю природою є формалізованими. Розділ методів, лабораторний звіт, стандартний супровідний лист і огляд літератури всі заохочують звичний вислів, а не винахідливий, тому що саме конвенція робить документ придатним для його читача. Дослідники безпосередньо перевірили це на реальних текстах: вони пропустили через загальнодоступний детектор 14,400 журнальних анотацій, опублікованих між 1980 і 2023 роками, за роки до появи будь-якої великої мовної моделі. До 8 percent були позначені як згенеровані AI незалежно від року публікації, а анотації New England Journal of Medicine були позначені на рівні 10.24 percent, що є найвищим показником хибнопозитивних результатів серед п’яти протестованих журналів.

Тест не міг виявляти нічого, пов’язаного з ChatGPT, оскільки ChatGPT не існував протягом більшості років, які було охоплено вибіркою. Він виявляв жанр. Якщо говорити формальніше, як це подає статистичний аналіз проблеми виявлення 2026 року, немає способу створити детектор, який розрізнятиме речення, передбачуване тому, що його написало програмне забезпечення, і речення, передбачуване тому, що це саме той тип речення, який ви пишете в межах його жанру. Ззовні вони виглядають абсолютно однаково.

Сильне редагування рухає в подібному напрямі. Перший чернетковий варіант несе специфічні нерівності автора, незвичний порядок слів, речення, яке розтягується, бо так розгорталася думка. Ретельна вичитка, особливо якщо її виконують через інший інструмент, зазвичай саме ці нерівності й згладжує. Найбільше незалежне порівняння інструментів виявлення на сьогодні перевірило 14 з них і встановило, що точність ще більше знижувалася для кожного інструмента, коли зразок тексту було перефразовано або машинно перекладено.

Ознака письма	Чому вона знижує видиму непередбачуваність документа	Що показують докази
Короткі подання	Менший обсяг тексту залишає менше простору для природної варіативності, яка відрізняє людський ритм від машинного	Оцінки коротких документів сильніше коливаються під впливом кількох незвичних речень
Формульне або специфічне для дисципліни письмо	Жанрова конвенція винагороджує очікуваний вислів, а не винахідливий	14,400 анотацій журналів до появи ChatGPT (1980 to 2023) все ще давали до 8% хибнопозитивних результатів, в одному журналі анотації досягали 10.24%
Сильно відредаговані або перефразовані чернетки	Вичитка згладжує індивідуальні нерівності, які детектор читає як людські	Незалежне порівняння 14 інструментів показало, що точність ще більше падала після перефразування або машинного перекладу
Цитований або шаблонний матеріал	Цитований уривок несе статистичний підпис свого джерела, а не автора, який його цитує	Детектори, які не виключають цитати, оцінюють навколишній документ за позиченим текстом

Чому опубліковані показники і показники в реальних умовах не збігаються

Кожен великий детектор публікує рівень хибнопозитивних результатів близько одного відсотка або нижче. Незалежні тести тих самих інструментів, проведені на різних документах за різних умов, регулярно повідомляють про щось значно вище, іноді у десять разів або більше. Обидва показники можуть бути точними і водночас описувати майже нічого спільного, тому що вони не вимірюють одне й те саме.

Turnitin є корисним прикладом саме тому, що публікує більше деталей, ніж більшість конкурентів: рівень хибнопозитивних спрацьовувань нижче 1 percent на рівні документа, за умови, що понад 20 percent подання позначено як написане AI, поряд із заявою компанії про те, що результати в реальних умовах відрізняються від її власного лабораторного тестування. The Washington Post у 2023 році пропустила 16 реальних документів через той самий інструмент і виявила, що більше половини повернулися принаймні частково хибно ідентифікованими, зокрема один повністю написаний людиною есе було позначено як частково згенероване AI. Жодне з цих чисел не є вигаданим. Вони походять із різних вибірок, різних порогів і різних визначень того, що вважається позначенням.

Той самий розрив проявляється в усій галузі, не лише в однієї компанії. Те порівняння 14 інструментів показало, що кожен із них загалом не досягав 80 percent точності, а шість із чотирнадцяти дали хибнопозитивний результат на незміненому людському письмі ще до того, як у картину потрапило будь-яке перефразування. Опубліковане число описує еталон. Воно не описує документ, який зараз лежить перед професором.

Чому впевнений показник не є впевненим звинуваченням

Рівень хибнопозитивних спрацьовувань звучить так, ніби він стосується ймовірності того, що один студент, позначений як проблема, є невинним. Але ні. Він описує, як тест працює для всіх, хто його проходить. І це різні питання з різними відповідями, так само як і в будь-якому скринінговому тесті в медицині або безпеці.

Статистичний аналіз від March 2026 року, виконаний дослідником Griffith University, робить базову математику явною. Якщо розглядати виявлення AI як тест, застосований до популяції студентських авторів, а не до одного ізольованого документа, виникає компроміс: щоразу, коли певна частка цієї популяції пише так, що це природно перетинається з типовим виходом AI, близько до жанрової конвенції, близько до діапазону того, хто вивчає другу мову, будь-який детектор із реальною здатністю виявляти написане AI має помилятися щодо частини цієї перекривної частки. Це не твердження про те, що конкретний детектор погано сконструйований. Це властивість тестування різноманітної популяції за допомогою одного документа і без будь-яких інших доказів.

Власний ілюстративний приклад у статті показує масштаб проблеми. Припустімо, що 10 percent студентської популяції пише настільки близько до типового виводу AI, що детектор налаштований виявляти 80 percent справді написаних AI робіт. Тоді математика вимагає середнього рівня хибнопозитивних спрацьовувань щонайменше 7.5 percent у цій популяції. Це не вада інженерної реалізації детектора, це прямий наслідок того, наскільки статистично письмо цієї групи перекривається з тим, що виявляють.

Якщо масштабувати це до університету з 10,000 студентів, лише ця нижня межа означає приблизно 750 хибних позначень у межах усієї популяції, математичний наслідок тестування різнорідної популяції за одним документом без будь-яких інших доказів, які можна було б зважити. Автор статті прямо зазначає, що ці конкретні цифри є ілюстративними, а не виміряними в реальному закладі. Приклад демонструє форму проблеми, а не конкретний прогноз для якогось одного кампусу.

Усе це не означає, що позначений результат є беззмістовним. Це означає, що результат є одним слабким сигналом на рівні популяції, від якого вимагають відповісти на питання про одну конкретну особу, і цей розрив не може повністю усунути жодна кількість полірування з боку постачальника. Відповідальне прочитання розглядає число як привід зібрати кращі докази: чернетки, історію версій, звичайний слід документів людини, яка справді щось писала. Безкоштовні інструменти TextPulse дають автору змогу перевірити, де саме чернетка зараз перебуває за цими самими вимірюваннями, ще до того, як це зробить хтось інший, і це інше використання технології, ніж спроба обійти будь-який конкретний детектор.

Які автори стикаються з найвищим ризиком

Дослідження показує дві групи, які вирізняються більше за інші: людей, які пишуть другою мовою, і людей, які від природи пишуть дуже структуровано або повторювано з причин, не пов'язаних із тим, як вони написали своє есе. Обидва ці типи авторів потрапляють під той самий статистичний підпис, який детектор створено виявляти.

Носії англійської мови як нерідної несуть найбільший задокументований ризик. Незалежне тестування неодноразово показувало, що детектори помилково сприймають вільне академічне письмо другою мовою як згенероване машиною значно частіше, ніж письмо носіїв мови. Сторінка TextPulse для академічних авторів ESL докладніше пояснює механізм цього ризику, зокрема які мовні моделі за ним стоять.

Друга, менш обговорювана група стикається з пов'язаною проблемою. Дослідники порівняли приблизно 60,000 дописів Reddit, розділених між підмножиною, яку визначили як таку, що ймовірно написана авторами з аутизмом, і загальною вибіркою, та пропустили обидві через детектор на основі GPT-2. Обидві групи загалом залишилися нижче 2 percent позначених, але ймовірно аутична підмножина була позначена зі значно вищою частотою, ніж загальна вибірка. Письмо, що тяжіє до буквальних, повторюваних, чітко впорядкованих мовних конструкцій, задокументованої риси деяких аутичних стилів комунікації, створює саме той текст із низькою варіативністю, який детектор і призначений виявляти.

Два постачальники публікують достатньо даних, щоб перевірити це твердження. Власний рівень хибнопозитивних спрацьовувань Turnitin викладено окремо, а точність ZeroGPT розглянуто на окремій сторінці. На кого саме ці помилки найсильніше впливають, це вже окреме питання, і чому авторів, для яких англійська не є рідною, позначають частіше має власну відповідь.

Нічого з цього навряд чи скоро стане простішим. Детектори й надалі вдосконалюватимуться у виявленні справді машинно написаного тексту, а різноманітність населення й надалі створюватиме певний рівень хибних звинувачень, який однією лише кращою інженерією повністю усунути неможливо. Більш корисний зсув уже відбувається в деяких установах, це розгляд оцінки як початку розмови, а не її завершення, і запитання, на якій саме популяції було фактично протестовано опублікований показник, перш ніж довіряти, що він застосовний до документа перед ними.