Чому AI detectors упереджені проти неносіїв англійської мови

Упередженість детекторів AI проти носіїв, для яких англійська не є рідною, це не суб’єктивна скарга. Рецензоване дослідження Stanford 2023 року виміряло це безпосередньо. Дослідники перевірили сім широко використовуваних GPT детекторів на 91 реальному есе TOEFL, написаному носіями англійської мови, для яких вона не є рідною, і на 88 есе, написаних американськими учнями восьмого класу, а потім порівняли, як кожна група була оцінена.

Детектори майже завжди правильно читали есе восьмого класу. На есе TOEFL, написаних дорослими, які вже склали іспит з володіння англійською мовою на рівні магістратури, ті самі сім інструментів показали середній рівень хибнопозитивних спрацьовувань 61.22 percent. Вісімдесят дев’ять із дев’яноста одного есе, майже 98 percent, були позначені як згенеровані AI принаймні одним із семи інструментів.

Огляд TextPulse щодо ширших доказів точності детекторів AI висвітлює цей головний висновок і судові позови, до яких він згодом призвів. Те, що майже всюди пропускають, коли це дослідження цитують, це механізм, чому проза автора, який володіє англійською на рівні магістратури, спершу читається як машинно створена, і що змінюється, коли вона перестає так читатися.

Упередженість детекторів AI проти носіїв, для яких англійська не є рідною: механізм

Детектор ніколи не читає за змістом. Він читає за тим, наскільки передбачуваним є кожне слово з огляду на слова, що передували йому, і оцінює уривок низько, коли модель могла б вгадати більшість із нього наперед. Лексичне різноманіття, тобто те, наскільки широкий словниковий запас використовує автор, а не повторює менший набір безпечних слів, і синтаксична передбачуваність, тобто те, наскільки структура речень відповідає найпоширенішому зразку для мови, а не варіює його, це дві властивості мовного продукування, які знижують цей показник.

Різниця має значення, тому що ці два явища по-різному проявляються на сторінці. Лексична різноманітність стосується самих слів: текст автора, який у трьох різних реченнях обирає «obtain», «acquire» і «secure», сприймається як більш варіативний, ніж текст того, хто тричі пише «get», навіть якщо в іншому речення однакові. Синтаксична передбачуваність стосується структури: підмет, присудок, додаток, що повторюються знову і знову, а не речення, яке починається підрядним реченням або завершується неочікуваним словом. Автор, для якого англійська є другою мовою і який працює в умовах іспиту, має всі підстави обирати безпечніший варіант в обох випадках.

Письмо другою мовою надійно демонструє менше і того, і того, і це не є недоліком. Автор, який працює додатковою мовою, спирається на лексику та моделі речень, які з найбільшою ймовірністю будуть правильними, тому що помилкове припущення коштує дорожче, коли мова ще не стала повністю автоматичною. Стенфордська стаття, яка задокументувала упередженість детектора, посилається на корпус досліджень з прикладної лінгвістики саме про цю закономірність, встановлену задовго до появи AI detectors: зменшена лексична насиченість, зменшена лексична різноманітність і простіша структура речень є задокументованими, вимірюваними ознаками письма другою мовою, а не ознакою чогось іншого.

Ця різниця між письмом носіїв мови та неносіїв проявляється як різниця perplexity, тобто того самого показника, який detector використовує, щоб вирішити, чи був уривок згенерований машиною. Нижча perplexity сприймається як більш машиноподібна, незалежно від того, хто її створив, і письмо неносіїв мови опиняється нижче на цій шкалі з причин, які не мають нічого спільного з chatbot. Чи саме ця різниця насправді зумовлює роботу detectors, а не є випадковим збігом, це питання, яке можна перевірити. Команда Stanford перевірила його безпосередньо.

Що сталося, коли ті самі есе переписали з багатшою лексикою

Дослідники взяли ті самі 91 TOEFL есе, які спричинили середній рівень хибнопозитивних спрацьовувань 61.22 percent, і попросили ChatGPT відредагувати їх за допомогою однієї інструкції: "Enhance the word choices to sound more like that of a native speaker." Жодних вказівок змінювати зміст, аргументацію або граматику не було. Після цього одного редагування середній рівень хибнопозитивних спрацьовувань у тих самих семи детекторах знизився до 11.77 percent, тобто майже на п'ятдесят відсоткових пунктів, а кількість есе, які кожен детектор одностайно позначив, зменшилася з вісімнадцяти до одного.

Потім дослідники провели експеримент у зворотному напрямку. Вони взяли 88 есе восьмого класу, написаних носіями мови, які детектори спочатку майже завжди оцінювали правильно, і попросили ChatGPT спростити їхній добір слів так, ніби їх написав неносій мови. Середній рівень хибнопозитивних спрацьовувань для цих самих есе, написаних носіями мови, зріс з 5.19 percent до 56.65 percent. Авторство есе не змінилося. Змінився лише словниковий запас, і детектори відреагували саме на словниковий запас.

Perplexity змінювалася синхронно з рівнем хибної класифікації в обох напрямах: вона різко зростала, коли TOEFL есе збагачували, і різко спадала, коли есе восьмого класу спрощували. Автори роблять із цього прямий висновок: те, на що насправді реагували детектори, ніколи не було авторством. Це був добір слів, властивість, яку може нести словниковий запас будь-якого автора, незалежно від того, де він вивчав англійську мову.

Наскільки послідовним є упередження між різними детекторами

Сім детекторів мало в чому погоджувалися, окрім напряму помилки. Кожен із них значно частіше позначав TOEFL есе, ніж есе восьмого класу, але з дуже різними масштабами.

Детектор	Рівень хибнопозитивних спрацьовувань, есе TOEFL	Рівень хибнопозитивних спрацьовувань, есе носіїв мови
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

Це показники 2023 року, виміряні на інструментах у тому вигляді, в якому вони існували тоді. Відтоді кілька з них повністю змінилися: OpenAI закрила свій власний детектор у липні 2023 року, через чотири місяці після цього тесту, після того як виявила, що він правильно позначав лише 26 percent фактичного тексту, написаного AI, водночас помилково маркуючи 9 percent людського письма. Незмінним лишається напрямок розриву. Ширший бенчмарк упередженості, створений спеціально для тестування детекторів за демографічними та лінгвістичними категоріями, опублікований у грудні 2025 року і застосований до чотирьох новіших інструментів з відкритим кодом, і далі повідомляв про послідовно нижчу повноту для недостатньо представлених груп авторів.

Чи проявляється ця упередженість і в новіших детекторах?

Дослідження Stanford тепер уже належить до кількох поколінь AI, і самі його автори прямо назвали обмеження: невелика пілотна вибірка, а також детектори, побудовані переважно на GPT-2, значно меншій і старішій моделі, ніж та, що лежить в основі сучасного виявлення. Це ставить слушне запитання. Чи закрили кращі технології цей розрив?

Найновіше спеціалізоване тестування каже, що поки що ні. У дослідженні лютого 2026 року, проведеному в Університеті Султана Кабуса, дослідники перевірили два сучасні комерційні детектори, Turnitin і Originality, на 192 текстах, що поєднували автентичне студентське письмо з англійської як іноземної до появи ChatGPT, професійне людське письмо, текст, згенерований ШІ, і гібридний людсько-ШІ текст. Результати показали загальну точність 69 percent і 61 percent для двох інструментів, а точність у гібридній категорії, тобто в тому типі письма, який фактично створює етап редагування, впала майже до нуля. Те саме дослідження також виявило друге упередження, що діяло паралельно з мовним, точність щодо наукового письма була на 28 to 38 відсоткових пунктів нижчою, ніж щодо письма з гуманітарних наук.

Жоден із цих висновків не стосується одного хибного продукту. Дві різні архітектури детекторів, протестовані з інтервалом у три роки на різних корпусах різними дослідницькими групами, знову і знову дають той самий результат, письмо, сформоване жанровою конвенцією або другою мовою, виявляється ближчим до того, що ці інструменти називають машинно створеним, ніж письмо, яке не є таким. Безплатні інструменти TextPulse дають автору змогу перевірити той самий статистичний профіль ще до того, як будь-що потрапить до детектора установи.

Незалежні докази того, що розрив є реальним, а не артефактом тестування

Перша проблема з результатами TOEFL полягає в тому, що можна було б стверджувати, ніби вони стосуються лише невеликого пілотного дослідження 2023 року. На це та сама дослідницька група відповіла в іншому дослідженні, використавши дані, які взагалі не мають стосунку до детекторів. Вони проаналізували 1,574 статті, прийняті до ICLR 2023, великої конференції з машинного навчання, обмеживши вибірку анотаціями, поданими та рецензованими до появи ChatGPT.

Автори, які базуються в країнах, де англійська не є основною мовою, писали анотації зі значно нижчим perplexity, ніж автори, які базуються в країнах, де англійська є рідною мовою, і ця різниця зберігалася навіть після контролю за тим, наскільки високо кожну статтю оцінили рецензенти. Цю вибірку не міг сформувати ніхто, хто намагався звучати більш або менш як чатбот. ChatGPT був за три місяці до випуску, коли закрилося вікно подання. Різниця в perplexity між академічним письмом носіїв і неносіїв англійської мови не є чимось, що вигадали детектори. Це те, що вони успадкували.

Статистичний аналіз 2026 року щодо виявлення AI як проблеми тестування пропонує формальну версію того самого висновку. Щоразу, коли група авторів продукує мову, яка в сукупності перекривається з типовим AI-виходом, будь-який детектор із реальною здатністю виявляти текст, написаний AI, мусить мати вищий рівень хибнопозитивних результатів саме для цієї групи, тобто це математична властивість тестування різнорідної популяції, а не вада якогось одного інструмента. Автори, для яких англійська не є рідною, є найчіткіше задокументованим випадком саме такого перекриття.

Що це означає для авторів, які пишуть другою мовою

Усе це не є аргументом на користь того, щоб писати менш схоже на себе. Це причина знати, що саме насправді вимірюється, перш ніж з'явиться оцінка. Якщо детектор читає вашу прозу як передбачувану, він виявляє реальну статистичну властивість письма другою мовою, а не доказ того, що ви використали інструмент, якого ви не використовували.

Дослідники зі Stanford, які провели початкове дослідження, зазначають незручний наслідок власного висновку: те саме коригування лексики, яке знижує ризик хибнопозитивного результату, є також тим типом редагування, якого автор може захотіти з цілком інших причин, ясніше формулювання, точніше слово, незалежно від будь-якого детектора. Сторінка TextPulse для академічних авторів ESL описує, як виглядає такий тип редагування на реальних реченнях, окремо від усього, що стосується оцінки виявлення.

Новіші детектори починають явно враховувати цю закономірність. Pangram, один із нещодавніх комерційних учасників ринку, у власній технічній документації зазначає, що його класифікатор не має упередження проти неносіїв англійської мови, хоча це твердження походить від постачальника, а не з незалежного тестування. безкоштовний перевірник perplexity показує те саме базове вимірювання, яке будь-який із цих інструментів обчислює з фрагмента тексту, не надсилаючи чернетку кудись спочатку.

Два практичні супутники належать до тієї самої групи: коли вживати a, an і the, що є найпоширенішим джерелом цієї закономірності, і як звучати природно в англомовному академічному письмі загалом.

Дослідження й далі накопичуються в тому самому напрямі вже протягом двох років, у різних командах, на різних детекторах і за різних дизайнів тестування. Чого не відбулося, так це широкого впровадження інституційної відповіді: перевіряти детектор на різних авторах перед тим, як довіряти йому щодо будь-кого з них, а не після того, як конкретного студента вже звинуватили. Поки це не стане звичною практикою, тягар доведення хибного спрацювання лежить саме на тих авторах, щодо яких це дослідження каже, що вони з найбільшою ймовірністю його отримають.