Чому AI detectors упереджені проти неносіїв англійської мови

AI-детектори, упереджені проти неносіїв мови, це не суб’єктивна скарга. Рецензоване дослідження Stanford 2023 року виміряло це безпосередньо. Дослідники застосували сім широко використовуваних GPT-детекторів до 91 реального есе для TOEFL, написаного неносіями англійської мови, і до 88 есе, написаних американськими учнями восьмого класу, а потім порівняли, як кожна група була оцінена.

Детектори майже завжди правильно читали есе восьмого класу. У випадку есе для TOEFL, написаних дорослими, які вже склали іспит з англійської мови на рівні магістратури, ті самі сім інструментів показали середній рівень хибнопозитивних спрацьовувань 61.22 percent. Вісімдесят дев’ять із дев’яноста одного есе, майже 98 percent, були позначені як згенеровані AI принаймні одним із семи інструментів.

Огляд TextPulse щодо ширших доказів точності AI-детекторів висвітлює цей ключовий висновок і судові позови, до яких він згодом призвів. Те, що майже всюди випадає, коли це дослідження цитують, це механізм, чому проза автора, який володіє англійською на рівні магістратури, спершу читається як створена машиною, і що змінюється, коли вона перестає так читатися.

AI-детектори, упереджені проти неносіїв мови: механізм

Детектор ніколи не читає на предмет змісту. Він читає те, наскільки передбачуваним є кожне слово, з огляду на слова, що йому передували, і надає уривку низький бал, коли модель могла б передбачити більшість із нього заздалегідь. Лексичне різноманіття, тобто те, наскільки широкий словниковий запас використовує автор, а не повторює менший набір безпечних слів, і синтаксична передбачуваність, тобто те, наскільки структура речень відповідає найпоширенішому зразку для мови, а не варіює його, є двома властивостями мовного продукування, які знижують цей бал.

Різниця має значення, тому що ці два явища по-різному проявляються на сторінці. Лексична різноманітність стосується самих слів: автор, який у трьох різних реченнях обирає «obtain», «acquire» і «secure», сприймається як більш різноманітний, ніж той, хто тричі пише «get», навіть якщо в іншому речення однакові. Синтаксична передбачуваність стосується структури: підмет, присудок, додаток, що повторюються знову і знову, а не речення, яке починається підрядною частиною або завершується неочікуваним словом. Автор, для якого англійська є другою мовою і який працює в умовах іспиту, має всі підстави обирати безпечніший варіант в обох випадках.

Письмо другою мовою надійно демонструє менше і того, і іншого, і це не є недоліком. Автор, який працює в додатковій мові, спирається на лексику та моделі речень, які з найбільшою ймовірністю будуть правильними, тому що помилка коштує дорожче, коли мова ще не стала повністю автоматичною. Стаття Stanford, яка задокументувала упередженість детектора, посилається на корпус досліджень з прикладної лінгвістики саме щодо цієї моделі, встановленої задовго до появи AI detectors: знижена лексична насиченість, знижена лексична різноманітність і простіша структура речень є задокументованими, вимірюваними ознаками письма другою мовою, а не ознакою чогось іншого.

Ця різниця між письмом носіїв і неносіїв проявляється як різниця perplexity, тобто того самого показника, який detector використовує, щоб вирішити, чи був уривок згенерований машиною. Нижча perplexity сприймається як більш машиноподібна незалежно від того, хто її створив, а письмо неносіїв розташовується нижче на цій шкалі з причин, які не мають нічого спільного з chatbot. Чи саме ця різниця насправді зумовлює роботу detectors, а не є випадковістю, це питання, яке можна перевірити. Команда Stanford перевірила його безпосередньо.

Що сталося, коли ті самі есе переписали з багатшою лексикою

Дослідники взяли ті самі 91 есе TOEFL, які спричинили середній рівень хибнопозитивних спрацьовувань 61.22 percent, і попросили ChatGPT відредагувати їх за допомогою однієї інструкції: "Enhance the word choices to sound more like that of a native speaker." Нічого в змісті, аргументації або граматиці не було наказано змінювати. Після цієї однієї правки середній рівень хибнопозитивних спрацьовувань у тих самих семи детекторах знизився до 11.77 percent, тобто майже на fifty percentage points, а кількість есе, які одностайно позначив кожен детектор, зменшилася з eighteen до one.

Потім дослідники провели експеримент у зворотному напрямку. Вони взяли 88 есе учнів восьмого класу, написаних носіями мови, які детектори спочатку майже завжди оцінювали правильно, і попросили ChatGPT спростити їхній добір слів так, ніби їх написав неносій мови. Середній рівень хибнопозитивних спрацьовувань у цих самих есе, написаних носіями мови, підскочив з 5.19 percent до 56.65 percent. Авторство есе не змінилося. Змінився лише словниковий запас, і детектори відреагували на словниковий запас.

Perplexity змінювалася синхронно з рівнем хибної класифікації в обох напрямах, вона різко зростала, коли есе TOEFL збагачували, і різко знижувалася, коли есе восьмого класу спрощували. Автори роблять із цього прямий висновок: те, на що насправді реагували детектори, ніколи не було авторством. Це був добір слів, властивість, яку може нести словниковий запас будь-якого автора, незалежно від того, де він вивчав англійську.

Наскільки послідовним є упередження між різними детекторами

Сім детекторів мало в чому погоджувалися, окрім напряму, в якому виникала помилка. Кожен із них значно частіше позначав есе TOEFL, ніж есе восьмого класу, але з дуже різними масштабами.

Детектор	Рівень хибнопозитивних спрацьовувань, есе TOEFL	Рівень хибнопозитивних спрацьовувань, есе носіїв мови
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

Це показники 2023 року, виміряні на інструментах у тому вигляді, в якому вони існували тоді. Відтоді кілька з них повністю змінилися: OpenAI закрила власний детектор у липні 2023 року, через чотири місяці після цього тесту, після того як виявила, що він правильно позначав лише 26 відсотків справжнього тексту, написаного AI, водночас помилково позначаючи 9 відсотків людського письма. Те, що не змінилося, це напрям розриву. Ширший еталон упередженості, створений спеціально для перевірки детекторів у демографічних і лінгвістичних категоріях, опублікований у грудні 2025 року і застосований до чотирьох новіших інструментів з відкритим кодом, і далі показував стабільно нижчу повноту для недостатньо представлених груп авторів.

Чи проявляється ця упередженість і в новіших детекторах?

Дослідження Stanford тепер уже належить до кількох поколінь AI тому, і самі його автори назвали обмеження: невелика пілотна вибірка, а також детектори, побудовані переважно на GPT-2, значно меншій і старішій моделі, ніж та, що лежить в основі виявлення сьогодні. Це ставить слушне запитання. Чи закрили кращі технології цей розрив?

Найновіше спеціалізоване тестування каже, що поки ні. У дослідженні лютого 2026 року, проведеному в Університеті Султана Кабуса, дослідники перевірили два сучасні комерційні детектори, Turnitin і Originality, на 192 текстах, що поєднували автентичне студентське письмо з англійської як іноземної до появи ChatGPT, професійне людське письмо, текст, згенерований AI, і гібридний людсько-AI текст. Результати показали загальну точність 69 percent і 61 percent для двох інструментів, а точність у гібридній категорії, тобто в тому типі письма, який фактично створює етап редагування, впала майже до нуля. Те саме дослідження також виявило друге упередження, що діяло паралельно з мовним: точність щодо наукового письма була на 28 to 38 відсоткових пунктів нижчою, ніж щодо гуманітарного письма.

Жоден із цих висновків не стосується одного хибного продукту. Дві різні архітектури детекторів, протестовані з інтервалом у три роки на різних корпусах різними дослідницькими групами, знову і знову дають той самий результат: письмо, сформоване жанровою конвенцією або другою мовою, виявляється ближчим до того, що ці інструменти називають машинно створеним, ніж письмо, яке не є ні тим, ні іншим. безкоштовні інструменти TextPulse дають змогу автору перевірити той самий статистичний профіль ще до того, як будь-що потрапить до детектора установи.

Незалежні докази того, що розрив є реальним, а не артефактом тестування

Перша проблема з результатами TOEFL полягає в тому, що можна стверджувати, ніби вони стосуються лише невеликого пілотного дослідження 2023 року. На це та сама дослідницька група відповіла в іншому дослідженні, використавши дані, які взагалі не мають стосунку до детекторів. Вони проаналізували 1,574 статті, прийняті до ICLR 2023, великої конференції з машинного навчання, обмеживши вибірку анотаціями, поданими та рецензованими до появи ChatGPT.

Автори, які базуються в країнах, де англійська не є основною мовою, писали анотації зі значно нижчою perplexity, ніж автори, які базуються в країнах, де англійська є рідною мовою, і ця різниця зберігалася навіть після контролю за тим, наскільки високо кожну статтю оцінили рецензенти. Цю вибірку не міг сформувати ніхто, хто намагався звучати більш або менш як чатбот. ChatGPT був за три місяці до випуску, коли закрилося вікно подання. Розрив у perplexity між академічним письмом носіїв англійської та неносіїв англійської не є чимось, що вигадали детектори. Це те, що вони успадкували.

Статистичний аналіз 2026 року щодо виявлення AI як проблеми тестування пропонує формальну версію того самого висновку. Щоразу, коли група авторів продукує мову, яка в сукупності перекривається з типовим AI-виводом, будь-який детектор із реальною здатністю виявляти текст, написаний AI, мусить мати вищий рівень хибнопозитивних спрацьовувань саме для цієї групи, тобто математичну властивість тестування різнорідної популяції, а не дефект якогось одного інструмента. Автори, для яких англійська не є рідною, є найчіткіше задокументованим випадком саме такого перекриття.

Що це означає для авторів, які пишуть другою мовою

Усе це не є аргументом на користь того, щоб писати менш схоже на себе. Це причина знати, що саме насправді вимірюється, перш ніж з'явиться оцінка. Якщо детектор читає вашу прозу як передбачувану, він виявляє реальну статистичну властивість письма другою мовою, а не доказ того, що ви використали інструмент, який ви не використовували.

Дослідники зі Stanford, які провели початкове дослідження, зазначають незручний наслідок власного висновку: те саме коригування лексики, яке знижує ризик хибнопозитивного спрацьовування, є також тим типом редагування, якого автор може бажати з цілком окремих причин, для яснішого формулювання, точнішого слова, незалежно від будь-якого детектора. Сторінка TextPulse для академічних авторів ESL описує, як виглядає такий тип редагування на реальних реченнях, окремо від усього, що пов'язане з оцінкою виявлення.

Новіші детектори починають явно враховувати цю закономірність. Pangram, один із нещодавніших комерційних учасників, у власній технічній документації стверджує, що його класифікатор не має упередження проти авторів, для яких англійська не є рідною мовою, хоча це твердження походить від постачальника, а не з незалежного тестування. безплатний перевірник perplexity показує те саме базове вимірювання, яке будь-який із цих інструментів обчислює з фрагмента тексту, не надсилаючи чернетку кудись спочатку.

Два практичні супутники перебувають у тому самому кластері: коли вживати a, an and the, що є найпоширенішим окремим джерелом цієї закономірності, і як звучати природно в англомовному академічному письмі загалом.

Дослідження й надалі накопичуються в тому самому напрямі через два роки, у різних командах, різних детекторах і різних дизайнах тестування. Чого не відбулося, так це широкого впровадження інституційної відповіді, аудиту детектора на широкому спектрі авторів перед тим, як довіряти йому щодо будь-кого з них, а не після того, як конкретного студента вже звинуватили. Поки це не стане рутинною практикою, тягар доведення хибного спрацювання лягає саме на тих авторів, яких, за цим дослідженням, найімовірніше буде хибно позначено.