Почему AI Detectors предвзяты по отношению к неносителям английского языка

Предвзятость AI detectors против носителей языка, для которых английский не является родным, это не субъективная жалоба. Рецензируемое исследование Stanford 2023 года измерило это напрямую. Исследователи проверили семь широко используемых GPT detectors на 91 реальном эссе TOEFL, написанном носителями английского языка, для которых он не является родным, и на 88 эссе, написанных американскими учениками восьмого класса, а затем сравнили результаты каждой группы.

Detectors почти всегда правильно распознавали эссе восьмого класса. В эссе TOEFL, написанных взрослыми, которые уже сдали экзамен по английскому языку уровня магистратуры, те же семь инструментов показали средний уровень ложноположительных срабатываний 61.22 percent. Восемьдесят девять из девяноста одного эссе, почти 98 percent, были помечены как сгенерированные AI по крайней мере одним из семи инструментов.

Обзор TextPulse более широких данных о точности AI detector рассматривает этот ключевой вывод и судебные иски, к которым он впоследствии привёл. Почти везде, где это исследование цитируют, опускается механизм, почему проза автора с уровнем английского языка магистратуры вообще читается как созданная машиной, и что меняется, когда она перестаёт так читаться.

AI Detectors, предвзятые против носителей языка, для которых английский не является родным: механизм

Detector никогда не читает смысл. Он читает, насколько предсказуемо каждое слово с учётом слов, которые ему предшествовали, и оценивает фрагмент низко, когда model могла бы заранее угадать большую его часть. Лексическое разнообразие, то есть насколько широкий словарь использует автор, а не повторяет меньший набор безопасных слов, и синтаксическая предсказуемость, то есть насколько структура предложений следует наиболее распространённой модели языка, а не варьирует её, это два свойства языкового производства, которые снижают этот показатель.

Различие имеет значение, потому что эти два явления по-разному проявляются на странице. Лексическое разнообразие относится к самим словам: текст автора, который в трёх разных предложениях выбирает «obtain», «acquire» и «secure», воспринимается как более разнообразный, чем текст того, кто три раза пишет «get», даже если в остальном предложения идентичны. Синтаксическая предсказуемость относится к структуре: подлежащее, сказуемое, дополнение, повторяющиеся снова и снова, а не предложение, которое начинается с придаточного предложения или заканчивается неожиданным словом. Автор, пишущий на втором языке в условиях экзамена, имеет все основания выбирать более безопасный вариант в обоих случаях.

Письмо на втором языке надёжно демонстрирует меньшее проявление обоих признаков, и это не является недостатком. Автор, работающий на дополнительном языке, опирается на лексику и модели предложений, которые с наибольшей вероятностью окажутся правильными, потому что ошибка обходится дороже, когда язык ещё не стал полностью автоматическим. В статье Stanford, где был задокументирован этот перекос детекторов, приводится корпус исследований по прикладной лингвистике, описывающих именно такую закономерность, установленную задолго до появления детекторов AI: сниженная лексическая насыщенность, сниженное лексическое разнообразие и более простая структура предложений являются задокументированными, измеримыми признаками письма на втором языке, а не признаком чего-либо иного.

Этот разрыв между письмом носителей языка и неносителей проявляется как разница в perplexity, то же самое измерение, которое использует детектор, чтобы определить, был ли фрагмент сгенерирован машиной. Более низкая perplexity воспринимается как более машиноподобная, независимо от того, кто её создал, и письмо на втором языке оказывается ниже по этой шкале по причинам, не имеющим ничего общего с chatbot. Является ли именно этот разрыв тем, что действительно определяет работу детекторов, а не совпадением, это проверяемый вопрос. Команда Stanford проверила его напрямую.

Что произошло, когда те же эссе переписали с более богатым словарным запасом

Исследователи взяли те же 91 эссе TOEFL, которые ранее вызвали средний уровень ложноположительных срабатываний 61.22 percent, и попросили ChatGPT отредактировать их по одной инструкции: "Enhance the word choices to sound more like that of a native speaker." Ничего в содержании, аргументации или грамматике менять не требовалось. После этой единственной правки средний уровень ложноположительных срабатываний по тем же семи детекторам снизился до 11.77 percent, то есть почти на fifty percentage points, а число эссе, которые все детекторы единогласно пометили, уменьшилось с eighteen до one.

Затем исследователи провели эксперимент в обратном направлении. Они взяли 88 эссе восьмого класса, написанных носителями языка, которые детекторы изначально почти всегда оценивали правильно, и попросили ChatGPT упростить их выбор слов так, как если бы они были написаны неносителем языка. Средний уровень ложноположительных срабатываний на этих же эссе, написанных носителями языка, вырос с 5.19 percent до 56.65 percent. Авторство эссе не изменилось. Изменилась только лексика, и детекторы отреагировали на лексику.

Perplexity изменялась синхронно с уровнем ошибочной классификации в обоих направлениях: она резко возрастала, когда эссе TOEFL обогащались, и резко снижалась, когда эссе восьмого класса упрощались. Авторы делают из этого прямой вывод: на самом деле детекторы никогда не реагировали на авторство. Они реагировали на выбор слов, то есть на свойство, которое может нести словарь любого автора, независимо от того, где он изучал английский язык.

Насколько устойчиво это смещение у разных детекторов

Семь детекторов мало в чем совпадали, кроме направления ошибки. Каждый из них гораздо чаще помечал эссе TOEFL, чем эссе восьмого класса, но с очень разной степенью.

Детектор	Доля ложноположительных срабатываний, эссе TOEFL	Доля ложноположительных срабатываний, эссе носителей языка
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

Это данные 2023 года, измеренные на инструментах в том виде, в каком они существовали тогда. С тех пор несколько из них полностью изменились: OpenAI закрыла свой собственный детектор в июле 2023 года, через четыре месяца после этого теста, после того как выяснилось, что он правильно помечал только 26 процентов реального текста, написанного AI, при этом по-прежнему ошибочно обозначая 9 процентов человеческого письма. Не изменилось направление разрыва. Более широкий эталон предвзятости, созданный специально для проверки детекторов по демографическим и лингвистическим категориям, опубликованный в декабре 2025 года и примененный к четырем более новым инструментам с открытым исходным кодом, по-прежнему показывал стабильно более низкую полноту для недостаточно представленных групп авторов.

Сохраняется ли эта предвзятость в более новых детекторах?

Исследование Stanford теперь относится уже к нескольким поколениям AI назад, и сами его авторы указали ограничение: небольшая пилотная выборка и детекторы, построенные в основном на GPT-2, модели гораздо меньшей и более старой, чем та, на которой основано обнаружение сегодня. Это ставит справедливый вопрос. Закрыла ли более совершенная технология этот разрыв?

Самое недавнее специализированное испытание говорит, что пока нет. В исследовании, опубликованном в феврале 2026 года в Sultan Qaboos University, исследователи проверили два современных коммерческих детектора, Turnitin и Originality, на 192 текстах, сочетающих подлинное студенческое письмо на английском как иностранном до ChatGPT, профессиональное человеческое письмо, текст, сгенерированный ИИ, и гибридный человеческо-ИИ текст. Результаты показали общую точность 69 процентов и 61 процент для двух инструментов, при этом точность по гибридной категории, то есть по тому виду письма, который на самом деле создаёт редакторская правка, падала почти до нуля. То же исследование также выявило второе смещение, идущее параллельно языковому, точность по научному письму была на 28 to 38 процентных пунктов ниже, чем по гуманитарному письму.

Ни одно из этих наблюдений не связано с одним дефектным продуктом. Две разные архитектуры детекторов, проверенные с интервалом в три года на разных корпусах разными исследовательскими группами, снова и снова приходят к одному и тому же результату, письмо, сформированное жанровой конвенцией или вторым языком, оказывается ближе к тому, что эти инструменты называют машинным, чем письмо, которое не является ни тем ни другим. Бесплатные инструменты TextPulse позволяют автору проверить тот же статистический профиль до того, как что-либо попадёт в детектор учреждения.

Независимые доказательства того, что разрыв реален, а не является артефактом тестирования

Первая проблема с результатами TOEFL состоит в том, что можно утверждать, будто они относятся только к небольшому пилотному исследованию 2023 года. На это та же исследовательская группа ответила в другом исследовании, использующем данные, которые вообще не связаны с детекторами. Они изучили 1,574 работы, принятые на ICLR 2023, крупную конференцию по машинному обучению, ограничив выборку аннотациями, поданными и рецензированными до появления ChatGPT.

Авторы, находящиеся в странах, где английский язык не является основным, писали аннотации со значительно более низкой perplexity, чем авторы, находящиеся в странах, где английский является родным языком, и это различие сохранялось даже после контроля того, насколько высоко каждая статья была оценена рецензентами. Эта выборка не могла быть сформирована кем-либо, кто пытался звучать более или менее как чатбот. ChatGPT был за три месяца до выпуска, когда окно подачи заявок закрылось. Разрыв в perplexity между академическим письмом носителей и неносителей языка не является чем-то, что придумали детекторы. Это то, что они унаследовали.

Статистический анализ 2026 года, рассматривающий обнаружение ИИ как задачу тестирования, предлагает формальную версию того же вывода. Всякий раз, когда группа авторов производит язык, который в совокупности перекрывается с типичным выводом ИИ, любой детектор с реальной способностью выявлять текст, написанный ИИ, должен нести более высокий уровень ложноположительных срабатываний именно для этой группы, математическое свойство тестирования разнообразной популяции, а не дефект какого-либо одного инструмента. Авторы, для которых английский не является родным, представляют собой наиболее ясно задокументированный случай именно такого перекрытия.

Что это означает для авторов, пишущих на втором языке

Все это не является аргументом в пользу того, чтобы писать менее похоже на себя. Это причина знать, что именно измеряется, прежде чем появится результат. Если детектор читает вашу прозу как предсказуемую, он фиксирует реальное статистическое свойство письма на втором языке, а не доказательство того, что вы использовали инструмент, который вы не использовали.

Исследователи Stanford, проводившие первоначальное исследование, отмечают неудобное следствие собственного вывода: та же корректировка словаря, которая снижает риск ложноположительного срабатывания, является также тем видом правки, который автор может захотеть по совершенно иным причинам, более ясная формулировка, более точное слово, независимо от какого-либо детектора. Страница TextPulse для академических авторов ESL описывает, как выглядит такой вид правки на реальных предложениях, отдельно от всего, что связано с оценкой обнаружения.

Новые детекторы начинают явно учитывать этот паттерн. Pangram, один из более поздних коммерческих участников рынка, прямо указывает в своей технической документации, что его классификатор не предвзят по отношению к авторам, для которых английский не является родным, хотя это утверждение исходит от поставщика, а не из независимого тестирования. Бесплатный проверщик perplexity показывает ту же базовую метрику, которую любой из этих инструментов вычисляет по фрагменту текста, не отправляя черновик куда-либо заранее.

Два практических сопутствующих материала находятся в той же группе: когда использовать a, an и the, что является самым распространенным источником этого паттерна, и как звучать естественно в академическом письме на английском в более общем смысле.

Исследования продолжают накапливаться в том же направлении и спустя два года, в разных командах, с разными детекторами и разными дизайнами тестирования. То, что не успевает за этим, это широко принятое институциональное реагирование, аудит детектора на выборке разных авторов до того, как ему начнут доверять в отношении любого из них, а не после того, как конкретного студента уже обвинили. Пока это не станет рутиной, бремя доказательства ошибочности ложного срабатывания ложится именно на тех авторов, которых, как показывает это исследование, с наибольшей вероятностью оно и затронет.