Почему AI-детекторы предвзяты по отношению к неносителям английского языка

То, что AI detectors предвзяты по отношению к неносителям языка, это не субъективная жалоба. Это было непосредственно измерено в рецензируемом исследовании Stanford 2023 года. Исследователи проверили семь широко используемых детекторов GPT на 91 реальном эссе TOEFL, написанном неносителями английского языка, и на 88 эссе, написанных американскими учениками восьмого класса, а затем сравнили, как была оценена каждая группа.

Детекторы почти всегда правильно распознавали эссе восьмого класса. В эссе TOEFL, написанных взрослыми, которые уже сдали экзамен по владению английским языком на уровне магистратуры, те же семь инструментов показали средний уровень ложноположительных срабатываний 61.22 percent. Восемьдесят девять из девяноста одного эссе, почти 98 percent, были помечены как сгенерированные AI по крайней мере одним из семи инструментов.

Обзор TextPulse более широких данных о точности AI detectors рассматривает этот ключевой вывод и судебные иски, к которым он впоследствии привел. То, что почти везде опускается, когда это исследование цитируют, это механизм, почему проза человека с уровнем английского на уровне магистратуры вообще читается как созданная машиной, и что меняется, когда она перестает так читаться.

AI Detectors предвзяты по отношению к неносителям языка, механизм

Детектор никогда не читает смысл. Он оценивает, насколько предсказуемо каждое слово с учетом слов, которые ему предшествовали, и снижает оценку фрагмента, когда модель могла бы заранее угадать большую его часть. Лексическое разнообразие, то есть широта словаря, на который опирается автор, а не повторение меньшего набора безопасных слов, и синтаксическая предсказуемость, то есть степень, в которой структура предложения следует наиболее распространенному шаблону языка, а не варьирует его, это две характеристики языкового производства, которые снижают этот показатель.

Различие имеет значение, потому что эти два явления проявляются на странице по-разному. Лексическое разнообразие относится к самим словам: автор, который в трёх разных предложениях использует «obtain», «acquire» и «secure», выглядит более разнообразным, чем тот, кто три раза пишет «get», даже если в остальном предложения идентичны. Синтаксическая предсказуемость относится к структуре: подлежащее, сказуемое, дополнение, повторяющиеся снова и снова, а не предложение, которое начинается с придаточного предложения или заканчивается неожиданным словом. Автор, пишущий на втором языке в условиях экзамена, имеет все основания выбирать более безопасный вариант и того и другого.

Письмо на втором языке надёжно демонстрирует меньшее проявление обоих признаков, и это не является недостатком. Автор, работающий на дополнительном языке, опирается на лексику и модели предложений, которые с наибольшей вероятностью окажутся правильными, потому что ошибка обходится дороже, когда язык ещё не стал полностью автоматическим. В статье Stanford, где был задокументирован этот перекос детектора, приводится корпус исследований по прикладной лингвистике, посвящённых именно этой закономерности, установленной задолго до появления детекторов AI: сниженная лексическая насыщенность, сниженное лексическое разнообразие и более простая структура предложений являются задокументированными, измеримыми признаками письма на втором языке, а не признаком чего-либо иного.

Этот разрыв между письмом носителей языка и неносителей проявляется как разница в perplexity, то же самое измерение, которое использует детектор, чтобы определить, был ли фрагмент сгенерирован машиной. Более низкая perplexity воспринимается как более машиноподобная независимо от того, кто её создал, и письмо на втором языке оказывается ниже по этой шкале по причинам, не имеющим отношения к chatbot. Является ли именно этот разрыв тем, что действительно определяет работу детекторов, а не совпадением, это проверяемый вопрос. Команда Stanford проверила его напрямую.

Что произошло, когда те же эссе были переписаны с более богатым словарным запасом

Исследователи взяли те же 91 эссе TOEFL, которые ранее вызвали средний уровень ложноположительных срабатываний 61.22 percent, и попросили ChatGPT отредактировать их по одной инструкции: "Enhance the word choices to sound more like that of a native speaker." Ничего в содержании, аргументации или грамматике менять не требовалось. После этой единственной правки средний уровень ложноположительных срабатываний по тем же семи детекторам снизился до 11.77 percent, то есть почти на пятьдесят процентных пунктов, а число эссе, которые все детекторы единогласно пометили, уменьшилось с восемнадцати до одного.

Затем исследователи провели эксперимент в обратном направлении. Они взяли 88 эссе восьмиклассников, написанных носителями языка, которые детекторы изначально почти всегда оценивали правильно, и попросили ChatGPT упростить их выбор слов так, как если бы они были написаны неносителем языка. Средний уровень ложноположительных срабатываний на этих же эссе, написанных носителями языка, вырос с 5.19 percent до 56.65 percent. Авторы эссе не изменились. Изменилась только лексика, и детекторы отреагировали именно на лексику.

Perplexity двигалась в полном соответствии с уровнем ошибочной классификации в обоих направлениях, она резко возрастала, когда эссе TOEFL обогащались, и резко снижалась, когда эссе восьмиклассников упрощались. Авторы делают из этого прямой вывод: то, на что на самом деле реагировали детекторы, никогда не было авторством. Это был выбор слов, свойство, которое может нести словарь любого автора, независимо от того, где он изучал английский язык.

Насколько последовательно проявляется смещение у разных детекторов

Семь детекторов мало в чем совпадали, за исключением направления ошибки. Каждый из них значительно чаще помечал эссе TOEFL, чем эссе восьмиклассников, но с очень разной степенью.

Детектор	Доля ложноположительных срабатываний, эссе TOEFL	Доля ложноположительных срабатываний, эссе носителей языка
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

Это данные 2023 года, измеренные на инструментах в том виде, в каком они существовали тогда. С тех пор несколько из них полностью изменились: OpenAI закрыла свой собственный детектор в июле 2023 года, через четыре месяца после этого теста, после того как выяснилось, что он правильно помечал только 26 процентов реально написанного AI текста, при этом по-прежнему ошибочно обозначая 9 процентов человеческого письма. Не изменилось направление этого разрыва. Более широкий эталон предвзятости, созданный специально для проверки детекторов по демографическим и лингвистическим категориям, опубликованный в декабре 2025 года и примененный к четырем более новым инструментам с открытым исходным кодом, по-прежнему показывал стабильно более низкую полноту для недостаточно представленных групп авторов.

Проявляется ли эта предвзятость по-прежнему в более новых детекторах?

Исследование Stanford теперь относится уже к нескольким поколениям AI назад, и сами его авторы указали на ограничение: небольшая пилотная выборка, а также детекторы, построенные в основном на GPT-2, модели гораздо меньшей и более старой, чем та, на которой основано обнаружение сегодня. Это ставит справедливый вопрос. Закрыли ли более совершенные технологии этот разрыв?

Самое недавнее специализированное тестирование говорит, что пока нет. В исследовании февраля 2026 года, проведённом в Университете Султана Кабуса, исследователи проверили два современных коммерческих детектора, Turnitin и Originality, на 192 текстах, сочетающих подлинное студенческое письмо на английском как иностранном до ChatGPT, профессиональное человеческое письмо, текст, сгенерированный ИИ, и гибридный текст человека и ИИ. Результаты показали общую точность 69 процентов и 61 процент для двух инструментов, при этом точность по гибридной категории, то есть по тому виду письма, который фактически создаёт редакторская правка, упала почти до нуля. То же исследование также выявило второе смещение, идущее параллельно языковому: точность на научном письме была на 28 to 38 процентных пунктов ниже, чем на гуманитарном письме.

Ни одно из этих наблюдений не связано с одним дефектным продуктом. Две разные архитектуры детекторов, протестированные с интервалом в три года на разных корпусах разными исследовательскими группами, снова и снова приходят к одному и тому же результату: письмо, сформированное жанровой конвенцией или вторым языком, оказывается ближе к тому, что эти инструменты называют машинным, чем письмо, не являющееся ни тем, ни другим. Бесплатные инструменты TextPulse позволяют автору проверить тот же статистический профиль до того, как он попадёт в детектор учреждения.

Независимые доказательства того, что разрыв реален, а не является артефактом тестирования

Первая проблема с результатами TOEFL состоит в том, что можно утверждать, будто они относятся только к небольшому пилотному исследованию 2023 года. На это та же исследовательская группа ответила в другом исследовании, использующем данные, которые вообще не имеют отношения к детекторам. Они изучили 1,574 работы, принятые на ICLR 2023, крупную конференцию по машинному обучению, ограничив выборку аннотациями, поданными и рецензированными до появления ChatGPT.

Авторы, находящиеся в странах, где английский язык не является основным, писали аннотации со значительно более низкой perplexity, чем авторы, находящиеся в странах, где английский является родным языком, и это различие сохранялось даже после контроля того, насколько высоко каждая статья была оценена рецензентами. Эта выборка не могла быть сформирована кем-либо, кто пытался звучать более или менее как чатбот. ChatGPT был за три месяца до выпуска, когда окно подачи материалов закрылось. Разрыв в perplexity между академическим письмом носителей и неносителей языка не является чем-то, что придумали детекторы. Это то, что они унаследовали.

Статистический анализ 2026 года, рассматривающий обнаружение ИИ как задачу тестирования, предлагает формальную версию того же вывода. Всякий раз, когда группа авторов производит язык, который в совокупности перекрывается с типичным выводом ИИ, любой детектор с реальной способностью выявлять текст, написанный ИИ, должен иметь более высокий уровень ложноположительных срабатываний именно для этой группы, что является математическим свойством тестирования разнообразной популяции, а не дефектом какого-либо одного инструмента. Авторы, для которых английский не является родным, представляют собой наиболее ясно задокументированный случай именно такого перекрытия.

Что это означает для авторов, пишущих на втором языке

Все это не является аргументом в пользу того, чтобы писать менее похоже на себя. Это причина знать, что именно измеряется, прежде чем появится результат. Если детектор считывает вашу прозу как предсказуемую, он фиксирует реальное статистическое свойство письма на втором языке, а не доказательство того, что вы использовали инструмент, которым не пользовались.

Исследователи из Stanford, проводившие первоначальное исследование, отмечают неудобное следствие собственного вывода: та же самая корректировка словаря, которая снижает риск ложноположительного срабатывания, является и тем видом правки, который автор может захотеть внести по совершенно иным причинам, более ясная формулировка, более точное слово, независимо от какого-либо детектора. Страница TextPulse для академических авторов, изучающих английский как второй язык описывает, как выглядит такой вид правки на реальных предложениях, отдельно от всего, что связано с оценкой обнаружения.

Новые детекторы начинают явно учитывать этот паттерн. Pangram, один из более поздних коммерческих участников рынка, прямо указывает в собственной технической документации, что его классификатор не имеет смещения против авторов, для которых английский язык не является родным, хотя это утверждение исходит от поставщика, а не из независимого тестирования. Бесплатный checker perplexity показывает ту же базовую метрику, которую любой из этих инструментов вычисляет по фрагменту текста, не отправляя черновик куда-либо заранее.

Два практических сопутствующих материала находятся в той же группе: когда использовать a, an и the, что является самым распространенным источником этого паттерна, и как звучать естественно в академическом письме на английском в более общем смысле.

Исследования продолжают накапливаться в том же направлении и спустя два года, в разных командах, у разных детекторов и при разных дизайнах тестирования. Что не успевает за этим, так это широко принятое институциональное реагирование: проверка детектора на разных авторах до того, как ему начнут доверять в отношении любого из них, а не после того, как конкретного студента уже обвинили. Пока это не станет рутиной, бремя доказательства ошибочности ложного срабатывания ложится именно на тех авторов, о которых это исследование говорит, что они с наибольшей вероятностью его получат.