AI Detection

Помечают ли AI-детекторы нейроотличных авторов чаще? Что говорят исследования

Рецензируемое исследование показало, что авторов с вероятным аутизмом один AI detector помечал чаще. В этом руководстве рассматриваются его результаты, рекомендации университетов по ADHD и дислексии, а также шаги после пометки.

9 min
Title card: AI detection false positive neurodivergent research, what the studies say

Да. В рецензируемом исследовании 2025 года детектор ИИ чаще помечал авторов, вероятно, с аутизмом: 1,7 процента их публикаций против 1,2 процента для общей группы, при объеме 300 слов на публикацию. Это основное исследование ложноположительных результатов обнаружения ИИ у нейроотличных людей, и университеты также предупреждают об ADHD и дислексии.

Это детекторы текста ИИ, которые оценивают письмо как созданное человеком или машиной. Инструменты, которые проверяют людей на аутизм, часто появляются в тех же поисковых запросах и представляют собой другую тему. Эти исследования измеряют, как часто детекторы помечают текст, без каких-либо утверждений о диагнозе.

Ложноположительные результаты обнаружения ИИ у нейроотличных людей, краткий обзор исследований

Исследование 2025 года об авторах с аутизмом предоставляет пока лучшие данные. В нем измерялись показатели пометок для одного детектора ИИ. Университетские учебные центры также предупреждают преподавателей о студентах с ADHD и дислексией. Новостной тест 2024 года измерял, как инструменты проверки орфографии и переписывания влияют на оценки ИИ. Другие крупные исследования авторов, для которых английский не является родным, показывают, как различаются результаты разных детекторов.

ГруппаРезультат или рекомендацияИсточник
Авторы с аутизмом1,7 процента помечены против 1,2 процента в общей группе при 300 словах, на одном детекторе ИИChambers & Kelley, AIED 2025
Авторы с ADHDУказаны среди студентов, «склонных получать ложноположительные оценки»учебный центр University of Nebraska-Lincoln
Авторы с дислексиейУказаны в тех же рекомендацияхучебный центр University of Nebraska-Lincoln
Нейроотличные студенты в целом«С большей вероятностью ошибочно помечаются»учебный центр Northern Illinois University
Авторы, которые используют инструменты редактированияПроверка орфографии и предложения по грамматике почти не изменили оценки ИИ, а переписывание всего текста сильно их изменилотест Bloomberg Businessweek, 2024
Авторы, для которых английский не является роднымПоказатели ложноположительных результатов от 0,0 до 100,0 процента среди 13 детекторовPark, Jeong & Kim, EMNLP 2026

Около двух третей учителей говорят, что регулярно используют средство проверки на ИИ, согласно опросу более чем 450 преподавателей. Center for Democracy & Technology опублировал его в марте 2024 года. Даже низкий уровень ошибок может накапливаться на протяжении числа работ, которые студенты пишут каждый год, сообщал Bloomberg Businessweek.

Исследование детектора ИИ для аутизма: что обнаружили авторы

Статья называется "The Misclassification of Autistic Writing as AI-Generated"; ее авторы — Summer Chambers и Matthew C. Kelley из George Mason University. Она прошла рецензирование, а Springer опубликовал ее в Artificial Intelligence in Education (AIED 2025). Вы можете получить бесплатную копию на arXiv. Исследователи пишут, что анекдотические сообщения о том, что тексты аутичных авторов чаще ошибочно распознаются, "не были формально исследованы". Они хотели проверить эти утверждения.

Их набор данных состоит примерно из 60,000 публикаций Reddit, по одной публикации на пользователя. Они исключили короткие публикации, менее 1,000 символов. Группа, вероятно аутичная, была взята из 13 сабреддитов об аутизме. Общая группа была взята из 12 популярных сабреддитов, выбранных так, чтобы они были похожи по стилю, с длинными повествованиями от первого лица о психическом здоровье, социальных ситуациях и советах. Общие публикации с ключевыми словами, связанными с аутизмом, были удалены.

Публикации были получены через Reddit API и охватывали публикации примерно с 2021 по 2024 год, а также подборку более старых публикаций, с 2010 по 2020 год. Публикации, включавшие и ключевые слова, связанные с аутизмом, и фразы вроде "my daughter" или "my nephew", также были удалены, чтобы сохранить публикации, написанные аутичными авторами.

Авторы называют первую группу "likely-autistic", потому что диагноз не проверялся, и любой может публиковать в любом сабреддите. Некоторые аутичные люди тоже публикуют в общих сабреддитах, поэтому авторы предполагают, что реальный разрыв между аутичными и неаутичными авторами может быть больше, чем тот, который они измерили.

Детектором был детектор OpenAI RoBERTa GPT-2, выпущенный в 2019 году и доступный для бесплатной загрузки. Сообщение получало метку "Fake", которая здесь считается пометкой, когда детектор повышал вероятность того, что это AI, выше 0.5. В первом эксперименте более короткие сообщения помечались чаще, чем более длинные, а сообщения, вероятно написанные аутичными авторами, в среднем были короче. Длина могла объяснять часть разрыва, поэтому для второго эксперимента авторы оставили только сообщения длиной более 300 слов и сократили каждое до ровно 300.

ПоказательЭксперимент 1Эксперимент 2
Проанализированные сообщения59,94733,216
Использованный текстСообщения длиной 1,000 символов или болееСообщения, сокращенные до ровно 300 слов
Помеченная группа, вероятно написанная аутичными авторами1.9%1.7%
Помеченная общая группа1.5%1.2%
Скорректированное отношение шансов1.246 (p = 0.001)1.501 (p below 0.001)
Более высокая perplexityМеньшая chance пометкиНе значимо
Результаты, как их представили Chambers и Kelley.

Разрыв сохранялся, когда длина была одинаковой. В Эксперименте 2 1.7 и 1.2%, это примерно 17 против 12 сообщений на 1,000, так что большинство сообщений в обеих группах не были помечены.

Они также сообщают шансы, взятые из регрессии (статистической модели), с учетом длины предложения, длины слова, perplexity, burstiness и даты публикации. Они говорят о "на 25% большей вероятности" пометки в Experiment 1 и о "на 50% большей вероятности" в Experiment 2. Это относительные числа на небольшой базе. Разница в Experiment 2 составляет полпроцентного пункта в сырых процентах; используйте проценты, если хотите узнать, сколько было помеченных постов.

Почему детекторы могут помечать нейроотличное письмо

Университетские рекомендации и исследователи указывают на выбор слов. "The Challenge of AI Checkers", руководство для преподавателей из University of Nebraska-Lincoln, говорит, что не существует одной причины, по которой у нейроотличных студентов возникают ложноположительные результаты. В нем говорится, что они часто связаны с опорой на повторяющиеся фразы, термины и слова. В том же руководстве говорится, что отсутствие местоимений, таких как I, me и we, может быть истолковано как текст, написанный AI, в зависимости от детектора.

В репортаже Bloomberg Businessweek за October 2024 говорится, что студенты, наиболее уязвимые к этому, — это "вероятно" те, кто пишет более обобщенно, включая студентов с нейроразнообразием. Журналисты услышали это от студентов, ученых и разработчиков AI. James Zou из Stanford был старшим автором исследования 2023 года о неносительных авторах. В том же репортаже его цитируют так: "Если выбор слов tends to быть более общим и шаблонным, то у такой работы выше шанс быть помеченной детекторами AI."

В исследовании об аутизме более высокий уровень пометок был связан с отсутствием снижения perplexity или burstiness. Оба показателя были почти одинаковыми для двух групп, но у вероятно аутичных участников они, как правило, были немного выше. Авторы отмечают, что связи между особенностями текста авторов, у которых, вероятно, есть аутизм, и особенностями текста, сгенерированного AI, "не были прямолинейными".

Наше руководство по тому, как работают AI-детекторы объясняет perplexity и burstiness, если эти понятия для вас новы.

Очеловечить свою работу

Преобразуйте текст, созданный с помощью AI, и сделайте его более естественным, не затрагивая важные слова или цитаты.

Начать бесплатно

Текст с ADHD, отмеченный как AI: что университеты говорят преподавателям

Центры университетского обучения начали предупреждать преподавателей о студентах с ADHD. Руководство Nebraska говорит: "Студенты с нейроразнообразием (аутизм, ADHD, дислексия и т. д.) также склонны получать ложноположительные оценки". Публикация Northern Illinois University "AI-детекторы: An ethical minefield", от December 2024, говорит: "Студенты с нейроразнообразием также с большей вероятностью будут ошибочно помечены как пишущие текст, сгенерированный AI".

Whitney Gegg-Harrison и Claire Quarterman написали главу книги 2024 года в Academic Integrity in the Age of Artificial Intelligence (IGI Global). Ее небольшое исследование корпуса показало намного более высокие, чем заявлялось, уровни ложноположительных срабатываний у популярных инструментов обнаружения. Опираясь на это исследование, новостные сообщения и свидетельства студентов, глава "показывает возможность того, что авторы с нейроразнообразием, а также авторы L2, с большей вероятностью будут затронуты ложноположительными срабатываниями". L2 означает второй язык.

Один вывод из исследования об аутизме применим к любому, кто пишет короткие тексты, например сообщения для обсуждения. В Эксперименте 1 более короткие сообщения помечались чаще, чем более длинные. Мы рассматриваем, что говорят детекторы о длине, в нашей публикации о минимальном количестве слов для AI detector. Сохранять черновики и заметки по мере написания, это хороший способ иметь запись процесса письма. Это отвечает на пометку лучше, чем любой балл.

Инструменты для обнаружения AI при дислексии и редактирования

Руководство Nebraska включает студентов с дислексией в свое предупреждение о ложноположительных результатах. Многие авторы используют проверку орфографии, предложения по грамматике или инструменты переписывания по мере подготовки черновика, и два исследования показывают, как эти инструменты изменяют AI scores.

В тесте Bloomberg Businessweek 2024 года проверка орфографии и предложения по грамматике популярного помощника по письму оказали лишь незначительное влияние на то, что документы выглядели более написанными AI. Переписывание всего текста было иным: просьба к тому же помощнику «улучшить» эссе или «сделать его более академичным» превратила работу, оцененную как на 100% написанную человеком, в 100% написанную AI.

Hyeonchu Park, Gahye Jeong & Bugeun Kim изучали профессиональное редактирование в "Style as a Confound", представленном на EMNLP 2026. Они использовали 135,389 пар документов из службы академического редактирования английских текстов, за период с 2018 по 2025 год. Каждая пара представляет собой рукопись автора, для которого английский не является родным, до и после того, как редактор, носитель языка, отредактировал её. Среди 13 детекторов одни и те же правки повышали оценки на одних детекторах и понижали их на других, а изменения оценок возрастали по мере увеличения объёма редактирования.

Затем они разложили правки по типам на одном из детекторов, модели OpenAI RoBERTa. Грамматические правки вызывали небольшое отрицательное смещение в её оценке, тогда как синтаксические правки, которые изменяют структуру предложения, вызывали наибольшее положительное смещение. Они приходят к выводу, что результаты детектора не следует считать окончательным доказательством использования AI, особенно там, где редактирование является обычной практикой. Если вы используете инструмент, который переписывает целые фрагменты, сохраняйте предыдущие версии и проверяйте, что разрешает ваш курс.

Частота ложноположительных результатов зависит от детектора

Частота ложноположительных результатов варьируется в зависимости от каждого детектора. Эта частота относится к конкретному детектору, который исследование тестировало. Liang и коллеги в исследовании 2023 года в Patterns обнаружили почти идеальную точность на эссе учеников восьмого класса в США. Напротив, детекторы пометили более половины эссе TOEFL, написанных авторами, для которых английский не является родным. Подробности см. в нашей публикации о смещении детекторов против авторов, для которых английский не является родным.

Наша рабочая статья о неносительных авторах и ложноположительных срабатываниях от TextPulse Research в 2026 году оценила 5,600 эссе ICNALE, написанных до появления современных инструментов AI. Один исследовательский классификатор, логистическая регрессия, пометил 2.7 % эссе учащихся и 3.3 % эссе носителей языка. Модель градиентного бустинга, обученная на тех же признаках и эссе, пометила учащихся в 12.5 % случаев, а носителей языка — в 3.8 %. Так что вопрос о том, какая группа чаще получает пометки, зависит от детектора.

В исследовании Park уровень ложноположительных срабатываний 13 детекторов сильно различался для текстов, написанных человеком, и находился в диапазоне от 0.0 процента до 100.0 процента. Два известных детектора были протестированы Bloomberg Businessweek на случайной выборке из 500 эссе для поступления в колледж, отправленных в Texas A&M летом 2022 года, до ChatGPT. Эти сервисы ошибочно классифицировали от 1 процента до 2 процентов эссе как вероятно созданные ИИ.

В том же отчёте Turnitin указал, что его уровень ложноположительных срабатываний на уровне документа был ниже 1 процента, а на уровне предложения составлял 4 процента. Следовательно, показатель, который имеет значение для студента, это показатель того детектора, который использует его учебное заведение.

Если вас пометили, или если вы рассматриваете пометку

Для студентов

История ваших черновиков, это то, с чего следует начать. Она показывает более ранние черновики и примечания о том, как развивался ваш текст, а показатель не может этого показать. Попросите в письменной форме полный отчёт и политику, которая применяется. Эти шаги рассмотрены в наших публикациях о том, что делать в первую очередь, если вас обвиняют, и о том, как написать апелляционное письмо по поводу обнаружения ИИ.

Лучший ответ на пометку, это показать свою работу. Ведите запись того, что вы написали. Используйте Google Docs или Microsoft Word (с включённой историей версий), чтобы создавать черновики и отслеживать свои заметки, планы и источники, которые вы читаете. Если вы используете вспомогательные технологии, такие как проверка орфографии, диктовка или преобразование текста в речь, вы можете сообщить своему преподавателю или в отдел по вопросам доступности, какие именно средства вы используете и как.

Возможно, вам также стоит связаться с отделом по вопросам инвалидности или доступности вашего университета. Решите, хотите ли вы сообщить своему преподавателю или комиссии о своём диагнозе. Вы могли бы сказать что-то вроде следующего: Показатели различаются от детектора к детектору. Рецензируемое исследование показало более высокий уровень пометки для авторов, вероятно-аутичных, на одном из них. Ваши черновики важнее исследований по группам, потому что исследования по группам не могут показать, как было написано ваше собственное эссе.

Для сотрудников

Оценка является лишь приблизительным значением. Это повод спросить о процессе написания. Попросите показать черновики и заметки, если они существуют. Спросите студента, как он написал этот текст. Диагноз или стиль письма не являются доказательством использования AI или против него. Спросите, какие инструменты использовал студент, например проверку орфографии или диктовку. Проверка орфографии и грамматические подсказки едва ли изменили AI scores в исследовании Bloomberg 2024 года, но полные переписывания текста сильно их изменили. В том же отчете Bloomberg говорится, что создатели детекторов считают их оценки одной из точек данных, помогающих преподавателю. Chambers и Kelley рекомендуют дальнейшее критическое рассмотрение этих моделей и их использования в академических контекстах.

Инструменты на этом сайте

Бесплатная проверка perplexity оценивает разнообразие слов в вашем черновике, а бесплатная проверка burstiness показывает длину ваших предложений. Ни один из этих показателей сам по себе ничего не доказывает о том, кто написал текст. AI humanizer от TextPulse создан для того, чтобы снижать оценки AI у черновика, который вы написали сами, сохраняя цитаты и термины. Если вы им пользуетесь, проверьте, разрешает ли ваш курс такой инструмент, и прочитайте результат. Ничто в этом исследовании не говорит, что вам нужно менять то, как вы пишете.

XLinkedInFacebook

Часто задаваемые вопросы

Измеренный показатель ложноположительных AI detection у нейроотличных основан на рецензируемом исследовании 2025 года, посвящённом публикациям на Reddit. Один AI detector пометил 1.9 процента публикаций авторов с вероятным аутизмом против 1.5 процента публикаций общей выборки, а также 1.7 против 1.2 процента, когда каждую публикацию обрезали до 300 слов. Показатели на других detectors различаются.

Moe

PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.

Будьте в курсе новостей об очеловечивании AI

Получайте советы по академическому письму, обнаружению AI и очеловечиванию прямо на вашу почту.

Без спама. Отписаться можно в любой момент.