Чи позначають AI-детектори нейрорізноманітних авторів частіше? Що кажуть дослідження
Рецензоване дослідження виявило, що ймовірно аутичних авторів один AI detector позначав частіше. У цьому посібнику розглянуто його результати, університетські рекомендації щодо ADHD і дислексії, а також кроки після позначення.
Так. У рецензованому дослідженні 2025 року AI detector частіше позначав як імовірно написані аутичними авторами: 1,7 відсотка їхніх дописів проти 1,2 відсотка для загальної групи, за 300 слів на допис. Це головне дослідження хибнопозитивних результатів AI detection для нейрорізноманітних авторів, і університети також застерігають щодо ADHD та дислексії.
Це AI text detectors, які оцінюють письмо як людське або створене машиною. Інструменти, що відбирають людей на аутизм, часто з'являються в тих самих пошуках і є окремою темою. Ці дослідження вимірюють, як часто detectors позначають текст, без жодних тверджень про будь-який діагноз.
Хибнопозитивні результати AI-детекції у нейрорізноманітних авторів: короткий огляд
Дослідження 2025 року про аутичних авторів надає найкращі на сьогодні дані. Воно вимірювало частоту позначення для одного AI detector. Університетські центри викладання також застерігають викладачів щодо студентів з ADHD та дислексією. Новинний тест 2024 року вимірював, як перевірка орфографії та інструменти переписування впливають на AI scores. Інші великі дослідження авторів, для яких англійська не є рідною, показують, як результати різних detectors відрізняються.
| Група | Висновок або рекомендація | Джерело |
|---|---|---|
| Аутичні автори | 1,7 відсотка позначено проти 1,2 відсотка загальної групи за 300 слів, на одному AI detector | Chambers & Kelley, AIED 2025 |
| Автори з ADHD | Згадані серед студентів, "схильних отримувати хибнопозитивні оцінки" | University of Nebraska-Lincoln teaching center |
| Автори з дислексією | Згадані в тих самих рекомендаціях | University of Nebraska-Lincoln teaching center |
| Нейрорізноманітні студенти загалом | "Більш імовірно, що їх помилково позначать" | Northern Illinois University teaching center |
| Автори, які використовують інструменти редагування | Перевірка орфографії та граматичні підказки майже не змінили AI scores, а повні переписування тексту змінили їх значно | Bloomberg Businessweek test, 2024 |
| Автори, для яких англійська не є рідною | Частота хибнопозитивних результатів від 0,0 до 100,0 відсотка серед 13 detectors | Park, Jeong & Kim, EMNLP 2026 |
Близько двох третин учителів кажуть, що регулярно використовують AI-детектори, згідно з опитуванням понад 450 викладачів. Center for Democracy & Technology опублікував його в березні 2024 року. Навіть низький рівень помилок може накопичуватися з огляду на кількість робіт, які студенти пишуть щороку, повідомляє Bloomberg Businessweek.
Дослідження детектора AI для аутизму: що виявили автори
Стаття називається «Невірне класифікування аутистичного письма як згенерованого AI» авторства Summer Chambers і Matthew C. Kelley з George Mason University. Вона пройшла рецензування, а Springer опублікував її в Artificial Intelligence in Education (AIED 2025). Ви можете отримати безкоштовну копію на arXiv. Дослідники пишуть, що анекдотичні свідчення про те, що письмові роботи аутистичних авторів частіше помилково визначаються, «не були формально досліджені». Вони хотіли перевірити ці твердження.
Їхній набір даних складається приблизно з 60,000 дописів Reddit, по одному допису на користувача. Вони виключили короткі дописи, менші за 1,000 символів. Група ймовірно аутичних авторів походила з 13 сабреддітів про аутизм. Загальна група походила з 12 популярних сабреддітів, відібраних так, щоб вони були подібними за стилем, з довгими наративами від першої особи про психічне здоров'я, соціальні ситуації та поради. Загальні дописи з ключовими словами про аутизм було вилучено.
Дописи було отримано через Reddit API, і вони охоплювали дописи приблизно з 2021 по 2024 рік, а також добірку старіших дописів, з 2010 по 2020 рік. Дописи, що містили і ключові слова про аутизм, і фрази на кшталт "my daughter" або "my nephew", також було вилучено, щоб зберегти дописи, написані аутичними авторами.
Автори називають першу групу "likely-autistic", оскільки діагноз не перевіряли, а публікувати дописи в будь-якому сабреддіті може кожен. Деякі аутичні люди також публікують дописи в загальних сабреддітах, тож автори припускають, що реальний розрив між аутичними та неаутичними авторами може бути більшим, ніж той, який вони виміряли.
Детектором був RoBERTa GPT-2 detector від OpenAI, випущений у 2019 році та доступний для безплатного завантаження. Допис отримував позначку "Fake", яку тут зараховують як прапорець, коли детектор піднімав імовірність AI вище 0.5. У першому експерименті коротші дописи позначалися частіше, ніж довші, а ймовірно-аутичні дописи в середньому були коротшими. Довжина могла пояснювати частину розриву, тому для другого експерименту автори залишили лише дописи понад 300 слів і обрізали кожен до рівно 300.
| Показник | Експеримент 1 | Експеримент 2 |
|---|---|---|
| Проаналізовано дописів | 59,947 | 33,216 |
| Використаний текст | Дописі з 1,000 символів або більше | Дописі, обрізані до рівно 300 слів |
| Позначено в групі ймовірно-аутичних | 1.9% | 1.7% |
| Позначено в загальній групі | 1.5% | 1.2% |
| Скориговане відношення шансів | 1.246 (p = 0.001) | 1.501 (p below 0.001) |
| Вища perplexity | Нижча ймовірність прапорця | Неістотно |
Розрив зберігався, коли довжину зрівняли. В Експерименті 2 1.7 і 1.2% становлять приблизно 17 проти 12 дописів на 1,000, тож більшість дописів в обох групах не були позначені.
Вони також наводять шанси, взяті з регресії (статистичної моделі), яка враховує довжину речень, довжину слів, перплексію, burstiness і дату публікації. Вони говорять про «на 25 % вищий шанс» позначки в Experiment 1 і «на 50 % вищий шанс» у Experiment 2. Це відносні числа на малій базі. Різниця в Experiment 2 становить піввідсоткового пункту в сирих відсотках; використовуйте відсотки, якщо хочете знати, скільки саме було позначених дописів.
Чому детектори можуть позначати нейрорізноманітне письмо
Університетські настанови та дослідники вказують на вибір слів. "The Challenge of AI Checkers", посібник для викладачів від University of Nebraska-Lincoln, зазначає, що немає однієї причини, чому студенти з нейрорізноманітністю отримують хибнопозитивні результати. У ньому сказано, що це часто пов'язано з опорою на повторювані фрази, терміни та слова. У тому самому посібнику зазначено, що відсутність займенників, таких як I, me і we, може бути помилково витлумачена як текст, написаний AI, залежно від перевіряча.
Звіт Bloomberg Businessweek від жовтня 2024 року каже, що студенти, які найбільш уразливі, — це «ймовірно» ті, хто пише більш загальним стилем, зокрема нейровідмінні студенти. Репортери дізналися це від студентів, науковців і розробників AI. James Zou зі Stanford був старшим автором дослідження 2023 року про неносіїв мови. У тому ж звіті його цитують: «Якщо вибір слів має тенденцію бути більш загальним і шаблонним, така робота має вищий шанс бути позначеною детекторами AI».
У дослідженні про аутизм вищий рівень позначок був пов'язаний із відсутністю зниження perplexity або burstiness. Обидва показники були майже однаковими для двох груп, але, як правило, були трохи вищими для групи, імовірно пов'язаної з аутизмом. Автори зазначають, що зв'язки між ознаками тексту авторів, які, ймовірно, мають аутизм, і ознаками тексту, згенерованого AI, "were not straightforward".
Наш посібник про те, як працюють AI-детектори пояснює perplexity і burstiness, якщо ці поняття для вас нові.
Гуманізуйте свою власну статтю
Перетворіть текст, створений за допомогою AI, і зробіть його природним, не змінюючи важливих слів або цитат.
Писання з ADHD позначається як AI: що університети кажуть викладачам
Центри університетського викладання почали попереджати викладачів про студентів з ADHD. Посібник University of Nebraska-Lincoln каже: «Студенти, які є нейровідмінними (аутизм, ADHD, дислексія тощо...), також схильні отримувати хибнопозитивні оцінки». Матеріал Northern Illinois University «AI-детектори: An ethical minefield» від грудня 2024 року каже: «Нейрорізноманітні студенти також частіше можуть бути хибно позначені як ті, хто використовував AI для написання».
Whitney Gegg-Harrison і Claire Quarterman написали розділ книги 2024 року в Academic Integrity in the Age of Artificial Intelligence (IGI Global). Їхнє невелике дослідження корпусу виявило значно вищі за заявлені рівні хибнопозитивних спрацьовувань у популярних інструментах виявлення. Спираючись на це дослідження, новинні повідомлення та свідчення студентів, розділ «подає можливість того, що нейровідмінні автори, а також автори L2, з більшою ймовірністю зазнають впливу хибнопозитивних результатів». L2 означає другу мову.
Один висновок з дослідження про аутизм стосується будь-кого, хто пише короткі тексти, наприклад дописи для обговорення. В Експерименті 1 коротші дописи позначалися частіше, ніж довші. Ми розглядаємо, що кажуть детектори про довжину, у нашому дописі про мінімальну кількість слів для AI detector. Зберігати чернетки та нотатки під час письма, це добрий спосіб мати запис процесу написання. Це дає змогу краще відповісти на позначення, ніж будь-який бал.
Інструменти виявлення та редагування для дислексії
Посібник Nebraska включає студентів із дислексією до свого попередження про хибнопозитивні результати. Багато авторів використовують перевірку орфографії, граматичні підказки або інструменти переписування під час створення чернеток, і два дослідження показують, як ці інструменти змінюють AI scores.
У тесті Bloomberg Businessweek 2024 року перевірка орфографії та граматичні підказки популярного помічника для письма мали лише незначний вплив на те, щоб документи виглядали більш написаними AI. Переписування всього тексту було іншим: прохання до того самого помічника "покращити" есе або "зробити його академічним" перетворювало роботу, оцінену як на 100% написану людиною, на 100% написану AI.
Hyeonchu Park, Gahye Jeong & Bugeun Kim вивчали професійне редагування в "Style as a Confound", представленій на EMNLP 2026. Вони використали 135,389 пар документів із академічної служби редагування англійських текстів, за період з 2018 до 2025 року. Кожна пара є рукописом неносія мови до і після того, як його відредагував редактор, для якого англійська є рідною. У 13 детекторах ті самі правки підвищували оцінки в одних детекторах і знижували їх в інших, а зміни оцінок зростали зі збільшенням обсягу редагування.
Потім вони розклали правки за типами на одному з детекторів, моделі OpenAI RoBERTa. Граматичні правки спричиняли невеликий негативний зсув у її оцінці, тоді як синтаксичні правки, які змінюють структуру речення, спричиняли найбільший позитивний зсув. Вони доходять висновку, що результати детектора не слід вважати остаточним доказом використання AI, особливо там, де редагування є поширеним. Якщо ви використовуєте інструмент, що переписує цілі уривки, зберігайте попередні версії та перевіряйте, що дозволяє ваш курс.
Показники хибнопозитивних результатів залежать від детектора
Показник хибнопозитивних результатів змінюється залежно від кожного детектора. Цей показник стосується конкретного детектора, який дослідження перевіряло. Дослідження Liang та колег 2023 року в Patterns виявило майже безпомилкову точність на есе учнів восьмого класу в США. Натомість детектори позначили понад половину есе TOEFL, написаних неносіями мови. Дивіться нашу публікацію про упередженість детекторів проти неносіїв мови для деталей.
Наша робоча стаття про неносіїв мови та хибнопозитивні результати від TextPulse Research у 2026 році оцінила 5,600 есе ICNALE, написаних до появи сучасних AI-інструментів. Один дослідницький класифікатор, логістична регресія, позначив 2.7% есе учнів і 3.3% есе носіїв мови. Модель градієнтного бустингу, навчена на тих самих ознаках і есе, позначила учнів на рівні 12.5% і носіїв мови на рівні 3.8%. Отже, чи позначає одна група частіше, залежить від детектора.
У дослідженні Park 13 детекторів мали дуже різні рівні хибнопозитивних спрацьовувань для текстів, написаних людиною, — від 0.0% до 100.0%. Bloomberg Businessweek протестував два відомі детектори на випадковій вибірці з 500 есе для вступу до коледжу, надісланих до Texas A&M влітку 2022 року, до появи ChatGPT. Сервіси помилково класифікували від 1% до 2% есе як імовірно створені AI.
У тому самому звіті Turnitin зазначив, що його рівень хибнопозитивних спрацьовувань на рівні документа був нижчим за 1%, а на рівні речення становив 4%. Отже, показник, який має значення для студента, це показник того детектора, який використовує його заклад.
Якщо вас позначено, або якщо ви розглядаєте позначку
Для студентів
Історія ваших чернеток, це те, з чого слід почати. Вона показує попередні чернетки та примітки про те, як розвивався ваш текст, а оцінка не може. Попросіть у письмовій формі повний звіт і політику, яка застосовується. Кроки описано в наших дописах про що робити спочатку, якщо вас звинувачують і про написання листа-апеляції щодо виявлення AI.
Найкраща відповідь на позначку, це показати свою роботу. Зберігайте запис того, що ви написали. Використовуйте Google Docs або Microsoft Word (із увімкненою історією версій), щоб створювати чернетки та відстежувати свої нотатки, плани й джерела, які ви читали. Якщо ви користуєтеся допоміжними технологіями, такими як перевірка правопису, диктування або перетворення тексту на мовлення, ви можете повідомити викладача або відділ доступності, якими саме ви користуєтеся і як.
Ви також можете звернутися до відділу з питань інвалідності або доступності вашого університету. Вирішіть, чи хочете ви повідомити своєму викладачеві або комісії про свій діагноз. Ви могли б сказати щось на кшталт цього: Показники різняться від детектора до детектора. Рецензоване дослідження показало вищий рівень позначення для ймовірно аутичних авторів в одному з них. Ваші чернетки важливіші за дослідження груп, тому що дослідження груп не може показати, як саме було написано ваше власне есе.
Для співробітників
Оцінка є лише приблизною. Це привід запитати про процес написання. Попросіть показати чернетки та нотатки, якщо вони існують. Запитайте студента, як він написав цей текст. Діагноз або стиль письма не є доказом за чи проти використання AI. Запитайте, які інструменти використовував студент, наприклад перевірку орфографії або диктування. Перевірка орфографії та граматичні підказки майже не змінили AI scores у тесті Bloomberg 2024 року, але повні переписування тексту змінили їх значно. У тому ж звіті Bloomberg сказано, що розробники детекторів стверджують, що їхні оцінки є одним із джерел даних, яке має допомагати викладачеві. Chambers і Kelley рекомендують подальше критичне вивчення цих моделей та їхнього використання в академічних контекстах.
Інструменти на цьому сайті
безкоштовний перевірник perplexity оцінює варіативність слів у вашій чернетці, а безкоштовний перевірник burstiness будує графік довжини ваших речень. Жодне з цих чисел не доводить нічого про те, хто написав текст. TextPulse AI humanizer призначений для зниження AI scores у чернетці, яку ви написали самі, зберігаючи цитати та терміни. Якщо ви ним користуєтеся, перевірте, чи дозволяє ваш курс такий інструмент, і прочитайте результат. Ніщо в цьому дослідженні не стверджує, що вам потрібно змінювати спосіб письма.
Часті запитання
Виміряний рівень хибнопозитивних AI detection у нейрорізноманітних авторів походить із рецензованого дослідження 2025 року на основі дописів Reddit. Один AI detector позначив 1.9 відсотка ймовірно аутичних дописів проти 1.5 відсотка загальних дописів, а також 1.7 проти 1.2 відсотка, коли кожен допис було скорочено до 300 слів. Показники на інших detectors відрізняються.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.