Сравнительное исследование AI Humanizer: что произошло с теми же академическими текстами

В нашем исследовании сравнения humanizer для AI каждый humanizer переводил одни и те же 48 академических текстов к стилю человеческого письма, и инструменты сильнее всего различались тем, что они сохраняли. Некоторые сохраняли смысл, цитаты и числа близко к исходному тексту. Другие добавляли вымышленные числа и имена или новые грамматические ошибки, и именно такие результаты часто получали метку human от детектора.

TextPulse Research провела исследование сравнения humanizer для AI в августе 2026 года и опубликовала его как рабочую статью 29 августа. TextPulse является одним из инструментов в нем, поэтому для всех инструментов использовались одни и те же входные данные, а каждая мера представляет собой публичный скрипт. В полной рабочей статье есть все таблицы, рисунки и скрипты, а все 432 переписанных текста находятся в открытом доступе.

Что проверяло сравнительное исследование AI humanizer

Исследование дало каждому humanizer те же 48 текстов. Каждый из них был разделом «Результаты и обсуждение» вымышленного эмпирического исследования, написанным моделью AI и объёмом около 301 слова. Четыре семейства моделей написали по 12 текстов каждое: OpenAI, Google, DeepSeek и Anthropic. Тексты охватывали четыре дисциплины и три стиля цитирования, поэтому каждый инструмент сталкивался с числами, именами авторов и ссылками на источники, которые он должен был сохранить.

Часть дизайна	Что использовало исследование
Исходные тексты	48 разделов «Результаты и обсуждение», написанных AI, от 264 до 344 слов каждый
Кто их написал	По 12 текстов от моделей OpenAI, Google, DeepSeek и Anthropic
Дисциплины	Медицина и здравоохранение, физические и вычислительные науки, социальные науки, гуманитарные науки
Стили цитирования	APA автор-год, числовые скобки, без цитат
Проверенные факты в текстах	404 технических термина, 887 чисел, 124 цитаты
Как работал каждый инструмент	Вставлялся один раз в свою веб-страницу на настройке по умолчанию, результат сохранялся в том виде, в каком был возвращен
Даты	с 26 по 28 августа 2026 г.
Детекторы	Turnitin, по одному документу на инструмент, и GPTZero, каждый текст отдельно

Задача humanizer состоит в том, чтобы переписывать вывод AI, поэтому исследование начиналось с вывода AI с проверенным списком фактов. До любого переписывания каждая модель перечисляла термины, числа и цитаты, которые она использовала. Каждый перечисленный элемент сопоставлялся с текстом, и любой элемент, отсутствовавший в нем, исключался. В результате для каждого текста оставался фиксированный список, так что исследование могло точно подсчитать, что именно каждый humanizer сохранил, изменил или выдумал.

Каждый текст один раз вводился на веб-страницу каждого инструмента, при настройке по умолчанию этого инструмента, и вывод сохранялся точно в том виде, в каком он возвращался. Никто не редактировал вывод. Некоторые инструменты обрабатывали меньше чем 48 текстов, потому что бесплатные уровни ограничивают число текстов, которые инструмент примет. Основной набор из 24 текстов был одинаковым для каждого инструмента, в одном и том же порядке. TextPulse обработал все 48.

Как исследование измеряло гуманизированный текст

Оценка детектора показывает, как текст выглядел для одного детектора в один день. Она ничего не говорит о том, сохраняет ли переписанный вариант те же результаты. Сначала исследование оценивало каждый вывод по самому тексту, а затем по детекторам. Для студентов или исследователей важно иметь статью, которая по-прежнему говорит то, что говорят данные, в прозе, которая звучит так, будто ее написал человек.

Показатель	Что он проверяет	Почему это важно в статье
Смысл	Насколько переписанный текст близок к исходному, как коэффициент сходства от 0 до 1	Более низкий показатель означает, что абзац теперь говорит о другом
Сохранённые цитирования	Доля внутритекстовых цитирований, которые по-прежнему присутствуют с тем же автором и годом	Изменённый год нарушает соответствие со списком литературы
Сохранённые числа	Доля проверенных чисел, которые по-прежнему есть в тексте	Потерянный размер выборки или p-значение меняет результат
Придуманные элементы	Числа и имена в выходном тексте, которых не было в исходном	Придуманная цифра является ложным утверждением об исследовании
Добавленные грамматические ошибки	Новые ошибки на 1,000 слов, подсчитанные с помощью LanguageTool	Ошибки снижают оценку и доверие рецензента
Уровень чтения	Изменение уровня Flesch-Kincaid	Текст, созданный AI, имеет более высокий уровень, чем опубликованная человеческая проза
Позиция стиля	Положение текста между типичным человеческим и типичным AI-письмом	Стилистические детекторы реагируют на эти признаки
Длина	Длина выходного текста по отношению к исходному, 0.70 до 1.30 раза считается сохранением	Инструмент, который сокращает текст вдвое, удалил содержимое

Позиция стиля берётся из шкалы, которую TextPulse разработал на основе 47 стилевых признаков из 121,092 академических текстов (шкала описана в нашей статье о стилистической классификации). Типичный человеческий академический текст находится на 0, а типичный AI-текст на 100. Мы называем среднюю половину человеческих текстов (от -36 до 33) человеческим диапазоном.

Словарный запас оценивался по списку из 1,057 слов из нашей статьи о словарном отпечатке AI. Из них 581 слово AI-модели используют чаще, чем люди, а 476 склоняются в другую сторону. В исследовании подсчитывалось, сколько слов с уклоном в сторону AI каждый инструмент удалял на 1,000 слов.

Что каждый humanizer сделал с текстом

Каждый инструмент в исследовании смещал свои результаты к человеческому концу шкалы стиля. Необработанные тексты, созданные AI, в среднем набирали 138, что выше типичного AI-текста со значением 100. После переписывания некоторые инструменты достигли человеческого диапазона, а другие остановились примерно на середине. Каждый инструмент также устранял лексику, тяготеющую к AI, и снижал уровень чтения, так что направление изменений во всей области было одинаковым.

Наиболее сильно текст по шкале смещают два типа признаков. Первая пара, это средняя длина слова и доля длинных слов. Переписывание слова "help" в "facilitate" сделает текст более похожим на AI, потому что оно увеличивает среднюю длину слова и долю длинных слов. Второй признак, это разнообразие длины предложений, которое смещает текст к человеческому. Абзац, в котором все предложения имеют от 22 до 26 слов, однообразен, а абзац, в котором сочетаются предложение из 9 слов и предложение из 31 слова, разнообразен.

Идея состоит в том, чтобы достичь более низкого уровня чтения. Академический текст, написанный AI, имеет более высокий показатель Flesch-Kincaid, чем опубликованная академическая проза, написанная человеком. Поэтому, если он снижается, это делает текст более похожим на простой стиль, в котором пишут исследователи. Именно на это реагируют стилистические детекторы. Это также те изменения, которые делают черновик более удобным для чтения. Эти две цели совпадают, пока содержание остается неизменным.

Наш пост о том, как humanizers изменяют предложение показывает эти правки по одному предложению за раз. Исследование добавляет измерение, насколько далеко каждое изменение сдвинуло текст и какой ценой это было достигнуто в смысле и фактах.

В чем инструменты различались: смысл, цитаты и числа

Инструменты различались по уровню сохранения. Например, в ходе исследования было сохранено от 29 до 100 процентов цитат. На один результат приходилось от 0.06 до 4.44 вымышленных элементов. На 1,000 слов появлялось от 0.65 до 4.91 новых грамматических ошибок. Вымышленными элементами были размеры выборки, проценты, доверительные границы, имена авторов и учреждения, которые источник никогда не упоминал.

Имена и единицы измерения исчезали более скрытно. Когда инструмент переформулировывал статистический показатель, он часто опускал единицу измерения, так что "Cohen's d" становился размером эффекта, а "Celsius" становился градусами. Имена авторов исчезали вместе со ссылками на них. Названия видов, эпох и приборов заменялись описанием. Читателю, который хочет проверить результат, нужны эти имена, поэтому каждая такая потеря имеет значение.

Глубина переформулирования и точность следования исходному тексту тянут в противоположных направлениях. Инструмент, который изменяет треть слов, легче сохраняет смысл. Инструмент, который изменяет большинство слов, имеет больше шансов что-то потерять. Доля изменённых слов варьировала от 35 до 68 процентов. Результат, которого хочет исследователь, это глубокая переработка, которая при этом сохраняет смысл. Такое сочетание встречалось редко.

Исследование также искало скрытые символы, невидимые символы, нестандартные пробелы и похожие буквы из кириллического или греческого алфавитов. Некоторые humanizers добавляют их, чтобы изменить результат детектора. Ни один инструмент в этом исследовании ничего подобного не добавлял, поэтому ни один результат не провалил контроль качества по этой причине.

Почему результат детектора сам по себе является слабым критерием оценки humanizer

Результат детектора сам по себе является неполным критерием оценки humanizer. В исследовании сравнения AI humanizer результаты, которые GPTZero чаще всего помечал как человеческие, исходили от инструментов, которые придумывали больше чисел и имён, удаляли больше ссылок или добавляли больше грамматических ошибок. Самый простой способ изменить оценку детектора, это изменить то, что говорит текст. Такая переработка подводит ту статью, которой она должна была помочь.

Чтобы одновременно измерить обе стороны, исследование установило контроль качества. Чтобы пройти его, результат должен был иметь оценку сохранения смысла не ниже 0.95 и сохранить не менее 90 процентов своих ссылок. Кроме того, в нём не должно было быть придуманных чисел или имён, скрытых символов, а длина должна была оставаться в пределах допуска. Метка GPTZero human тогда засчитывалась только для тех результатов, которые проходили контроль. Контроль был одинаковым для каждого инструмента.

Вывод каждого инструмента был помещен в один документ, по одному тексту на страницу. В исследовании для документа использовался один процент AI в Turnitin. Turnitin использует звездочку вместо числа для значений ниже 20 процентов. Результаты детекторов являются оценками, полученными с помощью одной версии детектора на даты проведения исследования. О том, как читать свой AI score в Turnitin, мы писали в нашем руководстве по тому, что означает AI score в Turnitin.

Как TextPulse показал себя в сравнении humanizer

TextPulse занял первое место в составном индексе исследования, который придает равный вес глубине переписывания, смыслу, позиции стиля, грамматике и целостности содержания. Оценки TextPulse по этим пяти показателям составили 0.811, а при добавлении показателя gated detector, 0.843. Он показал хорошие результаты, потому что у него не было слабых показателей. Он переписал более половины каждого текста и сохранил факты, на которых держится статья.

Показатель	Результат TextPulse
Измененные слова	52 процента
Сохранение смысла, сходство с исходным текстом	0.971, около 97 процентов
Сохраненные цитаты	99 процентов
Сохраненные числа	87 процентов
Сохраненные именованные сущности	95 процентов
Добавленные грамматические ошибки	0.65 на 1,000 слов, наименьшее значение в исследовании
Вымышленные элементы	0.48 на вывод, вымышленное имя в одном выводе из пятидесяти
Уровень чтения	на 3.6 класса ниже, наибольшее снижение
Удаленные слова, указывающие на AI	39 на 1,000 слов, наибольшее значение в исследовании
Позиция стиля	29, в пределах человеческого диапазона
Выводы в пределах допуска по длине	47 из 48
Выводы, прошедшие контроль качества	67 процентов
AI score в Turnitin, один документ со всеми выводами	24 процента, наименьшее значение в исследовании, вровень
Метка human в GPTZero для выводов, прошедших контроль	10.4 процента (5 из 48), наивысшее значение в исследовании

Наиболее важны для академического использования два результата. Среди инструментов, которые изменили не менее половины слов, TextPulse лучше всего сохранил смысл. Среди инструментов с оценкой смысла 0.97 или выше он изменил наибольшее число слов. Ни один другой инструмент в исследовании не входил в обе группы. Для академического письма нужен именно такой набор свойств, поскольку лёгкая переработка оставляет стиль AI без изменений, а глубокая переработка, при которой опускаются факты, меняет результаты.

GPTZero пометил 9 из 48 выходных текстов TextPulse как человеческие, и 5 из них также прошли порог качества, что стало самым высоким результатом с прохождением порога в исследовании. Документ Turnitin с выходными текстами TextPulse получил 24 процента AI, что разделило самый низкий результат. Остальные документы получили от 28 до 74 процентов. Результаты детекторов являются оценками, и по этой причине исследование приводит их рядом с текстовыми метриками.

Что исследование не может вам сказать

Сравнительное исследование AI humanizer перечисляет собственные ограничения. Тексты были написаны моделями AI по фиксированному запросу, а реальные черновики длиннее и менее однородны. Каждый инструмент запускался один раз, с настройкой по умолчанию, в период с 26 по 28 августа 2026 года. Поставщики обновляют свои инструменты, поэтому результаты описывают именно эти даты и должны рассматриваться как снимок состояния.

У разных инструментов разное число текстов, поскольку они ограничены определённым количеством бесплатных текстов, которые инструмент будет обрабатывать. Это также приводит к более широким доверительным интервалам для инструментов с меньшим числом текстов. Turnitin генерирует один балл на документ и поэтому не имеет разброса баллов по текстам. GPTZero это один детектор, одна версия модели (2026-08-09-base).

TextPulse создал исследование и является одним из инструментов в нём. Каждому инструменту были даны одинаковые входные данные. По протоколу все метрики представляют собой общедоступные скрипты, и все сырые результаты опубликованы. Это означает, что любой может повторно выполнить расчёты или иначе их взвесить. Исходные тексты, все 432 выходных текста, ответы детекторов и скрипты находятся в открытом доступе.

Как использовать выводы для собственного черновика

Выводы превращаются в короткую проверку, которую можно выполнить после любого humanizer, включая наш. Сравните выходной текст с вашим черновиком по тем параметрам, которые учитывало исследование. На одном разделе это занимает несколько минут.

1. Проверьте каждое число по вашему черновику: размеры выборок, проценты, значения p и доверительные интервалы.
2. Проверьте каждую внутритекстовую ссылку на того же автора и тот же год, затем сопоставьте ее со списком литературы.
3. Ищите изменившиеся названия: инструменты, виды, наборы данных, единицы измерения и имена авторов.
4. Проверьте текст на утверждения, которые стали сильнее, например, когда "may indicate" переписано как "shows".
5. Сравните длину. Вывод, который намного короче исходного текста, вероятно, утратил часть содержания.
6. Прочитайте текст вслух, чтобы заметить грамматические ошибки, добавленные при переписывании.

Длина является самым быстрым из этих проверок. В исследовании вывод, находившийся между 0.70 и 1.30 длины исходного текста, считался сохраненным. TextPulse сохранил 47 из 48 выводов внутри этого диапазона, при среднем значении 1.14 длины исходного текста, так что его выводы были немного длиннее черновиков.

Ссылки труднее всего проверять вручную. В исследовании TextPulse сохранил 99 процентов из них, а его изменения касались формы представления, например, когда ссылку в скобках превращали в повествовательную. Наша статья о AI humanizer, который сохраняет ссылки объясняет, на что следует обращать внимание в собственных ссылочных обозначениях.

Бесплатный проверка burstiness измеряет, насколько сильно различается длина предложений в вашем черновике. Разнообразная длина предложений — одна из особенностей, которые шкала исследования относит в пользу человеческого письма. За ранжированным руководством с ценами обратитесь к нашему руководству по лучшему AI humanizer для академического письма. Когда будете готовы переписать текст, TextPulse AI humanizer создан, чтобы сохранить ваши числа, имена и цитаты, и сообщает предполагаемый Human Score для результата.