Галлюцинированные цитаты: проверьте статью перед подачей

В июне 2023 года федеральный судья в Нью-Йорке наложил санкции на двух адвокатов за подачу записки, построенной как минимум на шести судебных делах, которых не существовало. Стивен Шварц попросил ChatGPT подобрать поддерживающий прецедент, получил названия дел и процитированные рассуждения, которые звучали вполне правдоподобно, и подал записку, не открыв самостоятельно ни одного дела. Судья P. Kevin Castel оштрафовал его на пять тысяч долларов и распорядился направить письмо каждому реальному судье, чье имя было приписано сфабрикованному мнению.

Список литературы может оказаться в том же положении. Исправление состоит в аудите галлюцинированных цитат, который вы проводите по собственному списку литературы до того, как это сделает за вас редактор, научный руководитель или рецензент. Это не только проблема, возникающая из-за подготовки текста с помощью чатбота. Запомненная цитата, которой никогда в точности не существовало, слегка неверно переписанное название соавтора или препринт, чья окончательная ссылка изменилась после принятия, все это может оставить в списке литературы такой же пробел, как и сфабрикованная ссылка. Приведенный ниже аудит выявляет все такие случаи, независимо от того, как именно появилась каждая отдельная запись.

Насколько распространена галлюцинированная цитата на самом деле?

Диапазон сильно зависит от того, какая модель сгенерировала черновик. Walters and Wilder, опубликовавшие в Scientific Reports в 2023 году, проверили списки литературы, сгенерированные GPT-3.5 и GPT-4, сопоставив их с реальными академическими заданиями на написание текста: 636 цитат, взятых из 84 списков литературы, сгенерированных ИИ, по 42 для каждой модели. Пятьдесят пять процентов цитат GPT-3.5 были полностью сфабрикованы, против 18 процентов у GPT-4. Даже реальные цитаты не обязательно были безупречны: 43 процента подлинных цитат GPT-3.5 и 24 процента цитат GPT-4 по-прежнему содержали существенную ошибку в авторе, названии, году или издании.

Юридические исследования цитирований, сгенерированных AI, показывают ещё более высокий уровень ошибок, но в этих работах измеряется другой тип ошибки, вымышленные судебные решения, а не сфабрикованные библиографические ссылки, поэтому эту цифру нельзя переносить в академический контекст. Общее у обеих областей одно, это лежащая в основе причина: модель, создающая правдоподобно звучащее цитирование, оптимизируется под то, как обычно выглядит цитата, а не под то, существует ли она на самом деле. Собственная статья TextPulse о том, выдумывает ли ChatGPT ссылки рассматривает именно этот чатбот, тогда как данный аудит работает независимо от того, какой инструмент, или чья именно память соавтора, породил запись перед вами.

Что показали аудиты литературы 2026 года в масштабах всей литературы

Эти показатели на уровне модели описывают то, что выходит из чатбота. Отдельный вопрос, и именно он важен для любого, кто подаёт работу в журнал, состоит в том, как часто сфабрикованная ссылка проходит все проверки между черновиком и опубликованной статьёй. Два аудита, опубликованные с разницей в один день в мае 2026 года, ответили на него в масштабе всей литературы, и ответ таков, что эта ошибка уже не является редкой.

Аудит, опубликованный в The Lancet, проверил ссылки примерно в 2.5 миллиона биомедицинских статей в PubMed Central Open Access, охватывая период с января 2023 года по февраль 2026 года. Несколько тысяч ссылок указывали на работы, которых не существует, и это было распределено более чем по 2,800 опубликованным статьям. Важнее общий тренд, чем абсолютное число.

Период	Статьи хотя бы с одной сфабрикованной ссылкой	На 10,000 статей
2023	1 из 2,828	3.5
2025	1 из 458	21.8
2026, первые семь недель	1 из 277	36.1

Это примерно десятикратный рост за три года, а показатель за 2026 год получен на основе семи недель, а не полного года, так что это скорее раннее наблюдение, чем устоявшаяся годовая норма. Он показывает, что вымышленные ссылки попадают в печать в рецензируемых изданиях, проходя по пути через авторов, соавторов, редакторов и рецензентов.

Сопутствующее исследование, Zhao and colleagues on non-existent citations, расширило охват до 111 миллионов ссылок в arXiv, bioRxiv, SSRN и PubMed Central и установило консервативную нижнюю границу в 146,932 галлюцинированных цитат только за 2025 год. Его более полезный вывод касается не объёма, а распределения: вымышленные ссылки концентрируются в областях с быстрым внедрением AI, а также среди небольших авторских групп и групп на раннем этапе карьеры. Если вы единственный автор или небольшая группа без исследовательского отдела, проверяющего вашу библиографию, вы относитесь к той группе, где это чаще всего идёт не так, и это аргумент в пользу того, чтобы проводить аудит самостоятельно, а не предполагать, что это сделает кто-то на следующем этапе.

Какие модели фабрикуют больше всего и что на самом деле снижает этот показатель

Честный ответ состоит в том, что ни один строгий публичный бенчмарк не сопоставляет сегодняшние основные модели друг с другом именно по фабрикации цитат. В обращении находятся небольшие неформальные сравнения, обычно несколько десятков ссылок, вручную прогнанных через два или три чатбота, и выборки слишком малы, чтобы на их основе можно было выстроить рейтинг. Принять одно из таких сравнений за таблицу лидеров, значит допустить, чтобы в статью попало уверенное, но неверное утверждение.

Что действительно подтверждается, так это поколенческое сравнение в данных Walters и Wilder выше, где более новая модель фабриковала примерно в три раза реже, чем более старая.

Проверенная модель	Цитаты полностью вымышлены	Подлинные цитаты, содержащие существенную ошибку
GPT-3.5	55%	43%
GPT-4	18%	24%

Три закономерности повторяются в литературе и заслуживают большего внимания, чем любой отдельный рейтинг. Более крупные модели выдумывают меньше, чем более маленькие. Модели, которые действительно могут искать и извлекать источники, выдумывают существенно меньше, чем модели, отвечающие только на основе своих параметров, и это самый большой эффект, который кто-либо измерял. А малоизвестные источники гораздо рискованнее, чем хорошо известные, потому что часто цитируемая статья достаточно часто присутствует в обучающих данных, чтобы быть воспроизведённой корректно, тогда как нишевый источник с большей вероятностью будет реконструирован по фрагментам.

Практический вывод состоит в том, что ни одна модель не является достаточно надёжной, чтобы пропускать проверку, а записи, в которых ошибка наиболее вероятна, это именно те, которые труднее всего проверить по памяти: специализированная ссылка, малоизвестная конференционная статья, источник, который вы добавили последним.

Что обнаруживает автоматическая проверка и где она останавливается

Прогнать список через проверяющий инструмент сначала быстрее, чем вручную разбирать сорок DOI, и бесплатная проверка AI-цитат на этом сайте делает именно это, сопоставляя данные с Crossref, OpenAlex и Semantic Scholar. Полезно понимать, что этот класс инструментов делает плохо, прежде чем на него полагаться.

Оценка 2026 года пяти детекторов вымышленных ссылок, Badalova and Mayr, показала, что они дают полезные ранние предупреждения, но остаются ограничены четырьмя факторами: корректным извлечением ссылок из документа, неполными метаданными в самой записи, неполным покрытием баз данных и реестрами, которые не совпадают друг с другом. Только первый из этих факторов исчезает, когда вы вставляете список, а не загружаете PDF.

Следствие для вашего собственного аудита состоит в правиле интерпретации. Проверяющий наиболее силён в обнаружении того, что имеет наибольшее значение, DOI, который ведёт не к той статье, которую заявляет запись, и это почти окончательно. Он наименее надёжен для книг, глав, диссертаций, материалов конференций, совсем недавних работ и неанглоязычных изданий, все из которых слабо индексируются повсюду и регулярно возвращаются как не найденные, хотя при этом являются совершенно подлинными. Не найдено, это повод проверить вручную, но никогда не вердикт. Приведённые ниже ручные шаги, это то, что следует применять ко всему, что автоматическая проверка не смогла решить.

Проверьте каждый DOI до отправки

DOI, Digital Object Identifier, должен разрешаться ровно в одну запись через резолвер doi.org. Добавьте DOI из вашего списка литературы в резолвер, и рабочий DOI откроет страницу издателя для именно этой статьи. DOI, который ведёт к нерелевантной статье, к совершенно другому журналу или никуда вообще, является одной из самых быстрых проверок на галлюцинацию, потому что модель, выдумывающая ссылку, обычно выдумывает вместе с ней и правдоподобно выглядящую строку DOI, а не использует реальный DOI повторно.

DOI, который разрешается корректно, не является автоматическим доказательством того, что ссылка подлинна. Некоторые сфабрикованные ссылки заимствуют реальный DOI нерелевантной статьи, который разрешается без ошибки и ведёт к реальной статье, не имеющей никакого отношения к утверждению, которое она якобы подтверждает. Читайте страницу, на которую ведёт DOI, а не только тот факт, что она загрузилась.

Сопоставьте каждый заголовок с реальной базой данных

Ищите точное название, в кавычках, в базе данных, которая охватывает вашу область, а не в открытом вебе. Используйте что-то вроде Crossref, PubMed для биомедицинских работ или собственный индекс вашей дисциплины. Если вы используете Crossref, можно воспользоваться их бесплатным гостевым поиском, чтобы найти ссылку по названию и первому автору, либо по автору и номеру страницы, если вы не уверены в названии. Это вернёт DOI и полные метаданные для всего, что у них есть в базе. Если совпадения нет, или если в ответе оказывается реальная статья с совершенно другим набором авторов, возможно, вы видите второй вид галлюцинации, сломанный DOI.

Поиск по названию выявляет конкретный сбой, который не обнаруживает проверка DOI, цитирование с рабочим, реальным DOI, прикреплённым к неверному названию, потому что номер и текст были собраны отдельно и так и не были фактически сопоставлены друг с другом. Если название в базе данных не совпадает с названием в вашем списке литературы достаточно близко, рассматривайте это как подделку, пока не сможете объяснить расхождение, а не как опечатку, которую можно тихо исправить.

Сверьте список авторов и год публикации

Сфабрикованная ссылка часто правильно указывает автора и ошибочно указывает статью, потому что реальное, известное имя в этой области, это именно то, что выдаст модель, подбирающая правдоподобную ссылку. Проверьте собственный список публикаций автора в той базе данных, которую вы уже открыли, за тот год, который указан в вашем списке литературы. Если этот автор опубликовал три статьи в тот год, и ни одна из них не совпадает с вашим названием, ссылка с очень высокой вероятностью выдумана, собрана из реального имени и реального года, которые на самом деле никогда не сочетались.

Обратная ситуация тоже встречается, реальная статья с правильным названием, но прикреплённая к неверному году, обычно к году препринта, а не к году окончательной публикации, или версия с конференции, процитированная с более поздним годом журнальной публикации. Ни то ни другое не является подделкой в строгом смысле аудита, но оба случая отправляют читателя к менеджеру ссылок или соавтору, который затем не может найти то, что вы процитировали, и это достаточно близко к той же проблеме, чтобы исправить её в ходе того же прохода.

Выявите правдоподобное, но выдуманное название журнала

Вымышленное название журнала создаётся так, чтобы звучать в точности как настоящее: правдоподобная область, правдоподобное прилагательное, название, достаточно близкое к реальному журналу, чтобы никто не стал проверять. "The Journal of Applied Cognitive Studies" вымышлен, "The Journal of Applied Psychology" и "Journal of Cognitive Science" оба существуют, а название, склеивающее части этих двух, выглядит знакомым именно по этой причине.

Ищите название журнала само по себе, в кавычках, и проверяйте собственную страницу журнала у издателя и действующий ISSN, а не просто результат на каком-то другом сайте, который цитирует ту же ссылку. У настоящего журнала есть главная страница, где указаны редактор, текущий том и номер, а также законный ISSN, зарегистрированный за ним. Название без страницы издателя, без ISSN и без других статей, которые ссылаются на материалы из него, является самым ясным признаком во всём аудите того, что ссылка не существует.

Превратите аудит вымышленных ссылок в повторяемый контрольный список

Выполняйте эти проверки по порядку, для каждой ссылки, прежде чем список будет считаться окончательным. Порядок имеет меньшее значение, чем охват всех четырёх, ссылка может пройти одну проверку и всё равно провалить другую.

Проверка	Что она выявляет
Разрешение DOI	DOI, который никуда не ведёт, или ведёт к не связанному с ним материалу
Сопоставление названия с базой данных	Настоящий DOI, прикреплённый к неверному названию, или название, которое вообще не даёт результата
Перекрёстная проверка автора и года	Имя реального автора, прикреплённое к статье, которую он не писал в этот год
Проверка названия журнала	Название журнала, звучащее правдоподобно, но без ISSN, без страницы издателя и без реального существования

Проверка цитирований AI в TextPulse автоматически выполняет этот проход по всему списку литературы, быстрее, чем вручную проходить все четыре проверки в длинной библиографии, хотя всё же стоит самостоятельно прочитать то, что она помечает, а не принимать или отклонять пометку на доверии. Для этапа DOI в частности специализированный поиск цитирования по DOI избавляет от необходимости переходить к резолверу для каждой записи по одной.

Чистый список литературы, это одна из нескольких проверок перед отправкой рукописи. Снижение AI score для подачи в журнал рассматривается отдельно, как и письмо-ответ рецензентам, которое следует за ним.

Ничто из этого не заменяет повторного чтения собственной статьи перед отправкой. Если после проверки фактов раздел всё ещё читается как общий и шаблонный, AI humanizer может сгладить текст, не затрагивая ни одной ссылки на источник, руководство TextPulse по гуманизации текста AI в академическом письме рассматривает этот проход по разделам. Список литературы, который корректно разрешается, и рукопись, которая читается как ваш собственный голос, это две отдельные проверки, и их стоит выполнять одна за другой, а не полагаться на то, что одна заменит другую.