Галюциновані цитати: перевірте свою статтю перед поданням

У червні 2023 року федеральний суддя в Нью-Йорку наклав санкції на двох адвокатів за подання записки, побудованої щонайменше на шести судових справах, яких не існувало. Стівен Шварц попросив ChatGPT надати йому підтримуваний прецедент, отримав назви справ і цитовані міркування, які звучали цілком правдоподібно, і подав записку, не відкривши жодної справи самостійно. Суддя P. Kevin Castel оштрафував його на п'ять тисяч доларів і зобов'язав надіслати листа кожному реальному судді, чиє ім'я було приписане вигаданій думці.

Список літератури може опинитися в тому самому становищі. Виправленням є аудит вигаданих цитувань, проведений за вашим власним списком літератури до того, як це зробить редактор, керівник або рецензент. Це не лише проблема, спричинена написанням за допомогою чатбота. Запам'ятане цитування, якого насправді ніколи не існувало, трохи неправильно скопійований заголовок співавтора або препринт, чия остаточна цитата змінилася після прийняття, можуть залишити в списку літератури такий самий розрив, як і вигадане цитування. Поданий нижче аудит виявляє всі ці випадки, незалежно від того, як саме кожен окремий запис там опинився.

Наскільки поширеним насправді є вигадане цитування?

Діапазон дуже залежить від того, яка модель створила чернетку. Walters and Wilder, публікуючи в Scientific Reports у 2023 році, перевірили списки літератури, згенеровані GPT-3.5 і GPT-4, на відповідність реальним академічним запитам на написання тексту: 636 цитувань, узятих із 84 списків літератури, згенерованих AI, по 42 для кожної моделі. П'ятдесят п'ять відсотків цитувань GPT-3.5 були повністю вигаданими, проти 18 відсотків у GPT-4. Навіть справжні не обов'язково були бездоганними: 43 відсотки справжніх цитувань GPT-3.5 і 24 відсотки GPT-4 усе ще містили суттєву помилку десь в авторі, назві, році або виданні.

Правові дослідження AI-згенерованих цитувань показують ще вищий рівень невдач, але ця робота вимірює іншу невдачу, вигадані судові рішення, а не сфабриковані бібліографічні посилання, тож цю цифру не слід переносити в академічний контекст. Спільним для обох сфер є базова причина, модель, що створює цитату, яка звучить правдоподібно, оптимізує те, як зазвичай виглядає цитата, а не те, чи вона насправді існує. Власна стаття TextPulse про чи ChatGPT вигадує посилання розглядає саме цього чатбота, тоді як цей аудит працює незалежно від того, який інструмент або чия саме пам'ять співавтора створили запис перед вами.

Що показали аудити літературного масштабу 2026 року

Ці показники на рівні моделі описують те, що виходить із чатбота. Окреме питання, і саме воно має значення для кожного, хто подає матеріал до журналу, полягає в тому, як часто сфабриковане посилання проходить усі перевірки між чернеткою і опублікованою статтею. Два аудити, оприлюднені з різницею в один день у травні 2026 року, відповіли на це на рівні всієї літератури, і відповідь така, що ця невдача вже не є рідкісною.

Аудит, опублікований у The Lancet, перевірив посилання приблизно в 2.5 мільйона біомедичних статей у PubMed Central Open Access, охопивши період із січня 2023 року до лютого 2026 року. Кілька тисяч посилань вказували на роботи, яких не існує, і це було розподілено більш ніж у 2,800 опублікованих статтях. Тенденція має більше значення, ніж загальна кількість.

Період	Статті щонайменше з одним сфабрикованим посиланням	На 10,000 статей
2023	1 із 2,828	3.5
2025	1 із 458	21.8
2026, перші сім тижнів	1 із 277	36.1

Це приблизно десятикратне зростання за три роки, а показник за 2026 рік отримано на основі семи тижнів, а не повного року, тож це ранній орієнтир, а не усталена річна норма. Це показує, що вигадані посилання потрапляють до друку в рецензованих виданнях, пройшовши через авторів, співавторів, редакторів і рецензентів.

Супровідне дослідження, Zhao and colleagues on non-existent citations, розширило вибірку до 111 million references across arXiv, bioRxiv, SSRN and PubMed Central і встановило консервативну нижню межу в 146,932 галюцинованих цитат лише за 2025 рік. Його корисніший висновок стосується радше розподілу, ніж обсягу: вигадані посилання зосереджуються в галузях із швидким впровадженням AI, а також серед невеликих авторських команд і команд на початку кар'єри. Якщо ви є автором-одинаком або невеликою групою без дослідницького офісу, який перевіряє вашу бібліографію, ви належите до групи, де це найчастіше йде не так, і це аргумент на користь того, щоб проводити аудит самостійно, а не припускати, що це зробить хтось далі за ланцюгом.

Які моделі найчастіше вигадують, і що насправді зменшує це

Чесна відповідь полягає в тому, що жоден строгий публічний бенчмарк не ранжує сьогоднішні основні моделі одна щодо одної саме за вигадуванням цитат. Поширюються невеликі неформальні порівняння, зазвичай кілька десятків посилань, пропущених вручну через два або три чатботи, і цих вибірок надто мало, щоб на їх основі будувати рейтинг між ними. Сприймати одне з таких порівнянь як турнірну таблицю, це шлях до того, щоб упевнене й хибне твердження потрапило до статті.

Натомість підтверджується поколіннєве порівняння в наведених вище даних Walters and Wilder, де новіша модель вигадувала приблизно втричі рідше, ніж старіша.

Model tested	Citations entirely fabricated	Genuine citations still carrying a substantive error
GPT-3.5	55%	43%
GPT-4	18%	24%

Три закономірності повторюються в літературі й важать більше, ніж будь-який окремий рейтинг. Великі моделі вигадують менше, ніж менші. Моделі, які справді можуть шукати й отримувати джерела, вигадують істотно менше, ніж моделі, що відповідають лише на основі своїх параметрів, і це єдиний найбільший ефект, який будь-хто вимірював. А маловідомі джерела значно ризикованіші за добре відомі, тому що широко цитована стаття часто трапляється в навчальних даних достатньо, щоб бути відтвореною правильно, тоді як нішеве джерело з більшою ймовірністю буде реконструйоване з фрагментів.

Практичний висновок полягає в тому, що жодна модель не є достатньо безпечною, щоб пропустити перевірку, а записи, які найімовірніше будуть неправильними, це саме ті, які ви найменше здатні перевірити з пам'яті: спеціалізована цитата, маловідома конференційна стаття, джерело, яке ви додали останнім.

Що виявляє автоматизована перевірка, і де вона зупиняється

Запустити список через перевірку спочатку швидше, ніж вручну звіряти сорок DOI, і безкоштовний AI Citation Checker цього сайту саме це й робить, порівнюючи з Crossref, OpenAlex і Semantic Scholar. Варто знати, у чому саме цей клас інструментів працює погано, перш ніж покладатися на нього.

Оцінювання 2026 року п'яти детекторів вигаданих цитат, Badalova and Mayr, показало, що вони дають корисні ранні попередження, але залишаються обмеженими чотирма чинниками: коректним вилученням посилань із документа, неповними метаданими в самому записі, нерівномірним покриттям баз даних і реєстрами, які не збігаються між собою. Лише перший із цих чинників зникає, коли ви вставляєте список, а не завантажуєте PDF.

Наслідок для вашого власного аудиту полягає в правилі тлумачення. Перевірка найсильніша там, де виявляє найважливіше, DOI, який веде до іншої статті, ніж стверджує запис, і це майже остаточний доказ. Вона найслабша щодо книг, розділів, дисертацій, матеріалів конференцій, дуже нових робіт і неангломовних видань, усі з яких слабо індексуються всюди і регулярно повертаються як не знайдені, хоча є цілком справжніми. Не знайдено, це привід перевірити вручну, ніколи не вердикт. Наведені нижче ручні кроки, це те, що ви застосовуєте до всього, що автоматична перевірка не змогла вирішити.

Перевірте кожен DOI перед поданням

DOI, Digital Object Identifier, має вести рівно до одного запису через розв'язувач doi.org. Додайте DOI зі свого списку літератури до розв'язувача, і робочий DOI відкриє сторінку видавця саме для цієї статті. DOI, який веде до не пов'язаної статті, до зовсім іншого журналу або взагалі нікуди, є однією з найшвидших перевірок на галюцинацію, тому що модель, яка вигадує цитату, зазвичай вигадує для неї правдоподібний рядок DOI, а не використовує справжній.

DOI, який правильно розв'язується, не є автоматичним доказом того, що цитата справжня. Деякі сфабриковані посилання запозичують справжній DOI не пов'язаної статті, який відкривається без помилки і веде до реальної статті, що не має жодного стосунку до твердження, яке вона нібито підтверджує. Читайте сторінку, на яку переходить DOI, а не лише факт, що вона завантажилася.

Зіставте кожен заголовок із реальною базою даних

Шукайте точну назву, у лапках, у базі даних, що охоплює вашу галузь, а не у відкритому вебі. Використовуйте щось на кшталт Crossref, PubMed для біомедичних робіт або власний індекс вашої дисципліни. Якщо ви користуєтеся Crossref, можна застосувати їхній безплатний гостьовий пошук, щоб знайти посилання за назвою та першим автором, або за автором і номером сторінки, якщо ви не певні щодо назви. Це поверне DOI і повні метадані для всього, що є в них у записі. Якщо збігу немає, або якщо у відповідь повертається реальна стаття з цілком іншим набором авторів, можливо, ви бачите другий тип галюцинації, зламаний DOI.

Пошук за назвою виявляє конкретний збій, якого не виявляє перевірка DOI, цитування з робочим, справжнім DOI, прикріпленим до неправильної назви, тому що номер і текст були зібрані окремо і ніколи фактично не звірялися один з одним. Якщо назва в базі даних не збігається з назвою у вашому списку літератури близько, вважайте це вигадкою, доки не зможете пояснити розбіжність, а не друкарською помилкою, яку слід тихо виправити.

Звірте список авторів і рік публікації

Галюциноване цитування часто правильно передає автора і неправильно статтю, тому що реальне, відоме ім'я в галузі, це саме те, що модель, яка шукає правдоподібне цитування, і створить. Пошукайте у власному списку публікацій автора, в тій базі даних, яку ви вже відкрили, рік, зазначений у вашому списку літератури. Якщо цей автор опублікував три статті того року і жодна з них не відповідає вашій назві, цитування дуже ймовірно вигадане, зібране з реального імені та реального року, які насправді ніколи не поєднувалися.

Зворотний шаблон теж трапляється, реальна стаття з правильною назвою, але прикріплена до неправильного року, зазвичай року препринту, а не року остаточної публікації, або конференційна версія, процитована з пізнішим роком журнальної публікації. У суворому сенсі аудиту це не є вигадкою, але обидва випадки спрямовують читача до менеджера цитувань або співавтора, який потім не може знайти те, що ви процитували, і це досить близько до тієї самої проблеми, щоб виправити її під час того самого проходу.

Виявте правдоподібну, але вигадану назву журналу

Вигадана назва журналу створена так, щоб звучати точно як справжня: правдоподібна галузь, правдоподібний прикметник, назва, достатньо близька до реального журналу, щоб ніхто не зупинився перевірити її. "The Journal of Applied Cognitive Studies" є вигаданою; "The Journal of Applied Psychology" і "Journal of Cognitive Science" обидва існують, а назва, що поєднує частини цих двох, сприймається як знайома саме з цієї причини.

Шукайте назву журналу окремо, у лапках, і перевіряйте власну сторінку журналу на сайті видавця та чинний ISSN, а не лише результат на якомусь іншому сайті, що цитує той самий запис. Справжній журнал має головну сторінку, де вказано редактора, поточний том і номер, а також легітимний ISSN, зареєстрований за ним. Назва без сторінки видавця, без ISSN і без жодної іншої статті, що посилається на матеріали з нього, є найочевиднішою ознакою в усьому аудиті того, що посилання не існує.

Перетворіть аудит вигаданих цитувань на відтворюваний контрольний список

Виконуйте ці перевірки послідовно, для кожного посилання, перш ніж список вважати остаточним. Порядок має менше значення, ніж охоплення всіх чотирьох, цитата може пройти одну перевірку і все одно не пройти іншу.

Перевірка	Що вона виявляє
Розв'язання DOI	DOI, що веде в нікуди, або до нерелевантної статті
Зіставлення назви з базою даних	Справжній DOI, прикріплений до неправильної назви, або назва, що взагалі не дає результату
Перехресна перевірка автора і року	Ім'я справжнього автора, прикріплене до статті, яку він не писав у той рік
Перевірка назви журналу	Назва, що звучить правдоподібно, але без ISSN, без сторінки видавця і без реального існування

AI citation checker від TextPulse AI citation checker автоматично виконує варіант цього проходу по всьому списку літератури, швидше, ніж проходити вручну через кожну з чотирьох перевірок у довгій бібліографії, хоча все одно варто самостійно читати те, що він позначає, а не приймати чи відхиляти позначку на довірі. Для етапу DOI зокрема, спеціалізований конвертер DOI у посилання заощаджує окремий перехід до resolver для кожного запису по одному.

Чиста бібліографія є однією з кількох перевірок перед тим, як рукопис буде надіслано. Зниження AI score для подання до журналу розглядається окремо, і так само окремо розглядається the response to reviewers letter, що йде після нього.

Усе це не замінює ще одного прочитання власної роботи перед поданням. Якщо після перевірки фактів якийсь розділ усе ще читається як загальний, AI humanizer може згладити прозу, не торкаючись жодної цитати, а guide to humanizing AI text in academic writing від TextPulse описує цей прохід розділ за розділом. Список літератури, який коректно розв'язується, і рукопис, що читається як ваш власний голос, це дві окремі перевірки, які варто виконувати одна за одною, а не покладатися на те, що одна покриє іншу.