Почему аннотации, написанные AI, описывают несуществующие статьи

Руководитель десять раз подряд читает одну и ту же структуру предложения, открывая аннотированную библиографию, читая ее вслух, страницу за страницей: This study examines the relationship between X and Y, using a sample of participants to explore Z, finding that further research is needed. Все записи читаются бегло. Два из двенадцати источников, найденных по названию, не существуют.

Сгенерированные AI ложные цитаты в библиографиях редко выдают себя в строке ссылки. Сфабрикованное имя автора и сфабрикованное название журнала могут выглядеть в точности как настоящие, пока кто-то не начнет их искать. То, что чаще всего выдает подделку, почти всегда, это аннотация под ней: абзац, достаточно уверенный, чтобы подробно описывать метод и результаты статьи, которой никогда не было.

Как распознать сгенерированные AI ложные цитаты в библиографиях

Сначала прочитайте аннотацию, а уже потом строку ссылки. Сама по себе цитата, автор, год, журнал, DOI, это все небольшие структурированные шаблоны, которые языковая модель видела тысячи раз, и они могут выглядеть верно случайно или по памяти, даже если за ними нет ничего реального. Аннотация же должна говорить что-то о том, что именно эта конкретная статья действительно сделала, причем с такой детализацией, чтобы можно было либо установить, правда это или нет. Если модель не извлекает и не читает источник, она не сможет делать это надежно, и результат проявится как общая расплывчатость задолго до того, как мы дойдем до проверки DOI.

Почему аннотация выдает больше, чем цитата

Сфабрикованная цитата, это догадка, замаскированная под ссылку: правдоподобный автор, правдоподобный журнал, строка, похожая на DOI, с нужным числом цифр. Сфабрикованная аннотация, это догадка, замаскированная под понимание, а понимание гораздо труднее убедительно подделать в пределах целого абзаца. Модель должна определиться с выборкой, методом и направлением вывода, и каждая из этих деталей, это место, где реальная статья может ей противоречить.

Это также причина, по которой аннотацию читателю легче проверить, чем простую ссылку. Ссылка оформляется одинаково, независимо от того, является ли источник реальным, поэтому одна лишь её форма не выдаёт никакой информации. Аннотация делает конкретное утверждение о конкретном содержании, поэтому оно либо подтверждается самим текстом статьи, либо нет, и несколько минут с реальным абстрактом позволяют установить, что именно.

Что пишет модель, когда она никогда на самом деле не читала статью

Попросите языковую модель аннотировать источник, о котором у неё есть только заголовок и приблизительная тема, и она не откажется и не станет оговариваться. Она предсказывает абзац, который, вероятно, содержала бы статья с таким заголовком, построенный из тысяч похожих абстрактов, увиденных в ходе обучения, и возвращает его в том же уверенном регистре, который использовала бы для статьи, которую могла бы цитировать строка за строкой.

Это читается как среднее от всего, что когда-либо было написано по этой теме. Честное резюме исследования о сне и памяти назовёт вам реальных участников исследования, реальный использованный тест и реальный сообщённый размер эффекта. Выдуманное резюме сказало бы, что исследование изучало, насколько хорошо люди спали и какова была их память, и обнаружило, что между ними существует сильная связь. Оно достаточно общее, чтобы так же удобно поместиться и под другим, не связанным с ним заголовком.

Что проверять	Подлинная аннотация обычно содержит это	Сфабрикованная обычно содержит вместо этого это
Числа	Конкретный размер выборки, размер эффекта или процент, соответствующий реальному абстракту	Нет чисел, либо круглая, непроверяемая величина, которая нигде не встречается в фактическом источнике
Метод	Названный фактический метод, конкретный тест, дизайн или набор данных	Расплывчатое указание на "исследование" или "анализ" без названного метода
Ограничения	Одно ограничение, которое сами авторы указали и которое специфично для их дизайна	Общее ограничение, верное почти для любой статьи в данной области
Соответствие ссылки	Цитата ведет к реальной записи, название которой совпадает с аннотацией	Ссылка не открывается либо ведет к другой, не связанной с этим статье

Ни одна из этих проверок не требует чтения всей статьи. Для них нужно открыть ее один раз, на достаточно долгое время, чтобы увидеть, действительно ли конкретные утверждения в аннотации присутствуют в абстракте.

Почему для оценки доли сфабрикованного нужен номер версии модели и дата

Масштаб проблемы измеряется, хотя сами измерения не совпадают друг с другом, потому что они никогда не измеряли одно и то же. Проверяя ChatGPT-3.5 и ChatGPT-4 на тех же 42 академических темах в один и тот же день в 2023 году, исследователи обнаружили, что 55 процентов цитат GPT-3.5 были полностью сфабрикованы, против 18 процентов у GPT-4. Те же запросы, те же исследователи, тот же день, изменилась только модель, и доля снизилась на две трети.

Отдельное исследование, в котором проверялись не вымышленные факты из кейсов, а библиографические ссылки, показало, что ChatGPT-4 ошибался в 58 percent случаев на проверяемых вопросах о реальных делах федеральных судов, а Llama 2 ошибался в 88 percent случаев, в исследовании, опубликованном в 2024. Эта цифра описывает другую задачу на других моделях и не должна усредняться с приведёнными выше числами по фабрикации ссылок в одну общую долю. В чём оба исследования согласны, так это в характере проблемы: процент без указанной версии модели и даты не описывает ничего конкретного. Более широкий паттерн, охватывающий шесть таких исследований за период с 2023 по 2026, представляет собой отдельную тему: does ChatGPT make up references рассматривает её полностью. Для библиографии в узком смысле важно более ограниченное: выдаёт ли аннотация фабрикацию до того, как кто-либо проверит DOI.

Как проверить каждую запись в аннотированной библиографии, составленной AI

Начните со строки ссылки: найдите точное название в Google Scholar или на собственном сайте журнала и считайте DOI неподтверждённым, пока он действительно не откроется на это название, поскольку сфабрикованная ссылка может содержать DOI, ведущий к реальной, но не связанной с ней статье другого автора. AI citation checker, который сопоставляет каждую запись с реальной научной базой данных автоматизирует этот поиск, вместо того чтобы оставлять ручную проверку для каждого отдельного источника.

Затем проверьте аннотацию по самому источнику, а не по тому, насколько убедительно она звучит. Откройте реферат и подтвердите, что выборка, метод и вывод, которые утверждает аннотация, действительно в нём присутствуют. Бесплатный генератор аннотированной библиографии, который опирает каждое резюме на собственный реферат статьи, а не составляет его по памяти, показывает, как выглядит по-настоящему основанная на источнике аннотация рядом с той, которая таковой не является.

Для записей, которые проходят проверку, citing ChatGPT in APA и citing ChatGPT in MLA изложены по шагам.

Ничто из этого не меняет того, как вы оформляете запись после того, как подтвердили, что она реальна. Как цитировать ChatGPT это отдельный вопрос, который полностью рассматривается для APA, MLA, Chicago и IEEE, а генератор цитирования оформляет обычную ссылку одинаково независимо от стиля. Ни один из них не выявляет аннотацию, описывающую работу, которую никто не писал, достаточно беглую, чтобы никто не подумал проверить.