Zahallucynowane cytowania: sprawdź swój artykuł przed złożeniem

W czerwcu 2023 roku federalny sędzia w Nowym Jorku ukarał dwóch adwokatów za złożenie pisma opartego na co najmniej sześciu sprawach sądowych, które nie istniały. Steven Schwartz poprosił ChatGPT o precedensy wspierające jego stanowisko, otrzymał nazwy spraw i przytoczone rozumowanie, które wszystkie brzmiały wiarygodnie, i złożył pismo, nie otwierając samodzielnie ani jednej sprawy. Sędzia P. Kevin Castel nałożył na niego grzywnę w wysokości pięciu tysięcy dolarów i nakazał wysłanie pisma do każdego rzeczywistego sędziego, którego nazwisko zostało przypisane do sfabrykowanej opinii.

Lista bibliograficzna może skończyć w tym samym miejscu. Rozwiązaniem jest audyt sfabrykowanych cytowań przeprowadzony na własnej liście bibliograficznej, zanim zrobi to za Ciebie redaktor, promotor lub recenzent. Nie jest to wyłącznie problem wynikający z pisania z użyciem chatbota. Zapamiętane cytowanie, które nigdy do końca nie istniało, nieznacznie błędnie przepisany tytuł współautora albo preprint, którego ostateczne cytowanie zmieniło się po akceptacji, mogą pozostawić w liście bibliograficznej dokładnie taką samą lukę jak cytowanie sfabrykowane. Poniższy audyt wykrywa wszystkie te przypadki, niezależnie od tego, w jaki sposób pojedynczy wpis się tam znalazł.

Jak powszechne jest sfabrykowane cytowanie, naprawdę?

Zakres w dużej mierze zależy od tego, który model wygenerował szkic. Walters i Wilder, publikując w Scientific Reports w 2023 roku, przetestowali listy bibliograficzne wygenerowane przez GPT-3.5 i GPT-4 w odniesieniu do rzeczywistych akademickich poleceń pisemnych: 636 cytowań zaczerpniętych z 84 wygenerowanych przez AI list bibliograficznych, po 42 dla każdego modelu. Pięćdziesiąt pięć procent cytowań GPT-3.5 było całkowicie sfabrykowanych, wobec 18 procent w przypadku GPT-4. Nawet te prawdziwe nie były koniecznie poprawne: 43 procent rzeczywistych cytowań GPT-3.5 i 24 procent cytowań GPT-4 nadal zawierało istotny błąd w nazwisku autora, tytule, roku lub miejscu publikacji.

Badania prawne nad cytowaniami generowanymi przez AI pokazują jeszcze wyższy wskaźnik niepowodzeń, lecz ta praca mierzy inny rodzaj błędu, zmyślone orzeczenia, a nie sfabrykowane odwołania bibliograficzne, więc tej wartości nie należy przenosić do kontekstu akademickiego. To, co łączy oba obszary, to przyczyna leżąca u podstaw, model tworzący cytowanie brzmiące wiarygodnie optymalizuje to, jak zwykle wygląda cytowanie, a nie to, czy ono rzeczywiście istnieje. Własny tekst TextPulse na temat tego, czy ChatGPT zmyśla odwołania, dotyczy konkretnie tego chatbota, natomiast ten audyt działa niezależnie od tego, które narzędzie, albo która pamięć współautora, wygenerowało wpis, który ma Pan lub Pani przed sobą.

Co wykazały audyty literaturowe z 2026 roku

Te wskaźniki na poziomie modelu opisują to, co wychodzi z chatbota. Osobne pytanie, i to, które ma znaczenie dla każdej osoby składającej tekst do czasopisma, brzmi, jak często sfabrykowane odwołanie przechodzi wszystkie kontrole między szkicem a opublikowanym artykułem. Dwa audyty opublikowane w odstępie jednego dnia w maju 2026 roku odpowiedziały na to pytanie w skali całej literatury, a odpowiedź brzmi, że ten błąd nie jest już rzadki.

Audyt opublikowany w The Lancet sprawdził odwołania w około 2,5 miliona prac biomedycznych w PubMed Central Open Access, obejmując okres od stycznia 2023 do lutego 2026. Kilka tysięcy odwołań wskazywało na prace, które nie istnieją, rozproszonych w ponad 2,800 opublikowanych artykułach. Ważniejszy od łącznej liczby jest trend.

Okres	Artykuły z co najmniej jednym sfabrykowanym odwołaniem	Na 10,000 artykułów
2023	1 na 2,828	3.5
2025	1 na 458	21.8
2026, pierwsze siedem tygodni	1 na 277	36.1

To mniej więcej dziesięciokrotny wzrost w ciągu trzech lat, a liczba z 2026 roku pochodzi z siedmiu tygodni, a nie z pełnego roku, więc jest to wstępny odczyt, a nie ustalona roczna stopa. To, co pokazuje, to fakt, że sfabrykowane odwołania trafiają do druku w czasopismach recenzowanych, przechodząc po drodze przez autorów, współautorów, redaktorów i recenzentów.

Badanie towarzyszące, Zhao i współpracownicy o nieistniejących cytowaniach, rozszerzyło zakres do 111 milionów odwołań w arXiv, bioRxiv, SSRN i PubMed Central oraz ustaliło ostrożną dolną granicę 146,932 zhalucynowanych cytowań tylko dla 2025 roku. Bardziej użyteczny wniosek dotyczy rozmieszczenia, a nie skali: sfabrykowane odwołania skupiają się w dziedzinach o szybkim wdrażaniu AI oraz w małych zespołach autorskich i zespołach na wczesnym etapie kariery. Jeśli jest się samotnym autorem albo małą grupą bez biura badawczego sprawdzającego bibliografię, to właśnie w tej grupie najczęściej dochodzi do takich błędów, co stanowi argument za samodzielnym przeprowadzeniem audytu zamiast zakładania, że zrobi to ktoś na dalszym etapie.

Które modele fabrykują najwięcej i co rzeczywiście to ogranicza

Uczciwa odpowiedź brzmi, że nie istnieje żaden rygorystyczny publiczny benchmark, który porównywałby dzisiejsze główne modele pod kątem fabrykowania cytowań. Krążą niewielkie, nieformalne porównania, zwykle obejmujące kilkadziesiąt odwołań ręcznie przepuszczonych przez dwa lub trzy chatboty, ale próby są zbyt małe, by uzasadnić między nimi ranking. Traktowanie jednego z takich porównań jak tabeli ligowej jest drogą do tego, by pewne i błędne twierdzenie trafiło do artykułu.

To, co się utrzymuje, to porównanie generacyjne w danych Walters i Wildera powyżej, gdzie nowszy model fabrykował mniej więcej o jedną trzecią rzadziej niż starszy.

Testowany model	Cytowania całkowicie sfabrykowane	Rzeczywiste cytowania zawierające nadal istotny błąd
GPT-3.5	55%	43%
GPT-4	18%	24%

Trzy wzorce powtarzają się w całej literaturze i są warte więcej niż jakakolwiek pojedyncza klasyfikacja. Większe modele fabrykują mniej niż mniejsze. Modele, które rzeczywiście potrafią wyszukiwać i pobierać źródła, fabrykują znacząco mniej niż modele odpowiadające wyłącznie na podstawie swoich parametrów, co stanowi pojedynczy największy efekt, jaki ktokolwiek zmierzył. A źródła mało znane są znacznie bardziej ryzykowne niż dobrze znane, ponieważ silnie cytowana praca pojawia się w danych treningowych na tyle często, że może zostać odtworzona poprawnie, podczas gdy niszowa jest bardziej prawdopodobna do zrekonstruowania z fragmentów.

Praktyczny wniosek jest taki, że żaden model nie jest na tyle bezpieczny, by pominąć sprawdzenie, a wpisy najbardziej narażone na błąd to dokładnie te, których najmniej można zweryfikować z pamięci, specjalistyczny cytat, mało znana praca konferencyjna, źródło dodane jako ostatnie.

Co wykrywa automatyczna kontrola i gdzie się kończy

Przepuszczenie listy przez kontroler na początku jest szybsze niż ręczne sprawdzanie czterdziestu DOI, a darmowy AI Citation Checker tej strony robi dokładnie to wobec Crossref, OpenAlex i Semantic Scholar. Warto wiedzieć, co ten rodzaj narzędzia robi źle, zanim zacznie się z niego korzystać.

Ocena z 2026 roku pięciu detektorów sfabrykowanych cytowań, Badalova and Mayr, wykazała, że dostarczają one użytecznych wczesnych ostrzeżeń, ale pozostają ograniczone przez cztery czynniki: poprawne wyodrębnianie bibliografii z dokumentu, niepełne metadane w samym wpisie, nierównomierne pokrycie baz danych oraz rejestry, które nie zgadzają się ze sobą. Tylko pierwszy z tych czynników znika, gdy wkleja się listę zamiast przesyłać plik PDF.

Konsekwencją dla własnego audytu jest zasada interpretacji. Sprawdzarka jest najsilniejsza w wykrywaniu tego, co ma największe znaczenie, DOI, który prowadzi do innej pracy niż ta wskazana w rekordzie, co jest niemal rozstrzygające. Jest najsłabsza w przypadku książek, rozdziałów, prac dyplomowych, materiałów konferencyjnych, bardzo nowych prac i źródeł nieanglojęzycznych, które wszędzie są słabo indeksowane i regularnie zwracają wynik nieznaleziono, mimo że są całkowicie autentyczne. Nieznaleziono to sygnał do ręcznej weryfikacji, nigdy werdykt. Poniższe kroki manualne stosuje się do wszystkiego, czego nie udało się rozstrzygnąć w przebiegu automatycznym.

Rozwiąż każdy DOI przed wysłaniem

DOI, czyli Digital Object Identifier, powinien prowadzić dokładnie do jednego rekordu za pośrednictwem resolvera doi.org. Wystarczy dodać DOI z listy bibliograficznej do resolvera, a działający DOI otworzy stronę wydawcy dla dokładnie tego artykułu. DOI, który prowadzi do niepowiązanego artykułu, całkiem innego czasopisma albo nigdzie nie prowadzi, jest jednym z najszybszych dostępnych testów na halucynację, ponieważ model wymyślający cytowanie zwykle wymyśla do niego również ciąg DOI, który wygląda wiarygodnie, zamiast użyć prawdziwego.

DOI, który rozwiązuje się poprawnie, nie stanowi automatycznego dowodu, że cytowanie jest autentyczne. Niektóre sfabrykowane odwołania zapożyczają prawdziwy DOI z niepowiązanej pracy, który otwiera się bez błędu i prowadzi do rzeczywistego artykułu, niemającego nic wspólnego z twierdzeniem, które rzekomo wspiera. Należy przeczytać stronę, do której prowadzi DOI, a nie tylko stwierdzić, że się otworzyła.

Porównaj każdy tytuł z rzeczywistą bazą danych

Wyszukaj dokładny tytuł, w cudzysłowie, w bazie danych obejmującej Twoją dziedzinę, a nie w otwartej sieci. Użyj czegoś takiego jak Crossref, PubMed w przypadku prac biomedycznych albo własnego indeksu danej dyscypliny. Jeśli korzystasz z Crossref, możesz użyć ich bezpłatnego wyszukiwania gościa, aby odszukać pozycję według tytułu i pierwszego autora albo według autora i numeru strony, jeśli nie masz pewności co do tytułu. Zwróci to DOI i pełne metadane dla wszystkiego, co mają w rejestrze. Jeśli nie ma dopasowania albo jeśli to, co wraca, jest rzeczywistą pracą z całkowicie innym zestawem autorów, możesz mieć do czynienia z drugim rodzajem halucynacji, uszkodzonym DOI.

Wyszukiwanie po tytule wykrywa konkretny błąd, którego nie wykrywa sprawdzenie DOI, cytowanie z działającym, prawdziwym DOI przypisanym do niewłaściwego tytułu, ponieważ numer i tekst zostały zestawione osobno i nigdy nie zostały faktycznie ze sobą porównane. Jeśli tytuł w bazie danych nie zgadza się ściśle z tytułem na Twojej liście bibliograficznej, traktuj to jako fałszerstwo, dopóki nie potrafisz wyjaśnić rozbieżności, a nie jako literówkę do cichej poprawy.

Sprawdź ponownie listę autorów i rok publikacji

Zhalucynowane cytowanie często poprawnie podaje autora, a błędnie pracę, ponieważ prawdziwe, znane nazwisko w danej dziedzinie jest właśnie tym, co wygeneruje model sięgający po wiarygodne cytowanie. Przeszukaj własną listę publikacji autora, w bazie danych, którą już masz otwartą, dla roku podanego na Twojej liście bibliograficznej. Jeśli ten autor opublikował w tym roku trzy prace i żadna z nich nie odpowiada Twojemu tytułowi, cytowanie jest bardzo prawdopodobnie wymyślone, zbudowane z prawdziwego nazwiska i prawdziwego roku, które nigdy faktycznie nie wystąpiły razem.

Odwrotny wzorzec pojawia się również, prawdziwa praca, poprawnie zatytułowana, przypisana do niewłaściwego roku, zwykle roku preprintu zamiast roku ostatecznej publikacji, albo wersja konferencyjna cytowana z późniejszym rokiem publikacji czasopisma. Żadne z tych zjawisk nie jest fałszerstwem w ścisłym sensie audytu, ale oba kierują czytelnika do menedżera cytowań albo współautora, który następnie nie może znaleźć tego, co zacytowałeś, na tyle blisko tego samego problemu, by poprawić to podczas tego samego przejścia.

Wykryj wiarygodną, ale wymyśloną nazwę czasopisma

Wymyślona nazwa czasopisma jest skonstruowana tak, aby brzmieć dokładnie jak prawdziwa: wiarygodna dziedzina, wiarygodny przymiotnik, nazwa na tyle zbliżona do rzeczywistego czasopisma, że nikt nie zatrzymuje się, by to sprawdzić. "The Journal of Applied Cognitive Studies" jest nazwą wymyśloną, "The Journal of Applied Psychology" i "Journal of Cognitive Science" rzeczywiście istnieją, a nazwa sklejająca elementy obu brzmi znajomo właśnie z tego powodu.

Wyszukaj nazwę czasopisma samą w sobie, w cudzysłowie, i szukaj własnej strony wydawcy czasopisma oraz aktualnego ISSN, a nie tylko trafienia na innej stronie cytującej to samo odwołanie. Prawdziwe czasopismo ma stronę główną z podanym redaktorem, aktualnym tomem i numerem oraz przypisanym do niego prawidłowym ISSN. Nazwa bez strony wydawcy, bez ISSN i bez żadnego innego artykułu cytującego prace z tego czasopisma jest najjaśniejszym sygnałem w całym audycie, że to odwołanie nie istnieje.

Przekształć swój audyt zmyślonych cytowań w powtarzalną listę kontrolną

Wykonuj te kontrole po kolei, dla każdego odwołania, zanim lista zostanie uznana za ostateczną. Kolejność ma mniejsze znaczenie niż objęcie wszystkich czterech, cytowanie może przejść jedną kontrolę, a mimo to nie przejść innej.

Kontrola	Co wykrywa
Rozwiązanie DOI	DOI, który donikąd nie prowadzi albo prowadzi do niepowiązanego artykułu
Zgodność tytułu z bazą danych	Prawdziwy DOI przypisany do niewłaściwego tytułu albo tytuł, który nie zwraca żadnego wyniku
Weryfikacja autora i roku	Imię i nazwisko prawdziwego autora przypisane do pracy, której nie napisał w danym roku
Weryfikacja nazwy czasopisma	Nazwa czasopisma brzmiąca wiarygodnie, ale bez ISSN, bez strony wydawcy i bez rzeczywistego istnienia

TextPulse's sprawdzacz cytowań AI uruchamia automatycznie wersję tego etapu w całej liście bibliograficznej, szybciej niż ręczne przechodzenie przez każdy z czterech testów w przypadku długiej bibliografii, choć nadal warto samodzielnie przeczytać to, co zostanie oznaczone, zamiast ufać oznaczeniu i je akceptować lub odrzucać bez weryfikacji. W przypadku etapu DOI, specjalny wyszukiwacz DOI do cytowania oszczędza konieczność przechodzenia do resolvera dla każdego wpisu osobno.

Czysta bibliografia jest jednym z kilku testów przed wysłaniem manuskryptu. Obniżanie wyniku AI na potrzeby zgłoszenia do czasopisma jest omówione osobno, podobnie jak list do recenzentów z odpowiedzią, który po nim następuje.

Nic z tego nie zastępuje ponownego przeczytania własnej pracy przed jej wysłaniem. Jeśli jakiś fragment nadal brzmi ogólnikowo po sprawdzeniu faktów, humanizator AI może wygładzić prozę bez naruszania choćby jednego cytowania; przewodnik TextPulse po humanizowaniu tekstu AI w pisaniu akademickim omawia ten etap sekcja po sekcji. Lista bibliograficzna, która poprawnie się rozwiązuje, oraz manuskrypt, który brzmi jak własny głos autora, to dwa odrębne testy, które warto przeprowadzić jeden po drugim, zamiast zakładać, że jeden zastąpi drugi.