Citații halucinate: auditați lucrarea înainte de trimitere

În iunie 2023, un judecător federal din New York a sancționat doi avocați pentru depunerea unui memoriu construit pe baza a cel puțin șase cauze judecătorești care nu existau. Steven Schwartz îi ceruse lui ChatGPT precedent relevant, primise nume de cauze și raționamente citate care păreau toate plauzibile și depusese memoriul fără să deschidă el însuși nicio cauză. Judecătorul P. Kevin Castel i-a aplicat o amendă de cinci mii de dolari și a dispus trimiterea unei scrisori către fiecare judecător real al cărui nume fusese atașat unei opinii fabricate.

O listă de referințe poate ajunge în aceeași situație. Soluția este un audit al citărilor halucinate, efectuat pe propria listă de referințe înainte ca un editor, un coordonator sau un evaluator să îl facă pentru dumneavoastră. Aceasta nu este doar o problemă cauzată de redactarea cu un chatbot. O citare reținută din memorie care nu a existat niciodată cu adevărat, un titlu de coautor copiat puțin greșit sau un preprint care și-a schimbat citarea finală după acceptare pot lăsa în lista de referințe același tip de lacună pe care o lasă una fabricată. Auditul de mai jos le depistează pe toate, indiferent de modul în care a ajuns acolo fiecare intrare.

Cât de frecventă este, de fapt, o citare halucinată?

Intervalul depinde în mare măsură de modelul care a produs schița. Walters și Wilder, publicând în Scientific Reports în 2023, au testat liste de referințe generate de GPT-3.5 și GPT-4 în raport cu cerințe reale de scriere academică: 636 de citări extrase din 84 de liste de referințe generate de AI, câte 42 pentru fiecare model. Cincizeci și cinci la sută dintre citările GPT-3.5 au fost complet fabricate, față de 18 la sută pentru GPT-4. Chiar și cele reale nu erau neapărat curate: 43 la sută dintre citările autentice ale GPT-3.5 și 24 la sută dintre cele ale GPT-4 conțineau totuși o eroare substanțială undeva în autor, titlu, an sau publicație.

Cercetarea juridică privind citările generate de AI arată o rată de eșec și mai mare, dar acea lucrare măsoară un alt tip de eșec, hotărâri de caz halucinate, nu referințe bibliografice fabricate, astfel încât cifra nu este una care să poată fi importată într-un context academic. Ceea ce au în comun ambele domenii este cauza de fond, un model care produce o citare plauzibilă optimizează pentru felul în care arată de obicei o citare, nu pentru dacă aceasta există cu adevărat. Propriul material al TextPulse despre dacă ChatGPT inventează referințe se concentrează în mod specific pe acel chatbot, această verificare funcționează indiferent de instrumentul, sau de memoria coautorului, care a produs intrarea din fața dumneavoastră.

Ce au constatat auditurile la scară de literatură din 2026

Aceste rate la nivel de model descriu ceea ce iese dintr-un chatbot. O întrebare separată, și cea care contează pentru oricine depune un manuscris la o revistă, este cât de des supraviețuiește o referință fabricată tuturor verificărilor dintre un draft și un articol publicat. Două audituri publicate la o zi distanță în mai 2026 au răspuns la această întrebare la scara literaturii, iar răspunsul este că eșecul nu mai este rar.

Un audit publicat în The Lancet a verificat referințele din aproximativ 2,5 milioane de articole biomedicale din PubMed Central Open Access, acoperind perioada ianuarie 2023 până în februarie 2026. Câteva mii de referințe indicau lucrări care nu există, răspândite în peste 2.800 de articole publicate. Tendința contează mai mult decât totalul.

Perioadă	Articole cu cel puțin o referință fabricată	La 10.000 de articole
2023	1 din 2.828	3.5
2025	1 din 458	21.8
2026, primele șapte săptămâni	1 din 277	36.1

Aceasta reprezintă aproximativ o creștere de zece ori pe parcursul a trei ani, iar cifra din 2026 este extrasă din șapte săptămâni, nu dintr-un an întreg, astfel încât este o lectură timpurie, nu o rată anuală stabilizată. Ceea ce stabilește este că referințele fabricate ajung în tipar în reviste evaluate inter pares, după ce au trecut de autori, coautori, editori și evaluatori pe parcurs.

Studiul însoțitor, Zhao și colaboratorii despre citările inexistente, a lărgit analiza la 111 milioane de referințe din arXiv, bioRxiv, SSRN și PubMed Central și a stabilit un prag conservator de 146,932 de citări halucinate numai pentru 2025. Concluzia sa mai utilă privește distribuția, nu volumul: referințele fabricate se concentrează în domenii cu adoptare rapidă a AI și în rândul echipelor mici și al autorilor aflați la început de carieră. Dacă sunteți un autor singur sau un grup mic fără un birou de cercetare care să vă verifice bibliografia, vă aflați în grupul în care acest lucru merge cel mai des prost, ceea ce este un argument pentru a face singur auditul, în loc să presupuneți că cineva din aval o va face.

Care modele fabrică cel mai mult și ce reduce de fapt acest fenomen

Răspunsul onest este că nu există niciun benchmark public riguros care să clasifice modelele majore de astăzi unele față de altele în mod specific după fabricarea citărilor. Circulă comparații informale de mică amploare, de obicei câteva zeci de referințe trecute manual prin doi sau trei chatbots, iar eșantioanele sunt prea mici pentru a susține o clasificare între ele. A trata una dintre acestea ca pe un clasament este modul în care o afirmație sigură și greșită ajunge într-un articol.

Ceea ce se susține este comparația între generații din datele Walters și Wilder de mai sus, unde modelul mai nou a fabricat aproximativ de o treime mai rar decât cel mai vechi.

Model testat	Citări fabricate integral	Citări autentice care păstrează totuși o eroare substanțială
GPT-3.5	55%	43%
GPT-4	18%	24%

Trei tipare se repetă în literatură și merită mai mult decât orice clasament singular. Modelele mai mari fabrică mai puțin decât cele mai mici. Modelele care pot într-adevăr să caute și să recupereze surse fabrică substanțial mai puțin decât modelele care răspund doar din parametrii lor, acesta fiind cel mai mare efect măsurat de cineva. Iar sursele obscure sunt mult mai riscante decât cele bine cunoscute, deoarece o lucrare intens citată apare suficient de des în datele de antrenare pentru a fi reprodusă corect, în timp ce una de nișă este mai probabil să fie reconstruită din fragmente.

Lectura practică este că niciun model nu este suficient de sigur pentru a sări peste verificare, iar intrările cel mai probabil să fie greșite sunt exact cele pe care le puteți verifica cel mai puțin din memorie, citarea de specialitate, lucrarea obscură de conferință, sursa adăugată ultima.

Ce detectează o verificare automată și unde se oprește

Rularea listei printr-un verificator mai întâi este mai rapidă decât rezolvarea manuală a patruzeci de DOI, iar verificatorul gratuit de citări AI al acestui site face exact acest lucru în raport cu Crossref, OpenAlex și Semantic Scholar. Merită să știți ce face prost această clasă de instrumente înainte să vă bazați pe unul.

O evaluare din 2026 a cinci detectoare de citări halucinate, Badalova și Mayr, a constatat că oferă avertismente timpurii utile, dar rămân limitate de patru lucruri, extragerea curată a referințelor dintr-un document, metadatele incomplete din chiar intrarea respectivă, acoperirea fragmentară a bazelor de date și registrele care nu sunt de acord între ele. Doar primul dintre acestea dispare atunci când lipiți o listă în loc să încărcați un PDF.

Consecința pentru propria dumneavoastră verificare este o regulă privind interpretarea. Un verificator este cel mai puternic la constatarea care contează cel mai mult, un DOI care se rezolvă la o lucrare diferită de cea pretinsă de înregistrare, ceea ce este aproape concludent. Este cel mai slab la cărți, capitole, teze, lucrări din volume de conferință, lucrări foarte recente și publicații în alte limbi decât engleza, toate fiind indexate superficial peste tot și revenind în mod obișnuit ca neidentificate, deși sunt perfect autentice. Neidentificat este un indiciu pentru verificare manuală, niciodată un verdict. Pașii manuali de mai jos sunt cei pe care îi aplicați oricărui lucru pe care trecerea automată nu l-a putut stabili.

Rezolvați fiecare DOI înainte de a trimite

Un DOI, un Digital Object Identifier, ar trebui să se rezolve la exact o înregistrare prin resolverul doi.org. Adăugați DOI-ul din lista de referințe la resolver, iar unul funcțional ajunge pe pagina editorului pentru acel articol exact. Un DOI care se rezolvă la un articol fără legătură, la un jurnal cu totul diferit sau la nimic este una dintre cele mai rapide verificări ale halucinației disponibile, deoarece un model care inventează o citare inventează de obicei și un șir DOI care pare plauzibil, în loc să refolosească unul real.

Un DOI care se rezolvă corect nu este o dovadă automată că citarea este autentică. Unele referințe fabricate împrumută DOI-ul real al unei lucrări fără legătură, care se rezolvă fără eroare și indică spre un articol real care nu are nicio legătură cu afirmația pe care ar susține-o. Citiți pagina la care ajunge DOI-ul, nu doar faptul că s-a încărcat.

Potriviți fiecare titlu cu o bază de date reală

Căutați titlul exact, între ghilimele, într-o bază de date care acoperă domeniul dumneavoastră, nu pe webul deschis. Folosiți ceva precum Crossref, PubMed pentru lucrări biomedicale sau propriul index al disciplinei dumneavoastră. Dacă folosiți Crossref, puteți utiliza căutarea lor gratuită pentru invitați ca să căutați o referință după titlu și primul autor, sau după autor și numărul paginii dacă nu sunteți sigur de titlu. Aceasta va returna DOI și metadatele complete pentru orice au înregistrat. Dacă nu există nicio potrivire sau dacă ceea ce apare este o lucrare reală cu un set complet diferit de autori, este posibil să vedeți al doilea tip de halucinație, un DOI defect.

O căutare după titlu surprinde o anumită eroare pe care o verificare a DOI nu o surprinde, o citare cu un DOI real și funcțional atașat titlului greșit, deoarece numărul și textul au fost alcătuite separat și nu au fost niciodată verificate efectiv unul față de celălalt. Dacă titlul din baza de date nu se potrivește îndeaproape cu titlul din lista dumneavoastră de referințe, tratați acest lucru ca pe o fabricație până când puteți explica neconcordanța, nu ca pe o greșeală de tipar care trebuie corectată în tăcere.

Verificați încrucișat lista de autori și anul publicării

O citare halucinată adesea nimerește corect autorul și greșește lucrarea, deoarece un nume real și proeminent din domeniu este exact ceea ce va produce un model care caută o citare plauzibilă. Căutați lista de publicații a autorului, în baza de date pe care o aveți deja deschisă, pentru anul pe care îl indică lista dumneavoastră de referințe. Dacă acel autor a publicat trei lucrări în acel an și niciuna nu se potrivește cu titlul dumneavoastră, citarea este foarte probabil inventată, construită dintr-un nume real și un an real care nu au aparținut niciodată împreună.

Se vede și modelul invers, o lucrare reală, cu titlu corect, atașată anului greșit, de obicei anul unui preprint, nu anul publicării finale, sau o versiune de conferință citată cu anul ulterior de publicare al revistei. Niciuna nu este fabricație în sensul strict al auditului, dar ambele trimit cititorul la un manager de citări sau la un coautor care apoi nu poate găsi ceea ce ați citat, suficient de aproape de aceeași problemă încât să fie corectată în aceeași trecere.

Identificați un nume de jurnal plauzibil, dar inventat

Un nume de jurnal inventat este construit să sune exact ca unul real: un domeniu plauzibil, un adjectiv plauzibil, un nume suficient de apropiat de un jurnal real încât nimeni să nu se oprească să verifice. "The Journal of Applied Cognitive Studies" este inventat, "The Journal of Applied Psychology" și "Journal of Cognitive Science" există ambele, iar un nume care lipește împreună părți din cele două pare familiar tocmai din acest motiv.

Căutați numele jurnalului separat, între ghilimele, și urmăriți pagina de jurnal a propriului editor și un ISSN curent, nu doar un rezultat pe alt site care citează aceeași referință. Un jurnal real are o pagină principală care listează un editor, un volum și un număr curente și un ISSN legitim înregistrat pentru el. Un nume fără pagină a editorului, fără ISSN și fără alt articol care să citeze lucrări din el este cel mai clar semn din întregul audit că referința nu există.

Transformați auditul citării halucinate într-o listă de verificare repetabilă

Rulați aceste verificări în ordine, pentru fiecare referință, înainte ca lista să fie considerată finală. Ordinea contează mai puțin decât acoperirea tuturor celor patru, o citare poate trece o verificare și totuși să eșueze la alta.

Verificare	Ce depistează
Rezolvarea DOI	Un DOI care nu duce nicăieri sau la un articol fără legătură
Potrivirea titlu-bază de date	Un DOI real atașat titlului greșit sau un titlu care nu returnează niciun rezultat
Verificarea încrucișată autor-plus-an	Numele unui autor real atașat unei lucrări pe care nu a scris-o în acel an
Verificarea numelui jurnalului	Un jurnal cu nume plauzibil, dar fără ISSN, fără pagină a editorului și fără existență reală

Verificatorul de citări AI al TextPulse AI citation checker rulează automat o versiune a acestei etape pe o listă completă de referințe, mai rapid decât parcurgerea manuală a fiecăreia dintre cele patru verificări într-o bibliografie lungă, deși merită totuși să citiți singur ce semnalează, în loc să acceptați sau să respingeți un semnal pe încredere. Pentru etapa DOI în mod specific, un convertor DOI în citare dedicat economisește deplasarea la resolver pentru fiecare intrare, una câte una.

O bibliografie curată este una dintre mai multe verificări înainte ca un manuscris să fie trimis. Reducing an AI score for journal submission este tratat separat, la fel și the response to reviewers letter care urmează după acesta.

Nimic din toate acestea nu înlocuiește citirea încă o dată a propriei lucrări înainte de a o trimite. Dacă o secțiune încă sună generic după ce faptele sunt corecte, un AI humanizer poate netezi proza fără a atinge nicio citare, ghidul TextPulse guide to humanizing AI text in academic writing acoperă această etapă secțiune cu secțiune. O listă de referințe care se rezolvă curat și un manuscris care sună ca propria dumneavoastră voce sunt două verificări separate, care merită rulate una după alta, în loc să vă bazați pe una pentru a o acoperi pe cealaltă.