De ce adnotările scrise de AI descriu lucrări care nu există

Un supervizor citește aceeași structură de propoziție de zece ori la rând, deschizând o bibliografie adnotată, citind-o cu voce tare, pagină după pagină: Acest studiu examinează relația dintre X și Y, folosind un eșantion de participanți pentru a explora Z, constatând că este nevoie de cercetări suplimentare. Toate intrările se citesc fluent. Două dintre cele douăsprezece surse, căutate după titlu, nu există.

Citațiile fabricate de AI în bibliografii rareori se anunță în linia de referință. Un nume de autor fabricat și un jurnal fabricat pot arăta exact ca unele reale până când cineva le caută. Ceea ce trădează mai întâi fabricația, aproape de fiecare dată, este adnotarea de dedesubt: un paragraf suficient de sigur pe sine încât să descrie în detaliu metoda și rezultatele unei lucrări, pentru o lucrare care nu a fost niciodată scrisă.

Cum să identifici citațiile fabricate de AI în bibliografii

Citește adnotarea înaintea liniei de referință. O citație în sine, un autor, un an, un jurnal, un DOI sunt toate mici tipare structurate pe care un model lingvistic le-a văzut de mii de ori și pot părea corecte prin întâmplare sau prin memorare, chiar dacă nu există nimic real în spatele lor. O adnotare, pe de altă parte, trebuie să spună ceva despre ce a făcut cu adevărat acea lucrare specifică, cu suficient detaliu încât să poți afla dacă este adevărat sau fals. Dacă un model nu recuperează sau nu citește sursa, nu va putea face acest lucru în mod fiabil, iar rezultatul va apărea ca generalitate mult înainte să ajungem vreodată să verificăm DOI-ul.

De ce adnotarea trădează mai mult decât o face citația

O citație fabricată este o presupunere deghizată în referință: un autor plauzibil, un jurnal plauzibil, un șir cu aspect de DOI, cu numărul corect de cifre. O adnotare fabricată este o presupunere deghizată în înțelegere, iar înțelegerea este mult mai greu de falsificat convingător pe parcursul unui paragraf întreg. Modelul trebuie să se angajeze la un eșantion, o metodă și o direcție a concluziei, iar fiecare dintre aceste detalii este un loc în care o lucrare reală îl poate contrazice.

Acesta este și motivul pentru care o adnotare este mai ușor de verificat de către un cititor decât o simplă citare. O referință este formatată la fel, indiferent dacă sursa este reală sau nu, astfel încât forma ei singură nu divulgă nicio informație. O adnotare face o afirmație specifică despre un conținut specific, deci fie este susținută de articolul real, fie nu este, iar câteva minute cu rezumatul real lămuresc care dintre aceste situații este valabilă.

Ce scrie un model când nu a citit niciodată efectiv articolul

Întreabă un model de limbaj să adnoteze o sursă pentru care are doar un titlu și un subiect aproximativ, iar acesta nu va refuza și nu va formula rezerve. El prezice paragraful pe care probabil l-ar conține un articol cu acel titlu, construit din mii de rezumate similare văzute în timpul antrenării, și îl returnează în același registru sigur pe sine pe care l-ar folosi pentru un articol pe care l-ar putea cita linie cu linie.

Se citește ca media a tot ceea ce a fost scris vreodată în apropierea acelui subiect. Un rezumat onest al unui studiu despre somn și memorie îți va da numele real al participanților la studiu, testul real folosit și dimensiunea reală a efectului raportat. Un rezumat inventat ar spune că studiul a analizat cât de bine au dormit oamenii și memoria lor și a constatat că exista o legătură puternică între ele. Este suficient de generic încât să se potrivească la fel de bine și sub un alt titlu, fără legătură.

Ce trebuie verificat	O adnotare autentică are de obicei acest lucru	Una fabricată are de obicei acest lucru în schimb
Numere	O dimensiune specifică a eșantionului, o mărime a efectului sau un procent care corespunde rezumatului real	Niciun număr, sau o valoare rotundă, neverificabilă, care nu apare nicăieri în sursa reală
Metodă	Metoda reală numită: un test, un design sau un set de date specific	O trimitere vagă la "un studiu" sau "o analiză", fără a numi vreo metodă
Limitări	O limitare pe care autorii înșiși au ridicat-o, specifică designului lor	O limitare generică, adevărată pentru aproape orice lucrare din domeniu
Potrivirea referinței	Citația conduce la o înregistrare reală al cărei titlu corespunde adnotării	Referința nu se rezolvă sau se rezolvă către o altă lucrare, fără legătură

Niciuna dintre aceste verificări nu necesită citirea întregii lucrări. Ele necesită deschiderea ei o singură dată, suficient de mult pentru a vedea dacă afirmațiile specifice din adnotare apar de fapt în rezumat.

De ce o rată de fabricație are nevoie de o versiune a modelului și de o dată

Amploarea problemei este măsurată, deși măsurătorile nu coincid între ele, pentru că nu au măsurat niciodată același lucru. Testând ChatGPT-3.5 și ChatGPT-4 pe aceleași 42 de subiecte academice în aceeași zi din 2023, cercetătorii au constatat că 55 la sută dintre citările lui GPT-3.5 erau fabricate integral, față de 18 la sută pentru GPT-4. Aceleași prompturi, aceiași cercetători, aceeași zi, doar modelul s-a schimbat, iar rata a scăzut cu două treimi.

Un studiu separat, care a testat fapte de caz halucinate, nu citări bibliografice, a constatat că ChatGPT-4 a greșit în 58 percent din cazuri la întrebări verificabile despre cauze reale din instanțele federale, iar Llama 2 a greșit în 88 percent din cazuri, în cercetarea publicată în 2024. Această cifră descrie o sarcină diferită, pe modele diferite, și nu ar trebui mediată cu cifrele privind fabricarea citărilor de mai sus într-o singură rată de titlu. Ceea ce ambele studii admit este forma problemei: un procent fără o versiune a modelului și fără o dată atașată nu descrie nimic specific. Modelul mai larg, pe șase astfel de studii care acoperă perioada 2023 până în 2026, este un subiect în sine: does ChatGPT make up references îl tratează în întregime. Ceea ce contează în mod specific pentru o bibliografie rămâne mai restrâns: dacă adnotarea dezvăluie fabricația înainte ca cineva să verifice DOI.

Cum să verifici fiecare intrare dintr-o bibliografie adnotată redactată cu AI

Începeți cu linia de referință: căutați titlul exact în Google Scholar sau pe site-ul propriu al revistei și tratați un DOI ca neconfirmat până când chiar rezolvă către acel titlu, deoarece o citare fabricată poate purta un DOI care duce la un articol real, dar fără legătură, al altcuiva. An AI citation checker that resolves each entry against a real scholarly database automatizează această căutare, în loc să o lase la o verificare manuală pentru fiecare sursă în parte.

Apoi verificați adnotarea în raport cu sursa însăși, nu în raport cu cât de convingătoare sună. Deschideți rezumatul real și confirmați că eșantionul, metoda și constatarea pe care le revendică adnotarea sunt într-adevăr acolo. A free annotated bibliography generator that grounds every summary in the paper's own abstract, în loc să compună unul din memorie, arată cum arată alături o adnotare cu adevărat fundamentată în sursă și una care nu este.

Pentru intrările care trec de audit, citing ChatGPT in APA și citing ChatGPT in MLA sunt prezentate fiecare pas cu pas.

Nimic din toate acestea nu schimbă modul în care formatați o intrare după ce ați confirmat că este reală. Cum să citați ChatGPT însuși este o întrebare separată, tratată integral pentru APA, MLA, Chicago și IEEE, iar un generator de citări formatează referința obișnuită în același mod, indiferent de stil. Ceea ce nu surprinde niciunul dintre ele este o adnotare care descrie o lucrare pe care nimeni nu a scris-o, suficient de fluentă încât nimeni să nu se fi gândit să verifice.