Hallucinált hivatkozások: ellenőrizze a dolgozatát benyújtás előtt

2023 júniusában egy New York-i szövetségi bíró két ügyvédet szankcionált, mert olyan beadványt nyújtottak be, amely legalább hat nem létező bírósági ügyre épült. Steven Schwartz a ChatGPT-től kért támogató precedenst, olyan ügyneveket és idézett érvelést kapott, amelyek mind hihetőnek tűntek, majd úgy nyújtotta be a beadványt, hogy egyetlen ügyet sem nyitott meg maga. P. Kevin Castel bíró ötezer dollárra büntette, és levelet rendelt el minden olyan valódi bírónak, akinek a neve egy kitalált véleményhez kapcsolódott.

Egy irodalomjegyzék is ugyanide juthat. A megoldás egy hallucinált hivatkozásellenőrzés, amelyet a saját irodalomjegyzékén futtat le, mielőtt egy szerkesztő, egy témavezető vagy egy bíráló megteszi ezt Ön helyett. Ez nem csupán a chatbot segítségével történő fogalmazásból eredő probléma. Egy emlékezetből felidézett hivatkozás, amely soha nem is létezett pontosan, egy társszerző címének kissé hibás másolása, vagy egy előnyomtatvány, amely elfogadás után megváltoztatta a végleges hivatkozását, mind ugyanazt a fajta hiányt hagyhatja az irodalomjegyzékben, mint egy kitalált hivatkozás. Az alábbi ellenőrzés mindegyiket kiszűri, függetlenül attól, hogy egy-egy bejegyzés hogyan került oda.

Mennyire gyakori valójában egy hallucinált hivatkozás?

A tartomány nagymértékben attól függ, melyik modell készítette a vázlatot. Walters és Wilder, a Scientific Reportsban 2023-ban megjelent tanulmányukban a GPT-3.5 és a GPT-4 által generált irodalomjegyzékeket hasonlították össze valós akadémiai írási feladatokkal: 636 hivatkozást 84 mesterséges intelligencia által generált irodalomjegyzékből, modellenként 42-t. A GPT-3.5 hivatkozásainak 55 százaléka teljesen kitalált volt, szemben a GPT-4 18 százalékával. Még a valódiak sem voltak feltétlenül hibátlanok: a GPT-3.5 valódi hivatkozásainak 43 százaléka és a GPT-4-ének 24 százaléka továbbra is tartalmazott valahol érdemi hibát a szerző, a cím, az év vagy a megjelenési hely tekintetében.

Az AI által generált hivatkozásokról szóló jogi kutatások még magasabb hibaarányt mutatnak, de ez a munka egy másik hibát mér, kitalált ügyállásokat, nem pedig hamisított bibliográfiai hivatkozásokat, ezért ezt az értéket nem lehet átültetni egy akadémiai kontextusba. Ami a két területben közös, az az alapvető ok, egy olyan modell, amely egy hihetőnek hangzó hivatkozást állít elő, arra optimalizál, hogy egy hivatkozás általában hogyan néz ki, nem arra, hogy valóban létezik-e. TextPulse saját írása arról, hogy ChatGPT kitalál-e hivatkozásokat, kifejezetten erre a chatbotra összpontosít, ez az ellenőrzés azonban attól függetlenül működik, hogy melyik eszköz, vagy melyik társszerző emlékezete hozta létre az Ön előtt lévő bejegyzést.

Mit találtak a 2026-os, irodalmi léptékű ellenőrzések

Ezek a modell szintű arányok azt írják le, mi kerül ki egy chatbotból. Egy külön kérdés, és az, amely mindenki számára fontos, aki folyóirathoz nyújt be kéziratot, az, hogy egy hamisított hivatkozás milyen gyakran éli túl az összes ellenőrzést a vázlat és a megjelent tanulmány között. Két, 2026 májusában egymástól egy napon belül közzétett ellenőrzés az irodalom léptékében válaszolta meg ezt, és a válasz az, hogy a hiba már nem ritka.

Egy, a The Lancet folyóiratban megjelent ellenőrzés körülbelül 2.5 millió biomedicinális tanulmány hivatkozásait szűrte át a PubMed Central Open Access anyagában, a 2023 januárjától 2026 februárjáig terjedő időszakot lefedve. Több ezer hivatkozás olyan munkára mutatott, amely nem létezik, több mint 2,800 megjelent tanulmányban szétszórva. A tendencia fontosabb, mint az összesített szám.

Időszak	Legalább egy hamisított hivatkozást tartalmazó tanulmányok	10,000 tanulmányonként
2023	1 in 2,828	3.5
2025	1 in 458	21.8
2026, first seven weeks	1 in 277	36.1

Nagyjából ez három év alatt tízszeres növekedést jelent, és a 2026-os adat hét hétből származik, nem egy teljes évből, ezért ez inkább korai jelzés, mintsem rögzült éves ráta. Az mutatja meg, hogy a kitalált hivatkozások eljutnak a nyomtatásig a lektorált folyóiratokban, miután útközben átmentek a szerzőkön, társszerzőkön, szerkesztőkön és bírálókon.

A kapcsolódó tanulmány, Zhao és munkatársai a nem létező hivatkozásokról, 111 millió hivatkozásra bővítette a vizsgálatot az arXiv, a bioRxiv, az SSRN és a PubMed Central anyagában, és 2025-re önmagában 146,932 hallucinált hivatkozás konzervatív alsó becslését adta. Hasznosabb megállapítása az eloszlásra, nem pedig a mennyiségre vonatkozik: a kitalált hivatkozások azokban a területekben tömörülnek, ahol gyors az AI elterjedése, valamint a kisebb és pályakezdő szerzői csapatoknál. Ha Ön egyedüli szerző, vagy egy kis csoport tagja, amelynek nincs kutatási irodája, amely ellenőrizné a bibliográfiát, akkor abba a csoportba tartozik, ahol ez a leggyakrabban hibázik, és ez amellett szól, hogy Ön maga futtassa le az ellenőrzést, ahelyett hogy feltételezné, hogy majd valaki a folyamat későbbi szakaszában megteszi.

Mely modellek fabrikálnak a legtöbbet, és mi csökkenti ezt valójában

Az őszinte válasz az, hogy nincs olyan szigorú nyilvános benchmark, amely kifejezetten a hivatkozások fabrikálása alapján rangsorolná egymáshoz képest a mai fő modelleket. Kering néhány kisebb, informális összehasonlítás, jellemzően néhány tucat hivatkozást futtatnak át kézzel két vagy három chatboton, de a minták túl szűkösek ahhoz, hogy rangsort lehessen belőlük felállítani. Ha valaki ezek egyikét ranglistaként kezeli, abból lesz egy magabiztos, de hibás állítás egy tanulmányban.

Az viszont megállja a helyét, hogy a Walters és Wilder adataiban látható generációs összehasonlítás szerint az újabb modell nagyjából harmadannyiszor fabrikált, mint az idősebb.

Vizsgált modell	Teljesen fabrikált hivatkozások	Valódi hivatkozások, amelyekben mégis lényegi hiba maradt
GPT-3.5	55%	43%
GPT-4	18%	24%

Három minta ismétlődik az irodalomban, és többet ér bármely egyetlen rangsornál. A nagyobb modellek kevesebbet fabrikálnak, mint a kisebbek. Azok a modellek, amelyek ténylegesen képesek forrásokat keresni és visszakeresni, lényegesen kevesebbet fabrikálnak, mint azok a modellek, amelyek kizárólag a paramétereikből válaszolnak, és ez az egyetlen legnagyobb hatás, amelyet bárki mért. A homályos források pedig sokkal kockázatosabbak, mint a jól ismert források, mert egy sokat idézett cikk elég gyakran szerepel a tanítóadatokban ahhoz, hogy helyesen reprodukálják, míg egy szűkebb körű forrás nagyobb valószínűséggel töredékekből kerül rekonstruálásra.

A gyakorlati tanulság az, hogy egyetlen modell sem elég biztonságos ahhoz, hogy elhagyjuk az ellenőrzést, és a legnagyobb valószínűséggel hibás bejegyzések éppen azok, amelyeket emlékezetből a legkevésbé tudunk ellenőrizni, a szakterületi hivatkozás, a homályos konferenciacikk, az utoljára hozzáadott forrás.

Mit észlel egy automatizált ellenőrzés, és hol ér véget

A lista ellenőrzőn való lefuttatása először gyorsabb, mint negyven DOI kézi feloldása, és ennek az oldalnak az ingyenes AI hivatkozásellenőrző eszköze pontosan ezt teszi a Crossref, az OpenAlex és a Semantic Scholar ellenőrzésével. Érdemes tudni, hogy ez az eszköztípus miben teljesít rosszul, mielőtt rá támaszkodnánk.

Öt hallucinált hivatkozásdetektor 2026-os értékelése, Badalova and Mayr, megállapította, hogy hasznos korai figyelmeztetéseket adnak, de négy tényező korlátozza őket: a hivatkozások tiszta kinyerése egy dokumentumból, a bejegyzésen belüli hiányos metaadatok, a hiányos adatbázis-lefedettség, valamint az egymással nem egyező nyilvántartások. E négy közül csak az első tűnik el, amikor egy listát beillesztünk, ahelyett hogy egy PDF-et töltenénk fel.

A saját ellenőrzésed következménye egy értelmezési szabály. Egy ellenőrző eszköz akkor a legerősebb, amikor a legfontosabb eltérést találja meg, vagyis egy DOI-t, amely egy másik cikkre oldódik fel, mint amit a bejegyzés állít, ez már közel döntő bizonyíték. A leggyengébb könyveknél, fejezeteknél, disszertációknál, konferenciakiadványoknál, nagyon friss munkáknál és nem angol nyelvű fórumoknál, amelyek mindenütt csak gyéren vannak indexelve, és rendszeresen nem találhatónak térnek vissza, miközben teljesen hitelesek. A nem található eredmény arra utal, hogy kézzel kell ellenőrizni, soha nem ítélet. Az alábbi kézi lépések azok, amelyeket minden olyan esetben alkalmazni kell, amelyet az automatizált ellenőrzés nem tudott eldönteni.

Minden DOI-t oldj fel, mielőtt beküldöd

A DOI, vagyis a Digital Object Identifier, elvileg pontosan egy rekordra kell, hogy feloldódjon a doi.org feloldón keresztül. Add hozzá a hivatkozásjegyzékedből származó DOI-t a feloldóhoz, és egy működő DOI az adott cikk kiadói oldalára vezet. Az a DOI, amely egy nem kapcsolódó cikkre, egy teljesen más folyóiratra vagy egyáltalán semmire oldódik fel, az egyik leggyorsabb elérhető hallucinációellenőrzés, mert amikor egy modell kitalál egy hivatkozást, általában egy hihetőnek tűnő DOI-karakterláncot is kitalál hozzá, ahelyett hogy egy valósat használná újra.

Az a DOI, amely helyesen oldódik fel, még nem automatikus bizonyíték arra, hogy a hivatkozás valódi. Egyes hamisított hivatkozások egy nem kapcsolódó cikk valódi DOI-ját veszik át, amely hiba nélkül feloldódik, és egy valódi cikkre mutat, amelynek semmi köze ahhoz az állításhoz, amelyet állítólag alátámaszt. Ne csak azt nézd meg, hogy az oldal betöltődött, hanem azt is, hogy hová vezet a DOI.

Hasonlítsd össze az összes címet egy valódi adatbázissal

Keresse meg a pontos címet, idézőjelek között, egy olyan adatbázisban, amely lefedi az Ön szakterületét, ne a nyílt weben. Használjon például Crossref-et, a PubMed-et biomedicinális munkákhoz, vagy a saját szakterületének indexét. Ha a Crossref-et használja, akkor az ingyenes vendégkeresésükkel cím és első szerző alapján kereshet rá egy hivatkozásra, vagy szerző és oldalszám alapján, ha nem biztos a címben. Ez visszaadja a DOI-t és a teljes metaadatokat arról, ami náluk nyilvántartásban van. Ha nincs találat, vagy ha ami visszajön, az egy valódi tanulmány, de teljesen más szerzőkkel, akkor a hallucináció második típusát láthatja, egy hibás DOI-t.

A cím szerinti keresés egy olyan konkrét hibát is felismer, amelyet a DOI-ellenőrzés nem: olyan hivatkozást, amelyhez működő, valódi DOI tartozik, de rossz címhez, mert a számot és a szöveget külön állították össze, és soha nem ellenőrizték őket egymással szemben. Ha az adatbázis címe nem egyezik szorosan a hivatkozásjegyzék címével, azt hamisításként kezelje, amíg meg nem tudja magyarázni az eltérést, ne pedig olyan elírásként, amelyet csendben ki kell javítani.

Ellenőrizze keresztben a szerzőlistát és a megjelenés évét

Egy hallucinált hivatkozás gyakran a szerzőt jól, a tanulmányt rosszul adja meg, mert egy valódi, ismert név a szakterületen pontosan az, amit egy valószínű hivatkozást kereső modell előállít. Keresse meg a szerző saját publikációs listáját azon az adatbázison, amely már meg van nyitva, arra az évre, amelyet a hivatkozásjegyzék állít. Ha az a szerző abban az évben három tanulmányt publikált, és egyik sem egyezik a címével, akkor a hivatkozás nagy valószínűséggel kitalált, egy valódi névből és egy valódi évből építve, amelyek valójában soha nem tartoztak össze.

Az ellenkező minta is előfordul: egy valódi tanulmány, helyesen megadott címmel, de rossz évhez rendelve, általában az előnyomat évéhez a végleges megjelenés éve helyett, vagy egy konferenciaváltozat, amelyet a folyóirat későbbi megjelenési évével idéznek. A szigorú ellenőrzés értelmében egyik sem hamisítás, de mindkettő olyan hivatkozáshoz vezeti az olvasót vagy a társszerzőt, amelyet aztán nem tud megtalálni, és ez elég közel áll ugyanahhoz a problémához ahhoz, hogy ugyanebben az ellenőrzési körben javítani kelljen.

Ismerjen fel egy hihető, de kitalált folyóiratnevet

Egy kitalált folyóiratnév úgy van megalkotva, hogy pontosan úgy hangozzon, mint egy valódi: egy hihető szakterület, egy hihető melléknév, egy név, amely elég közel áll egy tényleges folyóirathoz ahhoz, hogy senki ne álljon meg ellenőrizni. A "The Journal of Applied Cognitive Studies" kitalált; a "The Journal of Applied Psychology" és a "Journal of Cognitive Science" is létezik, és a kettő elemeiből összeragasztott név éppen ezért hat ismerősnek.

Keresse meg a folyóirat nevét önmagában, idézőjelek között, és nézze meg a kiadó saját folyóiratoldalát és egy aktuális ISSN-t, ne csak egy másik oldalon talált találatot, amely ugyanazt a hivatkozást idézi. Egy valódi folyóiratnak van kezdőlapja, amely felsorolja a szerkesztőt, az aktuális évfolyamot és számot, valamint egy hozzá rendelt, érvényes ISSN-t. Az a név, amelyhez nincs kiadói oldal, nincs ISSN, és egyetlen másik cikk sem hivatkozik rá, az egész ellenőrzés során a legvilágosabb jele annak, hogy a hivatkozás nem létezik.

Tegye a hallucinált hivatkozásellenőrzést ismételhető ellenőrzőlistává

Futtassa ezeket az ellenőrzéseket sorrendben, minden hivatkozásnál, mielőtt a lista véglegesnek minősül. A sorrend kevésbé fontos, mint az, hogy mind a négyet lefedje, egy hivatkozás átmehet az egyik ellenőrzésen, és mégis elbukhat egy másikon.

Ellenőrzés	Mit szűr ki
DOI feloldás	Egy DOI, amely sehova sem vezet, vagy egy nem kapcsolódó cikkhez vezet
Cím és adatbázis egyezése	Egy valódi DOI, amely rossz címhez van rendelve, vagy egy cím, amely egyáltalán nem ad találatot
Szerző és év keresztellenőrzése	Egy valódi szerző neve, amely olyan cikkhez van rendelve, amelyet az adott évben nem ő írt
Folyóiratnév ellenőrzése	Egy hihetően hangzó folyóirat, amelynek nincs ISSN-je, nincs kiadói oldala, és valójában nem létezik

TextPulse AI idézetellenőrzője ennek az ellenőrzésnek egy változatát automatikusan lefuttatja egy teljes irodalomjegyzéken, gyorsabban, mint ha egy hosszú bibliográfián kézzel végeznénk el a négy ellenőrzést egyenként, bár még mindig érdemes saját magunknak elolvasni, amit megjelöl, ahelyett hogy vakon elfogadnánk vagy elutasítanánk egy jelzést. Kifejezetten a DOI lépéshez egy erre szolgáló DOI hivatkozáskonvertáló minden egyes tételnél külön megspórolja a feloldóhoz tett utat.

A tiszta bibliográfia csak egy a több ellenőrzés közül, mielőtt egy kézirat elküldésre kerül. Az AI pontszám csökkentése folyóirati benyújtáshoz külön tárgyalásra kerül, és ugyanígy a válasz a bírálóknak levél is, amely ezt követi.

Semmi ebből nem helyettesíti azt, hogy még egyszer elolvassuk a saját dolgozatunkat, mielőtt benyújtjuk. Ha egy szakasz a tények ellenőrzése után is általánosnak hat, egy AI humanizer kisimíthatja a prózát anélkül, hogy egyetlen idézethez is hozzányúlna, TextPulse útmutatója az AI szöveg humanizálásához az akadémiai írásban szakaszról szakaszra tárgyalja ezt a lépést. Egy olyan irodalomjegyzék, amely tisztán feloldódik, és egy olyan kézirat, amely a saját hangunkként olvasható, két külön ellenőrzés, és érdemes őket egymás után lefuttatni, ahelyett hogy azt hinnénk, az egyik lefedi a másikat.