Miért írnak az AI által írt annotációk nem létező tanulmányokat leíró szövegeket

Egy témavezető tízszer egymás után ugyanazt a mondatszerkezetet olvassa, miközben egy annotált bibliográfiát lapoz, és hangosan felolvassa, egyik oldalról a másikra: Ez a tanulmány az X és Y közötti kapcsolatot vizsgálja, résztvevők mintáját használva Z feltárására, és arra a következtetésre jut, hogy további kutatásra van szükség. Minden bejegyzés gördülékenyen olvasható. A tizenkét forrás közül kettő, cím alapján keresve, nem létezik.

Az AI által hallucinált hivatkozások a bibliográfiákban ritkán árulják el magukat a hivatkozási sorban. Egy kitalált szerzőnév és egy kitalált folyóirat pontosan úgy nézhet ki, mint a valódiak, amíg valaki rájuk nem keres. Ami szinte mindig először leleplezi a hamisítást, az az alatta álló annotáció, egy olyan bekezdés, amely elég magabiztos ahhoz, hogy részletesen leírjon egy tanulmány módszerét és eredményeit, miközben az a tanulmány soha nem is készült el.

Hogyan ismerjük fel az AI által hallucinált hivatkozásokat a bibliográfiákban

Az annotációt olvassa el a hivatkozási sor előtt. Egy hivatkozás önmagában, egy szerző, egy évszám, egy folyóirat, egy DOI, mind apró, strukturált mintázatok, amelyeket egy nyelvi modell ezerszer látott, és véletlenül vagy memorizálás révén helyesnek tűnhetnek akkor is, ha mögöttük nincs semmi valós. Az annotációnak ezzel szemben valamit mondania kell arról, hogy az adott tanulmány valójában mit tett, mégpedig annyi részlettel, hogy meg lehessen állapítani, igaz volt-e vagy hamis. Ha a modell nem kérdezi le vagy nem olvassa el a forrást, ezt nem fogja tudni megbízhatóan megtenni, és az eredmény már jóval azelőtt általánosságként fog megjelenni, hogy egyáltalán eljutnánk a DOI ellenőrzéséig.

Miért árul el többet az annotáció, mint a hivatkozás

Egy kitalált hivatkozás találgatás, amelyet hivatkozásként álcáznak, egy hihető szerző, egy hihető folyóirat, egy DOI alakú karaktersor a megfelelő számú számjeggyel. Egy kitalált annotáció olyan találgatás, amelyet megértésként álcáznak, és a megértést sokkal nehezebb meggyőzően hamisítani egy teljes bekezdésen át. A modellnek el kell köteleznie magát egy minta, egy módszer és egy eredmény iránya mellett, és ezek mindegyike olyan pont, ahol egy valódi tanulmány ellentmondhat neki.

Ezért is könnyebb egy annotációt az olvasónak ellenőriznie, mint egy puszta hivatkozást. Egy referencia ugyanúgy van formázva, akár valós a forrás, akár nem, így önmagában az alakja semmilyen információt nem árul el. Az annotáció egy konkrét állítást tesz konkrét tartalomról, ezért vagy alátámasztja a tényleges tanulmány, vagy nem, és néhány perc a valódi absztrakttal eldönti, melyik az igaz.

Mit ír egy modell, amikor soha nem olvasta ténylegesen a tanulmányt

Ha egy nyelvi modellt arra kérünk, hogy annotáljon egy forrást, amelyről csak a címet és egy nagyjából ismert témát kapott, nem fog elutasítani vagy óvatoskodni. Megjósolja azt a bekezdést, amelyet egy ilyen című tanulmány valószínűleg tartalmazna, több ezer hasonló absztrakt alapján, amelyeket a tanítás során látott, majd ugyanabban a magabiztos regiszterben adja vissza, amelyet egy olyan tanulmányhoz is használna, amelyet soronként idézni tudna.

Úgy olvasható, mint mindannak az átlaga, amit valaha is írtak az adott téma közelében. Egy alvásról és memóriáról szóló tanulmány őszinte összefoglalása megadja a valódi vizsgálati résztvevők nevét, a ténylegesen használt tesztet és a jelentett valódi hatásméretet. Egy kitalált összefoglaló azt mondaná, hogy a tanulmány azt vizsgálta, mennyire jól aludtak az emberek és milyen volt a memóriájuk, és azt találta, hogy erős kapcsolat van köztük. Elég általános ahhoz, hogy egy másik, nem kapcsolódó cím alatt is kényelmesen megállja a helyét.

Mit kell ellenőrizni	Egy valódi annotáció általában ezt tartalmazza	Egy hamisított annotáció általában inkább ezt tartalmazza
Számok	Egy konkrét mintanagyság, hatásméret vagy százalék, amely megegyezik a valódi absztrakttal	Nincsenek számok, vagy egy kerek, nem ellenőrizhető érték, amely sehol sem jelenik meg a tényleges forrásban
Módszer	A ténylegesen megnevezett módszer, egy konkrét teszt, terv vagy adathalmaz	Egy homályos utalás arra, hogy "egy tanulmány" vagy "egy elemzés", megnevezett módszer nélkül
Korlátok	Egy korlát, amelyet maguk a szerzők vetettek fel, és amely kifejezetten az ő tervükre vonatkozik	Egy általános korlát, amely a terület szinte bármely cikkére igaz
Hivatkozás egyezése	A hivatkozás egy valós rekordra oldódik fel, amelynek címe megegyezik az annotációval	A hivatkozás nem oldódik fel, vagy egy másik, nem kapcsolódó cikkre oldódik fel

Ezek közül egyik ellenőrzés sem igényli a teljes cikk elolvasását. Csak egyszer kell megnyitni, elég hosszú ideig ahhoz, hogy látható legyen, vajon az annotációban szereplő konkrét állítások valóban megjelennek-e az absztraktban.

Miért van szükség a hamisítási arányhoz modellverzióra és dátumra

A probléma mértéke mérhető, bár a mérések nem egyeznek egymással, mert soha nem ugyanazt mérték. Amikor 2023-ban ugyanazon a napon ugyanazon 42 akadémiai témán tesztelték a ChatGPT-3.5-öt és a ChatGPT-4-et, a kutatók azt találták, hogy a GPT-3.5 idézeteinek 55 százaléka teljesen hamisított volt, szemben a GPT-4 18 százalékával. Ugyanazok a promptok, ugyanazok a kutatók, ugyanaz a nap, csak a modell változott, és az arány kétharmaddal csökkent.

Egy külön tanulmány, amely nem bibliográfiai hivatkozásokat, hanem hallucinált esettényeket vizsgált, azt találta, hogy ChatGPT-4 az ellenőrizhető, valós szövetségi bírósági ügyekre vonatkozó kérdések 58 százalékában tévedett, a Llama 2 pedig az esetek 88 százalékában, egy 2024-ben megjelent kutatásban. Ez az arány egy másik feladatra, más modelleken vonatkozik, ezért nem szabad az előbbi, hivatkozás-kitalálási számokkal egyetlen összesített aránnyá átlagolni. Abban mindkét tanulmány egyetért, hogy a probléma formája a lényeg, egy százalékos érték modellverzió és dátum nélkül semmit sem mond konkrétan. A tágabb minta, amely hat ilyen tanulmányon át húzódik 2023 és 2026 között, önálló téma, ezt teljes egészében tárgyalja a does ChatGPT make up references. Ami kifejezetten a bibliográfiát illeti, az szűkebb kérdés marad, az, hogy az annotáció már azelőtt elárulja-e a kitalálást, hogy bárki ellenőrizné a DOI-t.

Hogyan ellenőrizhető minden bejegyzés egy AI által készített annotált bibliográfiában

Kezdje a hivatkozási sorral, keresse meg a pontos címet a Google Scholarban vagy a folyóirat saját oldalán, és a DOI-t tekintse nem megerősítettnek mindaddig, amíg az valóban ehhez a címhez nem vezet, mivel egy kitalált hivatkozás olyan DOI-t is tartalmazhat, amely valaki más valódi, de nem kapcsolódó tanulmányára mutat. Egy AI citation checker, amely minden bejegyzést egy valódi tudományos adatbázissal egyeztet ezt a keresést automatizálja, ahelyett hogy minden egyes forrásnál manuális ellenőrzésre hagyatkozna.

Ezután az annotációt magával a forrással hasonlítsa össze, ne azzal, mennyire meggyőzően hangzik. Nyissa meg a tényleges absztraktot, és ellenőrizze, hogy a minta, a módszer és az eredmény, amelyet az annotáció állít, valóban szerepel-e benne. Egy ingyenes annotated bibliography generator, amely minden összefoglalót a tanulmány saját absztraktjára alapoz, ahelyett hogy emlékezetből állítaná össze, megmutatja, hogyan néz ki egymás mellett egy valóban forrásalapú annotáció és egy olyan, amely nem az.

Azoknál a bejegyzéseknél, amelyek átmennek az ellenőrzésen, a ChatGPT idézése APA szerint és a ChatGPT idézése MLA szerint külön, lépésről lépésre van bemutatva.

Ez semmit sem változtat azon, hogyan formáz egy bejegyzést, miután megerősítette, hogy valódi. A ChatGPT idézése önmagában külön kérdés, amelyet teljes egészében tárgyalunk APA, MLA, Chicago és IEEE szerint, és egy idézetkészítő ugyanúgy formázza a szokásos hivatkozást, függetlenül a stílustól. Amit egyik sem fog fel, az egy olyan jegyzet, amely egy olyan dolgozatot ír le, amelyet senki sem írt, és elég gördülékeny ahhoz, hogy senkinek ne jusson eszébe ellenőrizni.