Perché le annotazioni scritte da AI descrivono articoli che non esistono

Un supervisore legge la stessa struttura di frase dieci volte di seguito, aprendo una bibliografia annotata, leggendola ad alta voce, una pagina dopo l'altra: Questo studio esamina la relazione tra X e Y, usando un campione di partecipanti per esplorare Z, rilevando che sono necessarie ulteriori ricerche. Tutte le voci scorrono con fluidità. Due delle dodici fonti, cercate per titolo, non esistono.

Le citazioni allucinate dall'AI nelle bibliografie raramente si dichiarano nella riga di riferimento. Un nome di autore inventato e una rivista inventata possono sembrare esattamente come quelli reali finché qualcuno non li cerca. Ciò che di solito smaschera per primo la falsificazione, quasi ogni volta, è l'annotazione posta sotto di essa: un paragrafo abbastanza sicuro da descrivere in dettaglio il metodo e i risultati di un articolo, per un articolo che non è mai stato scritto.

Come individuare le citazioni allucinate dall'AI nelle bibliografie

Leggi l'annotazione prima della riga di riferimento. Una citazione da sola, un autore, un anno, una rivista, un DOI sono tutti piccoli schemi strutturati che un modello linguistico ha visto migliaia di volte, e possono sembrare corretti per caso o per memorizzazione anche se dietro non c'è nulla di reale. Un'annotazione, invece, deve dire qualcosa su ciò che quell'articolo specifico ha davvero fatto, con abbastanza dettaglio da permettere di stabilire se sia vero o falso. Se un modello non recupera o non legge la fonte, non sarà in grado di farlo in modo affidabile, e il risultato apparirà come genericità molto prima che si arrivi a controllare il DOI.

Perché l'annotazione rivela più della citazione

Una citazione inventata è un'ipotesi travestita da riferimento: un autore plausibile, una rivista plausibile, una stringa simile a un DOI con il giusto numero di cifre. Un'annotazione inventata è un'ipotesi travestita da comprensione, e la comprensione è molto più difficile da simulare in modo convincente lungo un intero paragrafo. Il modello deve impegnarsi su un campione, un metodo e una direzione del risultato, e ciascuno di questi dettagli è un punto in cui un articolo reale può smentirlo.

Questo è anche il motivo per cui un’annotazione è più facile da verificare per un lettore rispetto a una semplice citazione. Un riferimento è formattato nello stesso modo sia che la fonte sia reale sia che non lo sia, quindi la sua sola forma non rivela alcuna informazione. Un’annotazione formula un’affermazione specifica su contenuti specifici, quindi è supportata dal testo reale oppure no, e bastano pochi minuti con l’abstract autentico per stabilire quale delle due cose sia vera.

Cosa scrive un modello quando non ha mai letto davvero il testo

Chiedi a un modello linguistico di annotare una fonte di cui conosce solo il titolo e un argomento approssimativo, e non rifiuterà né esprimerà cautela. Predice il paragrafo che un testo con quel titolo probabilmente conterrebbe, costruito a partire da migliaia di abstract simili visti durante l’addestramento, e lo restituisce con lo stesso registro sicuro che userebbe per un testo che potrebbe citare riga per riga.

Si legge come la media di tutto ciò che è mai stato scritto su quell’argomento. Un riassunto onesto di uno studio sul sonno e la memoria ti darà il nome dei veri partecipanti allo studio, il vero test utilizzato e la vera dimensione dell’effetto riportata. Un riassunto inventato direbbe che lo studio ha esaminato quanto bene le persone dormivano e la loro memoria, e ha trovato un forte legame tra i due. È abbastanza generico da poter stare comodamente anche sotto un titolo diverso e non correlato.

Cosa verificare	Una annotazione genuina di solito presenta questo	Una annotazione fabbricata di solito presenta invece questo
Numeri	Una dimensione del campione, una dimensione dell'effetto o una percentuale specifica che corrisponde al vero abstract	Nessun numero, oppure una cifra arrotondata e non verificabile che non compare da nessuna parte nella fonte reale
Metodo	Il metodo effettivo indicato: un test, un disegno o un dataset specifico	Un riferimento vago a "uno studio" o "un'analisi" senza alcun metodo indicato
Limitazioni	Una limitazione sollevata dagli autori stessi, specifica per il loro disegno	Una limitazione generica vera per quasi qualsiasi articolo nel campo
Corrispondenza della referenza	La citazione conduce a un record reale il cui titolo corrisponde all'annotazione	La referenza non si risolve, oppure si risolve in un articolo diverso e non مرتبطato

Nessuno di questi controlli richiede di leggere l'intero articolo. Richiedono di aprirlo una volta, abbastanza a lungo da vedere se le affermazioni specifiche nell'annotazione compaiono effettivamente nell'abstract.

Perché un tasso di fabbricazione richiede una versione del modello e una data

La portata del problema è misurata, anche se le misurazioni non concordano tra loro, perché non stavano mai misurando la stessa cosa. Testando ChatGPT-3.5 e ChatGPT-4 sugli stessi 42 argomenti accademici nello stesso giorno del 2023, i ricercatori hanno trovato che il 55 percento delle citazioni di GPT-3.5 era completamente fabbricato, contro il 18 percento di GPT-4. Stessi prompt, stessi ricercatori, stesso giorno, cambiava solo il modello, e il tasso scendeva di due terzi.

Uno studio separato, che ha testato fatti di casi allucinati invece di citazioni bibliografiche, ha rilevato che ChatGPT-4 sbagliava nel 58 percento dei casi su domande verificabili riguardanti veri casi di tribunali federali, e che Llama 2 sbagliava nell'88 percento dei casi, in una ricerca pubblicata nel 2024. Questa cifra descrive un compito diverso su modelli diversi e non dovrebbe essere mediata con i numeri sulla fabbricazione delle citazioni sopra in un unico tasso complessivo. Ciò su cui entrambi gli studi concordano è la forma del problema: una percentuale senza una versione del modello e una data associate non descrive nulla di specifico. Il quadro più ampio, attraverso sei studi di questo tipo che coprono il periodo dal 2023 al 2026, è un tema a sé: does ChatGPT make up references lo tratta in modo completo. Ciò che conta specificamente per una bibliografia resta più ristretto: se l'annotazione rivela la fabbricazione prima che qualcuno controlli il DOI.

Come Verificare Ogni Voce in una Bibliografia Annotata Redatta da AI

Inizia dalla riga di riferimento: cerca il titolo esatto in Google Scholar o nel sito stesso della rivista, e considera un DOI come non confermato finché non si risolve effettivamente in quel titolo, poiché una citazione fabbricata può riportare un DOI che conduce al vero articolo di qualcun altro, non correlato. Un AI citation checker che risolve ogni voce confrontandola con un vero database accademico automatizza questa ricerca invece di lasciarla a una consultazione manuale per ogni singola fonte.

Poi controlla l'annotazione rispetto alla fonte stessa, non rispetto a quanto sembri convincente. Apri l'abstract effettivo e verifica che il campione, il metodo e il risultato che l'annotazione afferma siano davvero presenti. Un generatore gratuito di bibliografie annotate che fonda ogni sintesi sull'abstract del paper stesso, invece di comporne una a memoria, mostra come appare un'annotazione realmente fondata sulla fonte accanto a una che non lo è.

Per le voci che superano l'audit, citing ChatGPT in APA e citing ChatGPT in MLA sono presentati ciascuno passo dopo passo.

Nulla di tutto ciò cambia il modo in cui formatti una voce una volta che hai confermato che è reale. Come citare ChatGPT stesso è una questione separata, trattata in modo completo per APA, MLA, Chicago e IEEE, e un generatore di citazioni formatta il riferimento ordinario nello stesso modo, indipendentemente dallo stile. Ciò che nessuno dei due rileva è un'annotazione che descrive un articolo che nessuno ha scritto, abbastanza fluente da non far pensare a nessuno di controllare.