Come funzionano i rilevatori di AI? Perplessità, burstiness e probabilità dei token

La tua università ha iniziato a far passare le consegne attraverso un rilevatore di AI, e ne è emerso un rapporto con un numero che non ti aspettavi. Prima di provare a contestarlo, è utile sapere che cosa significa quel numero. Come funzionano i rilevatori di AI? Non leggono la scrittura prodotta da una macchina come farebbe una persona. Misurano quanto il tuo testo sia prevedibile per un modello linguistico, poi trasformano quella prevedibilità in un punteggio. In tutto questo processo, nulla considera che cosa intendi, il tuo argomento, o se hai davvero scritto tu il testo.

Ho trascorso anni a costruire strumenti che scompongono il testo in modo statistico, e la cosa singolarmente più utile da capire sulla rilevazione è questa: si tratta di una misurazione della tipicità, non dell'origine. Una volta compreso questo, sia la tecnologia sia i suoi limiti risultano molto più sensati.

Che cosa sta effettivamente misurando un rilevatore

Un rilevatore non sa chi abbia scritto qualcosa. Ciò che ha è un modello linguistico e una funzione di punteggio. Il modello legge il tuo testo da sinistra a destra e, a ogni punto, produce una distribuzione di probabilità su quale parola debba venire dopo. Se gli dai le parole "the results of the", assegnerà a "study" la probabilità più alta, a "experiment" una probabilità un po' più bassa, e a "marmalade" qualcosa vicino allo zero.

Quindi il rilevatore pone al tuo documento una sola domanda: con quale frequenza questo testo ha scelto la parola che il modello si aspettava? Una scrittura che continua a cadere su parole ad alta probabilità appare prodotta da una macchina, perché è esattamente ciò che fa un generatore di testo. Il modello campiona dalla parte alta della propria distribuzione, ripetutamente, per migliaia di token.

Ecco perché l'intera categoria poggia su basi più fragili di quanto suggerisca il marketing. Un rilevatore non sta trovando una filigrana o un'impronta digitale. Sta notando che la tua prosa è statisticamente poco sorprendente, e una prosa poco sorprendente ha molte cause oltre a un chatbot.

Perplexity: quanto il modello è sorpreso

La misura principale si chiama perplexity, ed è più semplice di quanto sembri. Prendi la probabilità che il modello ha assegnato a ciascuna parola che è effettivamente comparsa, fai la media dei logaritmi di quelle probabilità ed esegui l’esponenziazione del risultato. Ciò che si ottiene è un singolo numero che descrive quanto il modello sia rimasto sorpreso dal tuo documento. Puoi verificare la perplexity della tua bozza invece di limitarci a indovinarla.

Una perplexity bassa significa che il testo è andato dove il modello se lo aspettava. Una perplexity alta significa che ha continuato a prendere svolte che il modello non si aspettava. La scrittura umana tende a collocarsi più in alto, perché le persone ricorrono al sostantivo specifico insolito, alla costruzione inconsueta, alla frase che inizia in un punto inatteso. Il testo generato tende a collocarsi più in basso, perché il processo di decodifica è costruito per evitare proprio questi movimenti.

Confronta due modi di aprire una sezione sui metodi. "The results of the study were statistically significant" è una sequenza che quasi ogni modello prevederebbe con alta confidenza, perché non contiene informazioni inattese. "Two of the three cohorts drifted before week six, which we had not planned for" è molto meno prevedibile, perché contiene informazioni specifiche e scomode che non si potrebbero dedurre dal resto dell’articolo. La seconda frase costa al rilevatore una sorpresa reale, e quella sorpresa è ciò che viene registrato come umano.

Burstiness: la varianza, non la media

La perplexity da sola non basta, perché un documento può produrre in media un numero perfettamente ragionevole pur essendo sospettosamente uniforme al suo interno. Ciò che conta è la variazione nel testo, ed è questo che misura la burstiness: quanto la lunghezza delle frasi e la perplexity a livello di frase oscillano mentre la scrittura procede. Un burstiness checker mostrerà direttamente questa dispersione.

Acceleriamo quando siamo sicuri e rallentiamo quando stiamo esprimendo riserve, e quel ritmo sopravvive nella prosa. Le persone scrivono a scatti. Un paragrafo può aprirsi con una breve frase dichiarativa di otto parole, entrare in una frase di trentaquattro parole che contiene tre proposizioni e una parentesi, poi tornare a qualcosa di rapido.

L'output del modello non fa questo in modo affidabile. Le frasi si raggruppano vicino alla lunghezza media. I paragrafi arrivano in blocchi ordinati. Ogni sezione inizia ribadendo il proprio titolo. Si legge in modo scorrevole e ottiene un punteggio basso, perché la bassa varianza tra le frasi è uno dei segnali più forti a disposizione di un rilevatore. Non è una singola frase a tradirlo. È l'uniformità.

Segnale	Cosa misura	Perché il testo generato dalla macchina ottiene un punteggio basso
Perplexity	Quanto il modello è sorpreso dalle tue scelte lessicali, in media sull'intero documento	Campiona per progettazione token ad alta probabilità durante la decodifica
Burstiness	Quanto variano la lunghezza delle frasi e la prevedibilità nel testo	L'output si raggruppa vicino alla media invece di oscillare
Token probability	La probabilità per parola da cui vengono calcolati gli altri due	Lunghi tratti di scelte singolarmente poco notevoli

Token probability e da dove proviene il punteggio

Entrambi questi numeri si costruiscono a partire da un terzo: la log-verosimiglianza per token, il materiale grezzo da cui si calcola tutto il resto. Alcuni strumenti la mostrano direttamente, evidenziando i tratti in cui il tuo testo era più prevedibile. Questi evidenziamenti non sono accuse rivolte a frasi specifiche, qualunque cosa suggerisca l'interfaccia. Sono le parti che hanno contribuito di più a un numero a livello di documento.

Gli approcci di ricerca hanno superato le semplici soglie. DetectGPT e i suoi discendenti guardano alla curvatura: perturbano leggermente il tuo testo e verificano se la verosimiglianza diminuisce secondo il modello che il testo generato tende a mostrare. Altri confrontano lo stesso passaggio sotto due modelli diversi e usano il disaccordo come segnale.

Una conseguenza conta per chiunque venga valutato. Poiché le metriche sono calcolate rispetto a un modello di riferimento specifico, un punteggio è sempre relativo a quel modello. Due rilevatori possono leggere lo stesso paragrafo e non essere affatto d'accordo, e nessuno dei due sta funzionando male. Stanno rispondendo alla stessa domanda con punti di riferimento diversi.

La seconda conseguenza è osservata meno spesso. Un modello può individuare un passaggio come prevedibile solo se quel passaggio assomiglia a ciò su cui è stato addestrato, quindi la qualità del rilevamento peggiora man mano che si amplia il divario tra il modello di riferimento e ciò che ha prodotto il testo. Generatori più recenti, discipline insolite e lingue diverse dall'inglese aprono tutti quel divario. È parte del motivo per cui l'accuratezza misurata in un benchmark controllato raramente sopravvive al contatto con un insieme reale di elaborati.

Cosa aggiungono i rilevatori commerciali

Gli strumenti che le istituzioni acquistano davvero non eseguono la perplexity da manuale. Turnitin, GPTZero, Originality e gli altri addestrano classificatori supervisionati su grandi insiemi etichettati di testo umano e di macchina, usando caratteristiche statistiche insieme a quelle stilistiche. Ciò che il classificatore apprende è tutto ciò che separa quei due insiemi nei suoi dati di addestramento, e si tratta di qualcosa di più ristretto e più storico rispetto alla "scrittura AI" in generale.

La dipendenza dall'addestramento è il problema silenzioso. Un classificatore addestrato principalmente su una generazione di output di modello deve generalizzare a modelli più recenti, a discipline non familiari e a autori il cui inglese non assomiglia alla sua distribuzione di addestramento. I fornitori pubblicano cifre di accuratezza tratte dalle proprie valutazioni, e i benchmark indipendenti si collocano regolarmente ben al di sotto di quei numeri sugli stessi strumenti.

Leggere un punteggio senza sovrainterpretarlo

Un rapporto di un rilevatore di solito arriva come percentuale, e quella percentuale viene regolarmente fraintesa. Non è la proporzione del vostro documento scritta da una macchina. A seconda dello strumento, è la confidenza del classificatore, oppure la quota di frasi che hanno superato una certa soglia interna, e i fornitori spesso sono vaghi su quale delle due. Due rapporti che mostrano entrambi il sessanta percento possono significare cose molto diverse.

È inoltre utile sapere che cosa fa variare un punteggio per ragioni che non hanno nulla a che vedere con chi lo ha scritto. I documenti brevi sono più rumorosi, perché c'è meno testo su cui le medie possano stabilizzarsi, e un saggio di cinquecento parole può oscillare molto sulla base di due o tre frasi insolite. Anche il materiale citato conta, a meno che lo strumento non lo elimini, quindi una rassegna della letteratura piena di citazioni in blocco eredita la prevedibilità di ciò che cita. Un passaggio tecnico carico di terminologia standard si comporta allo stesso modo.

Se si riceve una segnalazione, la risposta utile è la prova, non un argomento sulla metrica. La cronologia delle versioni, le bozze, gli appunti e i registri di ricerca parlano tutti del processo, e il processo è ciò che un collegio disciplinare può effettivamente valutare. Non esiste alcuna soglia che qualcuno possa indicare e che separi uno scrittore attento da un modello.

Perché i rilevatori segnalano testi che nessun modello ha prodotto

I falsi positivi non sono un malfunzionamento raro. Derivano direttamente dalla misurazione della tipicità. Qualsiasi testo che sia davvero prevedibile otterrà un punteggio di prevedibilità, indipendentemente da chi lo abbia prodotto.

Gli scrittori non madrelingua inglese sono i più colpiti. Ricercatori di Stanford hanno rilevato che i rilevatori classificavano erroneamente come generati da macchina una quota elevata di saggi scritti da parlanti non nativi, mentre classificavano correttamente i saggi di parlanti nativi. La ragione è meccanica, non malevola: gli scrittori che lavorano in una seconda lingua tendono a fare affidamento su costruzioni collaudate e su un lessico più comune. Questo è esattamente il profilo di una bassa perplexity, ed è per questo che gli scrittori ESL vengono segnalati per aver scritto con attenzione.

Le convenzioni accademiche causano lo stesso problema. Una sezione di metodi dovrebbe essere formulare. La scrittura giuridica, la documentazione tecnica e la refertazione clinica premiano tutte la formulazione standard più di quella inventiva. Una forte revisione aggrava ulteriormente la situazione, poiché rifinire una bozza significa di solito eliminare le irregolarità che portavano la vostra firma statistica.

Le istituzioni se ne sono accorte. Vanderbilt ha disattivato la funzione di rilevamento dell'IA di Turnitin invece di agire su punteggi che non poteva verificare, e altre università hanno սահմանato il modo in cui i numeri possono essere usati nei procedimenti per cattiva condotta. Considera il punteggio di un rilevatore come un elemento di prova debole, non come un verdetto.

Cosa significa questo per la tua scrittura

Il consiglio pratico che deriva dai meccanismi non è esotico, e non implica in alcun modo di aggirare il sistema. Varia deliberatamente la lunghezza delle frasi, perché è l'uniformità a essere rilevata. Mantieni il dettaglio specifico, la cifra reale, la limitazione reale, ciò che è andato storto nella sesta settimana. La competenza generica è ciò che viene valutato come prodotto da una macchina, e la specificità è sia una scrittura migliore sia un segnale più forte.

Mantieni anche il tuo idioma. Se hai un tuo modo di esprimerti, lascialo intatto. L'istinto di levigare una bozza fino a farla suonare come ogni altro elaborato del settore è l'istinto che abbassa la tua perplexity.

Una cosa da evitare: alcuni strumenti introducono deliberatamente errori grammaticali per aumentare la perplexity. Funziona sulla metrica ed è una pessima idea per qualsiasi testo valutato o sottoposto a peer review, poiché stai scambiando un sospetto con una certezza. L'obiettivo è una scrittura che si legga come tua, non una scrittura danneggiata di proposito. Questa è l'intera differenza tra riscrivere per un lettore umano e rompere il testo per ingannare un valutatore.

Se vuoi vedere questi numeri per la tua bozza invece di accettare la parola di una scatola nera, le misurazioni sottostanti non sono segrete. Gli strumenti gratuiti di analisi del testo ti mostreranno dove si colloca la tua prosa, e potrai decidere da solo se i passaggi piatti siano un problema stilistico che vale la pena correggere.