Come funzionano i rilevatori di AI? Perplessità, burstiness e probabilità dei token

La tua università ha iniziato a far passare le consegne attraverso un rilevatore di AI, e ne è emerso un rapporto con un numero che non ti aspettavi. Prima di provare a contestarlo, è utile sapere che cosa significa quel numero. Come funzionano i rilevatori di AI? Non leggono la scrittura prodotta da una macchina come farebbe una persona. Misurano quanto il tuo testo sia prevedibile per un modello linguistico, poi trasformano quella prevedibilità in un punteggio. In tutto questo processo non si considera ciò che intendi dire, il tuo argomento, né il fatto che tu abbia davvero scritto il testo.

Ho passato anni a costruire strumenti che scompongono il testo dal punto di vista statistico, e la cosa singolarmente più utile da capire sulla rilevazione è questa: si tratta di una misura della tipicità, non dell'origine. Una volta che questo è chiaro, sia la tecnologia sia i suoi limiti diventano molto più comprensibili.

Che cosa sta realmente misurando un rilevatore

Un rilevatore non sa chi abbia scritto nulla. Ciò che ha è un modello linguistico e una funzione di punteggio. Il modello legge il tuo testo da sinistra a destra e, a ogni punto, produce una distribuzione di probabilità su quale parola debba venire dopo. Se gli dai le parole "the results of the", classificherà "study" come la più probabile, "experiment" un po' più in basso, e "marmalade" da qualche parte vicino allo zero.

Quindi il rilevatore pone al tuo documento una sola domanda: quante volte questo testo ha scelto la parola che il modello si aspettava? Una scrittura che continua a cadere su parole ad alta probabilità appare prodotta da una macchina, perché è esattamente ciò che fa un generatore di testo. Il modello campiona dalla parte alta della propria distribuzione, ripetutamente, per migliaia di token.

Ecco perché l'intera categoria poggia su basi più fragili di quanto suggerisca il marketing. Un rilevatore non sta trovando una filigrana o un'impronta digitale. Sta notando che la tua prosa è statisticamente poco sorprendente, e una prosa poco sorprendente può avere molte cause oltre a un chatbot.

Perplexity: quanto il modello è sorpreso

La misura principale si chiama perplexity, ed è più semplice di quanto sembri. Prendi la probabilità che il modello ha assegnato a ciascuna parola che è effettivamente comparsa, fai la media dei logaritmi di quelle probabilità ed esponenzia il risultato. Ciò che si ottiene è un singolo numero che descrive quanto il modello sia rimasto sorpreso dal tuo documento. Puoi verificare la perplexity della tua bozza invece di limitarci a indovinarla.

Una bassa perplexity significa che il testo è andato dove il modello se lo aspettava. Una alta perplexity significa che ha continuato a prendere svolte che il modello non si aspettava. La scrittura umana tende a collocarsi più in alto, perché le persone ricorrono al sostantivo specifico insolito, alla costruzione inconsueta, alla frase che inizia in un punto inatteso. Il testo generato tende a collocarsi più in basso, perché il processo di decodifica è costruito per evitare proprio questi movimenti.

Confronta due modi di aprire una sezione di metodi. "The results of the study were statistically significant" è una sequenza che quasi ogni modello prevederebbe con alta confidenza, perché non contiene informazioni inattese. "Two of the three cohorts drifted before week six, which we had not planned for" è molto meno prevedibile, perché contiene informazioni specifiche e scomode che non si potrebbero dedurre dal resto dell'articolo. La seconda frase costa al rilevatore una sorpresa reale, e questa sorpresa è ciò che viene registrato come umano.

Burstiness: la varianza, non la media

La perplexity da sola non basta, perché un documento può avere in media un numero del tutto ragionevole pur essendo sospettosamente uniforme al suo interno. Ciò che conta è la variazione nel testo, ed è questo che misura la burstiness: quanto la lunghezza delle frasi e la perplexity a livello di frase oscillano mentre la scrittura procede. Un burstiness checker mostrerà direttamente questa dispersione.

Aumentiamo il ritmo quando siamo sicuri e rallentiamo quando stiamo esprimendo riserve, e quel ritmo sopravvive nella prosa. Le persone scrivono a scatti. Un paragrafo può aprirsi con una breve frase dichiarativa di otto parole, passare a una frase di trentaquattro parole che contiene tre proposizioni e una parentesi, poi tornare a qualcosa di rapido.

Il testo prodotto dal modello non fa questo in modo affidabile. Le frasi si addensano attorno alla lunghezza media. I paragrafi arrivano in blocchi ordinati. Ogni sezione inizia ribadendo il proprio titolo. Si legge in modo scorrevole e ottiene un punteggio basso, perché una bassa varianza tra le frasi è uno dei segnali più forti a disposizione di un rilevatore. Non è una singola frase a tradirlo. È l'uniformità.

Segnale	Cosa misura	Perché il testo generato dalla macchina ottiene un punteggio basso
Perplexity	Quanto il modello è sorpreso dalle tue scelte lessicali, in media sull'intero documento	La decodifica campiona per progettazione token ad alta probabilità
Burstiness	Quanto la lunghezza delle frasi e la prevedibilità variano nel testo	L'output si addensa attorno alla media invece di oscillare
Probabilità del token	La probabilità per parola da cui vengono calcolati gli altri due	Lunghi tratti di scelte singolarmente poco notevoli

Probabilità del token e da dove proviene il punteggio

Entrambi questi numeri si costruiscono a partire da un terzo: il log-likelihood per token, la materia prima da cui si calcola tutto il resto. Alcuni strumenti lo mostrano direttamente, evidenziando i tratti in cui il tuo testo era più prevedibile. Quegli evidenziamenti non sono accuse rivolte a frasi specifiche, qualunque cosa suggerisca l'interfaccia. Sono le parti che hanno contribuito di più a un numero a livello di documento.

Gli approcci di ricerca hanno superato le semplici soglie. DetectGPT e i suoi discendenti esaminano la curvatura: perturbano leggermente il tuo testo e verificano se la probabilità diminuisce secondo il modello che il testo generato tende a mostrare. Altri confrontano lo stesso passaggio sotto due modelli diversi e usano il disaccordo come segnale.

Una conseguenza è importante per chiunque sia valutato. Poiché le metriche sono calcolate rispetto a un particolare modello di riferimento, un punteggio è sempre relativo a quel modello. Due rilevatori possono leggere lo stesso paragrafo e non essere affatto d'accordo, e nessuno dei due sta funzionando male. Stanno rispondendo alla stessa domanda con punti di riferimento diversi.

La seconda conseguenza è osservata meno spesso. Un modello può individuare un passaggio come prevedibile solo se quel passaggio somiglia a ciò su cui è stato addestrato, quindi la qualità del rilevamento peggiora man mano che aumenta il divario tra il modello di riferimento e ciò che ha prodotto il testo. Generatori più recenti, discipline insolite e lingue diverse dall'inglese ampliano tutti quel divario. È in parte per questo che l'accuratezza misurata in un benchmark controllato raramente sopravvive al contatto con un insieme reale di consegne.

Perché il testo AI viene rilevato affatto

Come un modello linguistico sceglie la sua parola successiva

Lasciato a se stesso, un modello linguistico si limiterebbe a restituire il suo elenco completo e ordinato delle possibili parole successive e lascerebbe che qualcos'altro scelga. In pratica, una strategia di decodifica effettua automaticamente quella scelta, parola dopo parola, e la strategia in uso modifica l'aspetto dell'output anche quando il modello sottostante non cambia mai.

La decodifica greedy seleziona sempre la singola parola più probabile. Nell'articolo che ha introdotto il nucleus sampling come soluzione, Ari Holtzman e coautori hanno osservato che seguire questa strategia porta a un testo che, nelle loro parole, è "bland and strangely repetitive." Il beam search, che segue più continuazioni probabili contemporaneamente prima di stabilirne una, incontra una versione simile dello stesso problema.

Le strategie di sampling reintroducono una certa casualità, ma in modo controllato. La temperature regola con quanta nettezza il modello favorisce le proprie scelte principali prima che venga estratta una parola. Il nucleus sampling, talvolta chiamato top-p, tronca la distribuzione al più piccolo insieme di parole la cui probabilità combinata supera una soglia ed estrae solo da quel insieme, descritto nell'articolo originale come campionamento da un nucleo dinamico della distribuzione piuttosto che dalla sua coda inaffidabile.

Anche la meno deterministica di queste impostazioni attinge comunque a una rosa ristretta costruita attorno a ciò che il modello considera già probabile. La scrittura umana non è mai stata generata classificando un vocabolario e pescando dalle sue parole più probabili, quindi oltrepassa costantemente quella rosa ristretta. Il significato talvolta risiede nella parola che non era mai stata nell'elenco.

Appiattimento del vocabolario: meno parole, più prudenti

L'appiattimento del vocabolario è la versione a livello di parola della stessa abitudine. In ogni punto di una frase, decine di parole potrebbero plausibilmente proseguirla, ma poche si collocano molto al di sopra delle altre nella classifica del modello, e la decodifica continua a ricadere su quelle poche. Moltiplicando questa scelta per ogni frase di un documento, la gamma di parole effettivamente usate si restringe in modo misurabile rispetto a una scrittura umana di lunghezza simile.

L'effetto si accumula invece di restare costante. Un modello che ricorre alla parola più alta in classifica nella prima frase ha più probabilità di creare un contesto in cui anche la parola più alta in classifica nella seconda frase sia comune, perché le parole comuni tendono a seguire altre parole comuni. Uno scrittore umano interrompe costantemente questa deriva, ricorrendo al termine tecnico specifico, al verbo leggermente insolito, alla parola che nomina la cosa reale invece di una sua approssimazione prudente. Questa differenza emerge come un vocabolario di lavoro misurabilmente più ridotto nella versione generata, anche quando entrambe le versioni descrivono gli stessi fatti di base.

Si tratta di una proprietà dell'intero brano, non di una singola scelta lessicale. Una parola prudente non prova nulla. Una pagina di parole di questo tipo, con frase dopo frase che ricorre allo stesso livello di vocabolario comune, è ciò che il segnale a livello di parola di un rilevatore è effettivamente costruito per notare.

Uniformità sintattica: le stesse forme, ripetute

L'uniformità sintattica è la versione a livello di frase. Non riguarda la lunghezza di una frase. Riguarda quante forme grammaticali distinte usa un brano: come si aprono le frasi, come le proposizioni si collegano tra loro, quanto spesso una parola di transizione svolge il compito di collegare un'idea alla successiva. Un modello che continua a prevedere la struttura successiva statisticamente probabile si assesta in una piccola rotazione di forme e la ripete.

Un paragrafo può variare la lunghezza delle sue frasi e risultare comunque sintatticamente piatto se ogni frase segue la stessa struttura soggetto-verbo-complemento, si apre con lo stesso tipo di transizione, oppure si risolve nello stesso modo. La prevedibilità risiede nel modello, non nel numero di parole, una distinzione trattata più in dettaglio nella guida su che cosa misura davvero la burstiness.

Che cosa restringe	Che cosa tende a fare un testo ottimizzato per il decoding	Che cosa tende a fare la scrittura umana
Scelta delle parole	Si orienta verso la parola comune più probabile a ogni passaggio	Ricorre alla parola specifica o meno comune che nomina la cosa reale
Apertura della frase	Ripete una piccola rotazione di aperture transizionali sicure	Varia il modo in cui una frase inizia, comprese aperture che un modello valuterebbe come meno probabili
Struttura della proposizione	Ripete una o due forme grammaticali preferite lungo un passaggio	Mischia strutture semplici e complesse in base a ciò di cui una frase ha bisogno

Le scelte che tende a fare solo un essere umano

Il rovescio di una fascia ristretta è ciò che ne resta fuori. Una persona che descrive eventi reali ricorre alla cifra esatta invece di una arrotondata, ammette la parte che non ha funzionato, interrompe una frase per correggerla a metà del pensiero, oppure sceglie una parola che è corretta piuttosto che tipica. Ognuna di queste scelte è, dal punto di vista di un language model, un token a bassa probabilità, esattamente il tipo di elemento che il decoding è costruito per evitare.

Niente di tutto questo significa che una scrittura specifica o insolita sia al sicuro da ogni segnalazione, oppure che una scrittura fluida e corretta sia sospetta per definizione. Una sezione di metodo, una clausola legale o una bozza finale molto revisionata possono rientrare in una fascia ristretta per ragioni che non hanno nulla a che vedere con un modello, ed è per questo che un singolo punteggio è la descrizione di un modello, non un verdetto su chi lo abbia digitato.

Vedere dove si colloca la propria bozza in quella fascia è più utile che fare supposizioni. Il controllore gratuito di perplexity e il controllore di burstiness di TextPulse misurano separatamente la prevedibilità a livello di parola e il ritmo da una frase all'altra, così un lessico piatto e una struttura di frase ripetuta emergono come due segnali distinti invece che come un unico numero composito.

Da questo derivano due pagine più circoscritte. Come Turnitin rileva specificamente l'AI è una, e la differenza tra il suo punteggio di similarità e il suo punteggio AI è l'altra, poiché i due vengono abitualmente confusi l'uno con l'altro.

Entrambe rientrano nella più ampia collezione di strumenti gratuiti, per chiunque voglia vedere il modello con i propri occhi invece di affidarsi ciecamente a un singolo numero.

Quanta parte del web è ora generata dall'AI?

Secondo diversi criteri, il testo prodotto dalle macchine supera ormai quello scritto dagli esseri umani online. Un team di Amazon Web Services ha analizzato 6,4 miliardi di frasi dal web e ha rilevato che il 57.1% esisteva come traduzioni automatiche in tre o più lingue, in gran parte di bassa qualità. Un'analisi del 2025 della società SEO Graphite ha rilevato che poco più della metà degli articoli web pubblicati di recente era generata dall'AI. Wikipedia non è esente: uno studio di Princeton su pagine create nell'agosto 2024 ha misurato circa una nuova pagina inglese su venti come sostanzialmente generata dall'AI.

La quota è in aumento, perché il costo dell'output dei modelli è inferiore di ordini di grandezza rispetto alla scrittura umana e ogni incentivo commerciale va nella stessa direzione. Intere piattaforme ora funzionano senza alcun autore umano: Chirper è un social network popolato interamente da account AI, dove gli esseri umani possono solo osservare, e SocialAI vende un feed in cui ogni risposta a te è un bot. Forum, sezioni di recensioni e thread di commenti presentano lo stesso schema su scala minore.

Per il rilevamento, questo modifica il tasso di base. Un classificatore che legga testo web arbitrario nel 2023 poteva presumere che la maggior parte fosse umana, un classificatore nel 2026 non può farlo. Inoltre, questo si ripercuote sui modelli stessi, poiché ogni nuova generazione si addestra su un web che i suoi predecessori hanno già contribuito a scrivere, ed è uno dei motivi per cui le abitudini lessicali su cui i rilevatori si concentrano si diffondono invece di attenuarsi.

Per la tua scrittura, la conseguenza è netta: la prosa scritta da esseri umani sta diventando la classe minoritaria, e docenti, redattori e lettori lo sanno. Il sospetto accresciuto è ormai la norma, ed è proprio per questo che conviene capire che cosa un rilevatore può e non può misurare.

Che cosa aggiungono i rilevatori commerciali

Gli strumenti che le istituzioni acquistano davvero non eseguono la perplexity da manuale. Turnitin, GPTZero, Originality e gli altri addestrano classificatori supervisionati su grandi insiemi etichettati di testo umano e di macchina, usando caratteristiche statistiche insieme a quelle stilistiche. Ciò che il classificatore apprende è tutto ciò che separa quei due gruppi nei suoi dati di addestramento, e questo è qualcosa di più ristretto e più storico rispetto alla "scrittura AI" in generale.

La dipendenza dall'addestramento è il problema silenzioso. Un classificatore addestrato principalmente sull'output di una generazione di modelli deve generalizzare a modelli più recenti, a discipline non familiari e a scrittori il cui inglese non assomiglia alla sua distribuzione di addestramento. I fornitori pubblicano valori di accuratezza ricavati dalle proprie valutazioni, e i benchmark indipendenti si collocano regolarmente ben al di sotto di quei numeri sugli stessi strumenti.

Leggere un punteggio senza leggerci troppo

Un rapporto di un rilevatore di solito arriva come percentuale, e quella percentuale viene regolarmente interpretata in modo errato. Non è la proporzione del tuo documento scritta da una macchina. A seconda dello strumento, è un livello di confidenza del classificatore, oppure la quota di frasi che hanno superato una certa soglia interna, e i fornitori sono spesso vaghi su quale delle due. Due rapporti che mostrano entrambi il sessanta percento possono significare cose molto diverse.

È inoltre utile sapere che cosa fa variare un punteggio per ragioni che non hanno nulla a che vedere con chi lo ha scritto. I documenti brevi sono più rumorosi, perché c’è meno testo su cui le medie possano stabilizzarsi, e un saggio di cinquecento parole può oscillare molto sulla base di due o tre frasi insolite. Anche il materiale citato conta, a meno che lo strumento non lo escluda, quindi una rassegna della letteratura piena di blocchi di citazione eredita la prevedibilità di ciò che cita. Un passaggio tecnico carico di terminologia standard si comporta allo stesso modo.

Se si riceve una segnalazione, la risposta utile è la prova, non un argomento sulla metrica. La cronologia delle versioni, le bozze, gli appunti e i registri di ricerca parlano tutti del processo, e il processo è ciò che un collegio disciplinare può effettivamente valutare. Non esiste alcuna soglia che qualcuno possa indicare e che separi uno scrittore attento da un modello.

Perché i rilevatori segnalano testi che nessun modello ha prodotto

I falsi positivi non sono un malfunzionamento raro. Derivano direttamente dalla misurazione della tipicità. Qualsiasi testo che sia davvero prevedibile otterrà un punteggio di prevedibilità, indipendentemente da chi lo abbia prodotto.

Gli scrittori non madrelingua inglese sono i più colpiti. I ricercatori di Stanford hanno scoperto che i rilevatori classificavano erroneamente come generati da macchina una larga parte dei saggi scritti da parlanti non madrelingua, mentre classificavano correttamente i saggi di parlanti madrelingua. La ragione è meccanica, non malevola: gli scrittori che lavorano in una seconda lingua tendono a fare affidamento su costruzioni collaudate e su un lessico più comune. Questo è esattamente il profilo di una bassa perplexity, ed è per questo che gli scrittori ESL vengono segnalati per aver scritto con attenzione.

Le convenzioni accademiche causano lo stesso problema. Una sezione di metodologia dovrebbe essere formulaica. La scrittura giuridica, la documentazione tecnica e la refertazione clinica premiano tutte la formulazione standard più di quella inventiva. Una forte revisione aggrava ulteriormente il problema, poiché rifinire una bozza significa di solito eliminare le irregolarità che portavano la vostra firma statistica.

Le istituzioni se ne sono accorte. Vanderbilt ha disattivato la funzione di rilevamento dell'AI di Turnitin invece di agire su punteggi che non poteva verificare, e altre università hanno սահմանato il modo in cui i numeri possono essere usati nei procedimenti per cattiva condotta. Considera il punteggio di un rilevatore come un elemento di prova debole, non come un verdetto.

Cosa significa questo per la tua scrittura

Il consiglio pratico che deriva dal funzionamento non è esotico, e non implica in alcun modo di aggirare il sistema. Varia deliberatamente la lunghezza delle frasi, perché è l'uniformità a essere registrata. Mantieni il dettaglio specifico, la cifra reale, il limite reale, ciò che è andato storto nella sesta settimana. La competenza generica è ciò che viene valutato come prodotto da una macchina, e la specificità è insieme una scrittura migliore e un segnale più forte.

Mantieni anche il tuo idioma. Se hai un modo tuo di esprimerti, lascialo. L'impulso a levigare una bozza fino a farla suonare come ogni altro elaborato del settore è l'impulso che abbassa la tua perplexity.

Una cosa da evitare: alcuni strumenti introducono deliberatamente errori grammaticali per aumentare la perplexity. Funziona sulla metrica ed è una pessima idea per qualsiasi testo valutato o sottoposto a revisione tra pari, perché stai scambiando un sospetto con una certezza. L'obiettivo è una scrittura che si legga come tua, non una scrittura danneggiata di proposito. Questa è l'intera differenza tra riscrivere per un lettore umano e alterare il testo per ingannare un valutatore.

Se vuoi vedere questi numeri sul tuo elaborato invece di accettare la parola di una scatola nera, le misurazioni sottostanti non sono segrete. I strumenti gratuiti di analisi del testo ti mostreranno dove si colloca la tua prosa, e potrai decidere da solo se i tratti piatti siano un problema stilistico che vale la pena correggere.