I rilevatori di AI sono accurati? Falsi positivi e bias

Turnitin afferma che il loro tasso di falsi positivi è inferiore all'1%. Un gruppo di ricercatori indipendenti ha testato più rilevatori su una gamma più ampia di campioni di scrittura di parlanti non nativi di inglese. Hanno riscontrato che il tasso medio di falsi positivi era superiore al 60% su quel medesimo tipo di scrittura. Entrambi i numeri sono reali, entrambi sono stati pubblicati ed entrambi riguardano rilevatori venduti allo stesso mercato. I rilevatori di AI sono accurati? Dipende dalla popolazione che hai testato, dal rilevatore che hai usato e da come il tuo fornitore lo ha definito in primo luogo.

Questo post non spiegherà di nuovo come un rilevatore calcola quel punteggio. Il meccanismo, la perplexity, la probabilità dei token, il modo in cui il classificatore viene addestrato, è trattato in dettaglio altrove, e vale la pena leggerlo prima, se non lo hai già fatto. Ciò che conta qui è che cosa accade una volta che il punteggio esiste: quanto spesso è sbagliato, su chi la scrittura è sbagliata più spesso, e quanto costa davvero a qualcuno una falsa accusa quando non ha fatto nulla di sbagliato.

I rilevatori di AI sono accurati?

Non in modo coerente, e il divario tra le affermazioni di marketing e i test indipendenti è ben documentato. Un gruppo di ricercatori guidato da Debora Weber-Wulff ha pubblicato i propri risultati su 14 strumenti di rilevamento, inclusi 12 gratuiti e due commerciali, che sono stati testati contro una combinazione di testo umano e ChatGPT nel 2023. Hanno riscontrato che nessuno di questi strumenti è accurato o affidabile, con un pregiudizio incorporato a etichettare il testo prodotto da macchina come umano piuttosto che il contrario. Due degli strumenti commerciali inclusi in questo test erano Turnitin e PlagiarismCheck. Tutti gli strumenti in questo test hanno ottenuto risultati peggiori quando il testo è stato parafrasato.

Ma a distanza di due anni, le cose non sono stagnanti. Un working paper della Booth School dell'Università di Chicago, di Brian Jabarian e Alex Imas, ha sottoposto a prova tre nuovi arrivati, Pangram, GPTZero e Originality.ai, e un concorrente open source, con quasi 2.000 testi scritti da esseri umani provenienti da blog, notizie, recensioni e narrativa. In condizioni di test controllate, il miglior strumento del gruppo non è mai sceso sotto il 99.8 percento di accuratezza e ha mantenuto il proprio tasso di falsi positivi a un livello basso. Il modello open source ha ottenuto risultati pari a quelli di un risponditore casuale. Le cose sono davvero migliorate. In un certo senso. Un po'.

Ma il punto critico è la parola controllate. I passaggi di benchmark sono puliti, completi e prodotti in condizioni note. Un saggio sottoposto non è in modo affidabile nessuna di queste cose. I risultati nel mondo reale possono non essere identici ai risultati di laboratorio, come ha affermato pubblicamente il chief product officer di Turnitin, anche se si tratta di un'ammissione rara e utile da parte di un fornitore. La sezione successiva affianca i numeri del fornitore a quelli indipendenti, così che il divario sia visibile anziché semplicemente affermato.

Le affermazioni del fornitore rispetto ai test indipendenti

La tabella seguente mette a confronto ciò che quattro rilevatori dichiarano di sé con ciò che i ricercatori indipendenti hanno misurato quando hanno testato direttamente gli strumenti. Leggete insieme le due colonne centrali, non solo la colonna del fornitore.

Rilevatore	Accuratezza dichiarata dal fornitore	Osservata indipendentemente	Ciò che il fornitore dice sui falsi positivi
Turnitin	Soglia di confidenza del 98% prima della segnalazione, meno dell'1% di falsi positivi a livello di documento	Circa 80% di accuratezza, la migliore tra 12 strumenti in un confronto del 2023, su una versione precedente dello strumento	Meno dell'1% a livello di documento oltre una soglia del 20% di testo scritto da AI, circa 4% a livello di frase
GPTZero	95,7% di rilevamento del testo AI con un tasso di falsi positivi dell'1% nel benchmark indipendente RAID	96% di accuratezza su passaggi brevi, tasso di falsi positivi inferiore all'1% in uno studio del 2025 della University of Chicago Booth	Riporta un tasso di falsi positivi dell'1% nel benchmark RAID
Originality.ai	99% di accuratezza, tasso di falsi positivi dello 0,5% (modello Lite), 1,5% (modello Turbo)	Tasso di falsi positivi inferiore all'1%, ma ha mancato dal 10% al 40% del testo scritto da AI nello stesso studio Booth	Pubblica valori separati di falsi positivi per livello di modello
Pangram	Tassi di errore che dichiara essere oltre 38 volte inferiori rispetto agli strumenti concorrenti, afferma di non avere pregiudizi contro gli autori non madrelingua inglese	Accuratezza mai inferiore al 99,8%, tasso di falsi positivi vicino allo zero, nello studio Booth	Afferma tassi di falsi positivi prossimi allo zero in 10 domini testuali e 8 modelli linguistici

Due aspetti emergono chiaramente. Primo, tutte le cifre dei fornitori provengono da un laboratorio controllato dal fornitore e le cifre Booth provengono da ricercatori che non hanno nulla da vendere. Secondo, Turnitin non compare affatto in quella colonna centrale, poiché lo studio del 2025 non lo ha testato. Nella tabella, la sua cifra indipendente si basa su un confronto precedente del 2023, ma è stata ottenuta su una versione più vecchia dello strumento, quindi occorre tenerlo presente quando si guarda la tabella come confronto tra elementi equivalenti.

Quanto è accurato il rilevamento AI di Turnitin?

Turnitin non pubblica un unico dato di accuratezza. Pubblica invece una soglia e un compromesso. L'azienda ha dichiarato che segnala un documento solo quando è sicura al 98 percento che la parte segnalata sia stata scritta da AI, e che questa soglia è ciò che mantiene il tasso di falsi positivi a livello di documento sotto l'1 percento. Turnitin ha stimato di intercettare circa l'85 percento della scrittura assistita da AI, lasciando passare deliberatamente il resto piuttosto che rischiare un'accusa errata.

La percentuale effettiva di falsi positivi che Turnitin restituisce a livello di frase, dove un'interfaccia evidenzia righe specifiche invece di un intero documento, è in realtà più vicina al 4 percento. Questo è il dato che vale la pena conoscere se un professore fa uno screenshot di un singolo paragrafo segnalato invece di un punteggio sull'intero documento, perché una frase evidenziata comporta una probabilità significativamente più alta di essere errata rispetto al punteggio del documento accanto ad essa.

Vale anche la pena notare che Turnitin ha riconosciuto direttamente questo divario. Ha rilevato che i suoi primi risultati nel mondo reale, in particolare per i documenti più brevi, presentavano tassi di falsi positivi più alti di quanto previsto in base ai test di laboratorio. Ha quindi modificato la lunghezza minima del documento da valutare da 150 a 300 parole. Questo è un fornitore che adatta il proprio prodotto perché il numero pubblicato non reggeva fuori dal laboratorio, e questo dice quanto qualsiasi studio indipendente.

Che cosa costa davvero a uno studente un falso positivo

Questo è accaduto a uno studente di executive MBA alla School of Management di Yale. Lo studente è stato accusato di una violazione, nel senso più letterale possibile. Il rilevatore coinvolto era GPTZero. L'esame finale dello studente in un corso di finanza era stato segnalato da un assistente didattico che riteneva che la scrittura fosse lunga ed elaborata, con punteggiatura e grammatica quasi perfette. E questo particolare professore lo stava passando attraverso GPTZero, che ha valutato le risposte come probabilmente generate da AI.

Ha fallito il corso ed è stato sospeso per un anno. La sua causa, depositata presso un tribunale federale nel febbraio 2025, sostiene che la stessa politica di Yale limita l’uso di strumenti come GPTZero proprio per questo motivo, il suo tasso documentato di falsi positivi contro gli studenti non madrelingua inglese, e che egli lo abbia usato in violazione di tale politica. Il suo atto cita inoltre che GPTZero ha restituito un punteggio del 100 percento di contenuto generato da AI su testi accademici dell’ex presidente dell’università di Yale e del preside della business school.

Il giudice ha rifiutato di emettere un’ingiunzione preliminare nel maggio 2025. Il caso non è ancora stato risolto, al momento in cui scrivo. Il querelante, cittadino francese, sostiene che lo stesso pregiudizio noto contro gli studenti non madrelingua inglese abbia causato il risultato del suo scritto. È ciò che esaminiamo nella sezione successiva. Ciò che non è in discussione è il prezzo: un anno perso in un programma di laurea, un voto insufficiente, spese legali e diversi mesi trascorsi a litigare su un punteggio invece di conseguire un titolo. Un tasso di falsi positivi dell’1 percento sembra poco finché una grande popolazione non lo rende il problema di una persona specifica.

Quali caratteristiche della scrittura fanno sembrare un testo umano prodotto da una macchina

Quattro tipi di scrittura ordinaria comportano il rischio maggiore, e nessuno di essi implica che una persona stia facendo qualcosa di sbagliato. I documenti brevi, la scrittura fortemente formulaica, il materiale citato o basato su modelli, e la scrittura che è stata sottoposta a una revisione molto accurata tendono tutti a ottenere punteggi come più prevedibili della prosa composta liberamente, che è l’unica proprietà che ogni rilevatore misura davvero. Un controllore gratuito di burstiness misura direttamente la stessa variazione, il che è un modo più rapido per vedere il modello rispetto alla lettura di una sua descrizione.

Alcuni generi sono formulaici per progettazione. Una sezione di metodi, un report di laboratorio, una lettera di presentazione standard e una rassegna della letteratura premiano tutti la formula convenzionale rispetto a quella inventiva, perché è la convenzione a rendere il documento utilizzabile per il suo lettore. I ricercatori hanno testato questo aspetto direttamente su testi reali: hanno sottoposto 14,400 abstract di riviste pubblicati tra il 1980 e il 2023, anni precedenti all'esistenza di qualsiasi large language model, a un rilevatore disponibile pubblicamente. Fino all'8 percento è stato segnalato come generato da AI indipendentemente dall'anno di pubblicazione, e gli abstract del New England Journal of Medicine sono stati segnalati al 10.24 percento, il tasso di falsi positivi più alto tra le cinque riviste testate.

Il test non avrebbe potuto rilevare nulla riguardo a ChatGPT, poiché ChatGPT non esisteva per la maggior parte degli anni campionati. Rilevava il genere. Più formalmente, come direbbe l'analisi statistica del problema di rilevamento del 2026, non c'è modo di costruire un rilevatore che distingua tra una frase prevedibile perché scritta da software e una frase prevedibile perché è il tipo di cosa che si scrive in quel genere. Dall'esterno appaiono esattamente uguali.

Una revisione pesante spinge in una direzione simile. Una prima bozza porta con sé le irregolarità specifiche di chi scrive, l'ordine insolito delle parole, la frase che si prolunga perché si è prolungato anche il pensiero. Un passaggio accurato di correzione, soprattutto se eseguito attraverso un altro strumento, tende a smussare proprio quelle irregolarità. Il più ampio confronto indipendente tra strumenti di rilevamento condotto finora ne ha testati 14 e ha rilevato che l'accuratezza diminuiva ulteriormente, per ogni strumento, una volta che il testo campione era stato parafrasato o tradotto automaticamente.

Caratteristica della scrittura	Perché riduce l'apparente imprevedibilità di un documento	Cosa mostra l'evidenza
Invii brevi	Meno testo lascia meno spazio alla variazione naturale che separa il ritmo umano dal ritmo della macchina	I punteggi sui documenti brevi oscillano di più in base alla forza di poche frasi insolite
Scrittura formulaica o specifica della disciplina	La convenzione del genere premia la frase attesa rispetto a quella inventiva	14,400 abstract di riviste precedenti a ChatGPT (1980 to 2023) hanno comunque attivato fino all'8% di falsi positivi; gli abstract di una rivista hanno raggiunto il 10.24%
Bozze pesantemente modificate o parafrasate	Una fase di rifinitura attenua le irregolarità individuali che un rilevatore legge come umane	Un confronto indipendente tra 14 strumenti ha rilevato che l'accuratezza diminuiva ulteriormente dopo la parafrasi o la traduzione automatica
Materiale citato o basato su modelli	Il passaggio citato porta la firma statistica della sua fonte, non quella dello scrivente che lo cita	I rilevatori che non escludono le citazioni valutano il documento circostante sulla base di testo preso in prestito

Perché i rilevatori di AI classificano erroneamente i parlanti non nativi di inglese?

Male, e con un margine ampio. Questa è la conclusione dello studio che per primo ne ha quantificato l'entità. Ricercatori di Stanford hanno applicato sette rilevatori GPT ampiamente usati a 91 saggi TOEFL scritti da parlanti non nativi di inglese e a 88 saggi di studenti statunitensi di ottava classe. I rilevatori hanno letto correttamente quasi sempre i saggi di ottava classe. Per quanto riguarda i saggi TOEFL, scritti da adulti abbastanza fluenti da sostenere un test di inglese di livello universitario, i rilevatori hanno registrato in media un tasso di falsi positivi del 61.3 percento. Ottantanove dei 91 saggi sono stati segnalati come generati da GPT da almeno uno dei sette rilevatori; 18 di questi saggi sono stati segnalati da tutti e sette i rilevatori.

Il meccanismo è lo stesso che governa il resto del rilevamento: un lessico prevedibile e una costruzione delle frasi più semplice vengono letti come bassa perplexity, e la bassa perplexity viene letta come prodotta da una macchina, indipendentemente da chi tenga la penna. Gli autori che scrivono in una seconda lingua fanno affidamento su formulazioni ben consolidate perché è così che appare davvero la padronanza di una lingua aggiuntiva, e questo è precisamente il profilo che un detector è stato costruito per segnalare.

Gli autori in questa posizione non traggono grande beneficio dal consiglio di scrivere semplicemente in modo più naturale, poiché naturale è esattamente ciò che è stato segnalato. La pagina di TextPulse per gli autori accademici ESL tratta in modo più approfondito i modelli di formulazione alla base di questo rischio, incluso ciò che li modifica senza cambiare il significato della frase.

Questo non fu un caso isolato. Nel dicembre 2025 è stato pubblicato un nuovo benchmark, progettato esplicitamente per valutare il bias in questi detector. Includeva oltre 200,000 campioni distribuiti su più demografie e lingue. Nonostante fosse stato pubblicato due anni dopo il primo studio di Stanford e includesse molte versioni diverse dei modelli degli stessi detector, questo benchmark ha rivelato che il bias verso gli studenti di lingua inglese è ancora presente.

Questo non vale per tutti i fornitori. La documentazione tecnica di Pangram afferma che il suo classificatore non è biasato contro chi non è madrelingua inglese. I ricercatori della Chicago Booth non hanno verificato indipendentemente questa affermazione, ma essa mostra che la generazione più recente di detector viene costruita tenendo presente il problema, invece di ignorarlo.

Se si vuole vedere dove si colloca il proprio testo prima che qualcun altro lo valuti, un controllore gratuito di perplexity fornisce lo stesso numero di base che un detector calcolerebbe, senza inviare prima nulla a un'istituzione.

Chi altro viene segnalato, e perché

I parlanti non nativi dell'inglese portano il rischio documentato più elevato, ma la stessa logica statistica intercetta anche altri testi. Il team di Weber-Wulff ha rilevato che tutti i 14 strumenti che hanno testato erano meno accurati quando li applicavano a testi parafrasati, questo descrive una quota significativa della scrittura accademica che è stata sottoposta a un correttore di bozze, a un editor o alla penna rossa di un supervisore prima che qualcuno vi esegua un rilevatore.

Nulla di tutto ciò significa che il numero sia privo di significato, solo che necessita di corroborazione prima di significare qualcosa su una persona specifica. Se si ha un testo che appare uniforme, con lunghezze di frase simili, ritmo simile in tutto il testo, esso otterrà un punteggio più simile a quello di una macchina, indipendentemente da chi lo abbia scritto o dal motivo. Questo può essere verificato direttamente usando un controllore gratuito di burstiness invece di essere ipotizzato.

Un secondo gruppo, meno discusso, affronta un problema correlato. I ricercatori hanno confrontato circa 60.000 post di Reddit, suddivisi tra un sottoinsieme identificato come probabilmente scritto da autori autistici e un campione generale, e li hanno sottoposti entrambi a un rilevatore basato su GPT-2. Entrambi i gruppi sono rimasti complessivamente sotto il 2 percento di segnalazioni, ma il sottoinsieme probabilmente autistico è stato segnalato a un tasso significativamente più alto rispetto al campione generale. Una scrittura che tende a una formulazione letterale, ripetitiva, strettamente schematica, una caratteristica documentata di alcuni stili di comunicazione autistici, produce esattamente il testo a bassa variazione che un rilevatore è costruito per intercettare.

Perché un punteggio sicuro non è un'accusa sicura

Tasso di falsi positivi sembra riferirsi alla probabilità che uno studente segnalato come problematico sia innocente. Ma no. Descrive il funzionamento di un test per tutte le persone che lo eseguono. E si tratta di domande diverse con risposte diverse, proprio come per qualsiasi test di screening in medicina o nella sicurezza.

Un'analisi statistica del marzo 2026 condotta da un ricercatore della Griffith University rende esplicita la matematica sottostante. Se si considera il rilevamento dell'AI come un test applicato a una popolazione di studenti autori di testi, anziché a un singolo documento isolato, emerge un compromesso: ogni volta che una parte di quella popolazione scrive in un modo che si sovrappone naturalmente all'output tipico dell'AI, vicino alla convenzione del genere, vicino al registro di un apprendente di seconda lingua, qualsiasi rilevatore con una reale capacità di individuare testi scritti dall'AI deve sbagliare su una parte di quella quota sovrapposta. Non si tratta di un'affermazione secondo cui un rilevatore specifico sia costruito male. È una proprietà del test di una popolazione eterogenea con un singolo documento e senza altre prove.

L'esempio illustrativo dello stesso articolo mostra la portata del fenomeno. Si supponga che il 10 percento di una popolazione studentesca scriva in modo sufficientemente vicino all'output tipico dell'AI, e che un rilevatore sia tarato per individuare l'80 percento dei testi effettivamente scritti dall'AI. La matematica richiede allora un tasso medio di falsi positivi di almeno il 7.5 percento in quella popolazione. Non si tratta di un difetto dell'ingegneria del rilevatore: è una conseguenza diretta di quanto la scrittura di quel gruppo si sovrapponga statisticamente a ciò che viene rilevato.

Applicato a un'università di 10,000 studenti, quel solo limite inferiore implica circa 750 segnalazioni false nella popolazione, una conseguenza matematica del test di una popolazione eterogenea contro un singolo documento senza altre prove da valutare. L'autore dell'articolo precisa che queste cifre sono illustrative e non misurate in una vera istituzione. L'esempio mostra la forma del problema, non una previsione specifica per un singolo campus.

Come appare una politica di rilevamento dell'AI difendibile

Yale aveva già una politica che, a quanto riferito, limita strumenti come GPTZero, per ragioni molto vicine a quelle esposte in questo articolo: un tasso di falsi positivi documentato e un pregiudizio documentato contro gli scrittori di inglese non nativo. Quindi questa non è tanto la storia di uno studente sfortunato, quanto quella di una regola esistente che non è stata applicata. Quando una politica fa davvero rispettare la distinzione tra un punteggio e un verdetto, allora un punteggio diventa un elemento di input, non un verdetto.

• Considera il punteggio come un elemento di input, mai come la base unica per una constatazione di scorrettezza accademica
• Rendi nota agli studenti la percentuale di falsi positivi pubblicata dallo strumento prima di usarlo contro di loro
• Applica particolare cautela ai testi brevi e alla scrittura in inglese di non madrelingua, entrambi punti deboli documentati
• Garantisci una possibilità di ricorso che non richieda di confutare una statistica

Niente di tutto questo è insolito. È più vicino a come qualsiasi singolo elemento di prova forense dovrebbe essere trattato in altri contesti: utile, verificabile e mai sufficiente da solo.

Per un singolo autore, lo stesso principio si applica prima che esista un punteggio, non dopo. Un singolo numero, proveniente da qualsiasi strumento, è una stima e non un verdetto, e trattarlo come una certezza in entrambe le direzioni, innocente o colto in fallo, chiede al numero più di quanto possa sostenere.

Lo strumento AI humanizer tool di TextPulse riporta un Human Score secondo la stessa logica: una stima calcolata a partire dal tuo testo, non un verdetto di un rilevatore su di esso, utile come segnale di come una bozza si legge al momento, piuttosto che come promessa su ciò che dirà un rilevatore specifico.

La questione dell'accuratezza si divide in questioni più ristrette, ciascuna con una propria pagina. Le prove specifiche sul tasso di falsi positivi di Turnitin e sull'accuratezza di ZeroGPT sono trattate separatamente. Se un punteggio è già stato usato contro di te, ci sono indicazioni pratiche su cosa fare quando sei accusato di aver usato AI, sulle prove che puoi raccogliere per dimostrare di non aver usato AI e su come scrivere una lettera di ricorso che risponda al punteggio secondo i suoi stessi termini.

Il numero in qualsiasi rapporto continuerà a cambiare man mano che i fornitori riaddestrano i loro modelli e i ricercatori continuano a testarli contro casi più difficili. Ma ciò che non dovrebbe cambiare è l'abitudine sottostante: leggere un punteggio come una misura tra le altre, chiedere su quale popolazione sia stato validato e chiedere che cosa il fornitore non stia dicendo sui casi in cui continua a sbagliare.