Gli AI detectors sono accurati? Falsi positivi e bias

Turnitin afferma che il loro tasso di falsi positivi è inferiore all'1%. Un gruppo di ricercatori indipendenti ha testato più rilevatori su una gamma più ampia di campioni di scrittura di parlanti non nativi di inglese. Hanno riscontrato che il tasso medio di falsi positivi era superiore al 60% su quel medesimo tipo di scrittura. Entrambi i numeri sono reali, entrambi sono stati pubblicati, ed entrambi riguardano rilevatori che vendono allo stesso mercato. I rilevatori di AI sono accurati? Dipende dalla popolazione che hai testato, dal rilevatore che hai usato e da come il tuo fornitore lo ha definito in primo luogo.

Questo post non spiegherà di nuovo come un rilevatore calcola quel punteggio. Il meccanismo, la perplexity, la probabilità dei token, il modo in cui il classificatore viene addestrato, è trattato in dettaglio altrove, ed è opportuno leggerlo prima, se non lo hai ancora fatto. Ciò che conta qui è che cosa accade una volta che il punteggio esiste: quanto spesso è sbagliato, su quale tipo di scrittura è più spesso sbagliato, e che cosa costa in concreto una falsa accusa a qualcuno che non ha fatto nulla di sbagliato.

I rilevatori di AI sono accurati?

Non in modo coerente, e il divario tra le affermazioni di marketing e i test indipendenti è ben documentato. Un gruppo di ricercatori guidato da Debora Weber-Wulff ha pubblicato i propri risultati su 14 strumenti di rilevamento, inclusi 12 gratuiti e due commerciali, che sono stati testati contro una combinazione di testi umani e di ChatGPT nel 2023. Hanno riscontrato che nessuno di questi strumenti è accurato o affidabile, con un pregiudizio incorporato a etichettare il testo generato dalla macchina come umano piuttosto che il contrario. Due degli strumenti commerciali inclusi in questo test erano Turnitin e PlagiarismCheck. Tutti gli strumenti in questo test hanno ottenuto risultati peggiori quando il testo era parafrasato.

Ma a distanza di due anni, le cose non sono stagnanti. Un working paper della Booth School dell'Università di Chicago, di Brian Jabarian e Alex Imas, ha sottoposto tre nuovi arrivati, Pangram, GPTZero e Originality.ai, e un concorrente open source a una prova rigorosa con quasi 2.000 testi scritti da esseri umani, tratti da blog, notizie, recensioni e narrativa. In condizioni di test controllate, il miglior strumento del gruppo non è mai sceso sotto il 99,8 percento di accuratezza e ha mantenuto basso il suo tasso di falsi positivi. Il modello open source ha ottenuto risultati pari a quelli di chi indovina a caso. Le cose sono davvero migliorate. Più o meno. Un po'.

Ma il punto critico è la parola controllate. I passaggi di benchmark sono puliti, completi e prodotti in condizioni note. Un saggio presentato non è in modo affidabile nessuna di queste cose. I risultati nel mondo reale possono non essere identici ai risultati di laboratorio, come ha affermato pubblicamente il chief product officer di Turnitin, anche se si tratta di un'ammissione rara e utile da parte di un fornitore. La sezione successiva affianca i numeri del fornitore a quelli indipendenti, così che il divario sia visibile anziché soltanto affermato.

Le affermazioni dei fornitori rispetto ai test indipendenti

La tabella seguente mette a confronto ciò che quattro rilevatori dichiarano per sé con ciò che i ricercatori indipendenti hanno misurato quando hanno testato direttamente gli strumenti. Leggete insieme le due colonne centrali, non soltanto la colonna del fornitore.

Rilevatore	Accuratezza dichiarata dal fornitore	Osservata indipendentemente	Che cosa dice il fornitore sui falsi positivi
Turnitin	Soglia di confidenza del 98% prima della segnalazione, meno dell'1% di falsi positivi a livello di documento	Circa 80% di accuratezza, la migliore tra 12 strumenti in un confronto del 2023, su una versione precedente dello strumento	Meno dell'1% a livello di documento sopra una soglia del 20% di testo scritto da AI, circa 4% a livello di frase
GPTZero	95.7% di rilevamento del testo AI con un tasso di falsi positivi dell'1% sul benchmark indipendente RAID	96% di accuratezza su passaggi brevi, tasso di falsi positivi inferiore all'1% in uno studio del 2025 della University of Chicago Booth	Riporta un tasso di falsi positivi dell'1% sul benchmark RAID
Originality.ai	99% di accuratezza, tasso di falsi positivi dello 0.5% (modello Lite), 1.5% (modello Turbo)	Tasso di falsi positivi inferiore all'1%, ma ha mancato dal 10% al 40% del testo scritto da AI nello stesso studio Booth	Pubblica cifre separate sui falsi positivi per livello di modello
Pangram	Tassi di errore che afferma essere oltre 38 volte inferiori rispetto agli strumenti concorrenti, afferma di non avere bias contro gli autori non madrelingua inglese	Accuratezza mai inferiore al 99.8%, tasso di falsi positivi vicino allo zero, nello studio Booth	Afferma tassi di falsi positivi prossimi allo zero in 10 domini testuali e 8 modelli linguistici

Due aspetti emergono con chiarezza. Primo, tutte le cifre dei fornitori provengono da un laboratorio controllato dal fornitore e le cifre Booth provengono da ricercatori che non hanno nulla da vendere. Secondo, Turnitin non compare affatto in quella colonna centrale, poiché lo studio del 2025 non lo ha testato. Nella tabella, la sua cifra indipendente si basa su un confronto precedente del 2023, ma è stata ottenuta su una versione più vecchia dello strumento, quindi occorre tenerlo presente quando si osserva la tabella come confronto a parità di condizioni.

Quanto è accurato il rilevamento AI di Turnitin?

Turnitin non pubblica un unico dato di accuratezza. Pubblica invece una soglia e un compromesso. L'azienda ha dichiarato che segnala un documento solo quando è sicura al 98 percento che la parte segnalata sia stata scritta da AI, e che questa soglia è ciò che mantiene il tasso di falsi positivi a livello di documento sotto l'1 percento. Turnitin ha stimato di intercettare circa l'85 percento della scrittura assistita da AI, lasciando passare deliberatamente il resto piuttosto che rischiare un'accusa errata.

La percentuale effettiva di falsi positivi che Turnitin restituisce a livello di frase, dove un'interfaccia evidenzia righe specifiche invece di un intero documento, è in realtà più vicina al 4 percento. Questo è il dato che vale la pena conoscere se un professore fa uno screenshot di un singolo paragrafo segnalato invece di un punteggio sull'intero documento, perché una frase evidenziata comporta una probabilità significativamente più alta di essere errata rispetto al punteggio del documento accanto ad essa.

Vale anche la pena notare che Turnitin ha riconosciuto direttamente questo divario. Ha rilevato che i suoi primi risultati nel mondo reale, in particolare per i documenti più brevi, presentavano tassi di falsi positivi più elevati di quanto previsto in base ai test di laboratorio. Ha quindi modificato la lunghezza minima del documento da valutare da 150 a 300 parole. È un fornitore che adatta il proprio prodotto perché il numero pubblicato non reggeva fuori dal laboratorio, e questo dice molto quanto qualsiasi studio indipendente.

Che cosa costa davvero a uno studente un falso positivo

Questo è accaduto a uno studente di Executive MBA alla Yale's School of Management. Lo studente è stato accusato di una violazione, nel senso più letterale possibile. Il rilevatore coinvolto era GPTZero. L'esame finale dello studente in un corso di finanza era stato segnalato da un assistente didattico che riteneva che la scrittura fosse lunga ed elaborata, con punteggiatura e grammatica quasi perfette. E questo particolare professore lo stava passando attraverso GPTZero, che ha valutato le risposte come probabilmente generate da AI.

Ha fallito il corso ed è stato sospeso per un anno. La sua causa, depositata presso un tribunale federale nel febbraio 2025, sostiene che la stessa policy di Yale limita l'uso di strumenti come GPTZero proprio per questo motivo, il suo tasso documentato di falsi positivi contro i parlanti non nativi di inglese, e che egli lo ha usato in violazione di tale policy. Il suo atto cita inoltre che GPTZero ha restituito un punteggio del 100 percento di contenuto generato da AI su testi accademici dell'ex presidente dell'università di Yale e del preside della business school.

Il giudice ha rifiutato di emettere un'ingiunzione preliminare nel maggio 2025. Il caso non è ancora stato risolto, mentre scrivo. Il ricorrente, cittadino francese, sostiene che lo stesso pregiudizio noto contro i parlanti non nativi di inglese abbia causato il risultato del suo scritto. È questo che esaminiamo nella sezione successiva. Ciò che non è in discussione è il costo: un anno perso in un programma di laurea, un voto insufficiente, spese legali e diversi mesi trascorsi a litigare su un punteggio invece di conseguire un titolo. Un tasso di falsi positivi dell'1 percento sembra poco finché una popolazione ampia non lo rende un caso specifico.

Perché i rilevatori di AI classificano erroneamente i parlanti non nativi di inglese?

Male, e con un margine ampio. Questa è la conclusione dello studio che per primo ha quantificato il fenomeno. I ricercatori di Stanford hanno testato sette rilevatori di GPT ampiamente usati su 91 saggi TOEFL scritti da parlanti non nativi di inglese e su 88 saggi di studenti statunitensi di ottava classe. I rilevatori hanno letto correttamente quasi sempre i saggi di ottava classe. Quando si è trattato dei saggi TOEFL, scritti da adulti abbastanza competenti da sostenere un test di inglese di livello universitario, i rilevatori hanno registrato in media un tasso di falsi positivi del 61.3 percento. Ottantanove dei 91 saggi sono stati segnalati come generati da GPT da almeno uno dei sette rilevatori, 18 di quei saggi sono stati segnalati da tutti e sette i rilevatori.

Il meccanismo è lo stesso che governa il resto del rilevamento: un lessico prevedibile e una costruzione sintattica più semplice vengono letti come bassa perplexity, e la bassa perplexity viene letta come prodotta da una macchina, indipendentemente da chi tenga la penna. Gli autori che scrivono in una seconda lingua si affidano a formulazioni ben consolidate perché è così che appare davvero la fluidità in una lingua aggiuntiva, ed è proprio questo il profilo che un rilevatore è stato costruito per segnalare.

Gli autori in questa posizione non traggono grande beneficio dal consiglio di scrivere semplicemente in modo più naturale, poiché naturale è esattamente ciò che è stato segnalato. La pagina di TextPulse per gli autori accademici ESL tratta in modo più approfondito i modelli di formulazione che stanno dietro a questo rischio, incluso ciò che li modifica senza cambiare il significato della frase.

Questo non è stato un caso isolato. Nel dicembre 2025 è stato pubblicato un nuovo benchmark, progettato esplicitamente per valutare il bias in questi rilevatori. Includeva oltre 200,000 campioni distribuiti su più demografie e lingue. Nonostante fossero trascorsi due anni dal primo studio di Stanford e nonostante includesse molte versioni diverse dei modelli degli stessi rilevatori, questo benchmark ha rivelato che il bias verso chi apprende l'inglese è ancora presente.

Questo non vale per tutti i fornitori. La documentazione tecnica di Pangram afferma che il suo classificatore non è biased contro chi non è madrelingua inglese. I ricercatori di Chicago Booth non hanno testato indipendentemente questa affermazione, ma essa mostra che la generazione più recente di rilevatori viene costruita tenendo presente il problema, invece di ignorarlo.

Se si vuole vedere dove si colloca il proprio testo prima che qualcun altro lo valuti, un free perplexity checker fornisce lo stesso numero di base che un rilevatore calcolerebbe, senza inviare prima nulla a un'istituzione.

Chi altro viene segnalato, e perché

I parlanti non nativi dell'inglese sopportano il rischio documentato più elevato, ma la stessa logica statistica intercetta anche altri testi. Il team di Weber-Wulff ha rilevato che tutti i 14 strumenti che hanno testato erano meno accurati quando li applicavano a testi parafrasati, e questo descrive una quota significativa della scrittura accademica che è passata per un correttore di bozze, un editor o la penna rossa di un supervisore prima che qualcuno vi esegua un rilevatore.

Nulla di tutto questo significa che il numero sia privo di significato, solo che richiede una corroborazione prima di significare qualcosa su una persona specifica. Se si ha un testo che appare uniforme, con lunghezze delle frasi simili e un ritmo simile in tutto il testo, esso otterrà un punteggio più simile a quello di una macchina, indipendentemente da chi lo abbia scritto o dal motivo. Questo può essere verificato direttamente usando un free burstiness checker invece di essere ipotizzato.

Come appare una politica di rilevamento dell'AI difendibile

Yale aveva già una politica che, a quanto pare, limita strumenti come GPTZero, per ragioni molto vicine a quelle esposte in questo articolo, un tasso di falsi positivi documentato e un pregiudizio documentato contro gli scrittori non nativi dell'inglese. Quindi questa non è tanto la storia di uno studente sfortunato, quanto quella di una regola esistente non rispettata. Quando una politica fa davvero rispettare la differenza tra un punteggio e un verdetto, allora un punteggio diventa un elemento di input, non un verdetto.

• Trattare il punteggio come un elemento di input, mai come unica base per accertare una violazione
• Rendere noto agli studenti il tasso di falsi positivi pubblicato dallo strumento prima di usarlo contro di loro
• Applicare particolare cautela ai compiti brevi e alla scrittura in inglese di non nativi, entrambi punti deboli documentati
• Garantire un percorso di appello che non richieda di confutare una statistica

Nulla di tutto questo è insolito. È più vicino al modo in cui qualsiasi singolo elemento di prova forense dovrebbe essere trattato altrove: utile, verificabile e mai sufficiente da solo.

Per uno scrittore individuale, lo stesso principio si applica prima che esista un punteggio, non dopo. Un singolo numero, proveniente da qualsiasi strumento, è una stima e non un verdetto, e trattarlo come certezza in entrambe le direzioni, sicuro o scoperto, chiede al numero più di quanto esso possa sostenere.

Il tool AI humanizer di TextPulse riporta un Human Score sulla stessa logica: una stima calcolata a partire dal tuo testo, non un verdetto di un detector su di esso, utile come segnale di come una bozza si legge al momento, piuttosto che come promessa su ciò che dirà uno specifico detector.

La questione dell'accuratezza si divide in domande più ristrette, ciascuna con una propria pagina. Il tasso con cui i detector segnalano come artificiale la scrittura umana è trattato separatamente, così come l'evidenza specifica sul tasso di falsi positivi di Turnitin e sull'accuratezza di ZeroGPT. Se un punteggio è già stato usato contro di te, ci sono indicazioni pratiche su cosa fare quando vieni accusato di usare AI, sulle prove che puoi raccogliere per dimostrare che non hai usato AI, e su come scrivere una lettera di appello che risponda al punteggio secondo i suoi stessi criteri.

Il numero in qualsiasi report continuerà a cambiare man mano che i fornitori riaddestrano i loro modelli e i ricercatori continuano a testarli su casi più difficili. Ma ciò che non dovrebbe cambiare è l'abitudine che sta alla base: leggere un punteggio come una misura tra le altre, chiedersi su quale popolazione sia stato validato e chiedersi che cosa il fornitore non stia dicendo sui casi in cui continua a sbagliare.