Falsi positivi dei rilevatori di AI: perché la scrittura umana viene segnalata

Nel 1982, il New England Journal of Medicine pubblicò un articolo sul citomegalovirus in pazienti sottoposti a trapianto di midollo osseo. Superò la revisione tra pari e rimase nell'archivio per quattro decenni. Nel 2023, i ricercatori lo sottoposero a un rilevatore di scrittura AI che OpenAI aveva reso disponibile pubblicamente, e lo strumento lo valutò come probabile al 99.96 percento di essere generato da AI, trentasette anni prima che esistesse il modello da cui si supponeva fosse stato scritto. Questo è un falso positivo di un rilevatore AI nella sua forma più pura, un documento segnalato come scritto da una macchina che non può in alcun modo essere stato scritto da una macchina.

Questo esempio è estremo solo per la sua collocazione temporale. Il modello di fondo, un rilevatore che legge come prodotta da una macchina una prosa formulare e prevedibile, indipendentemente da chi l'abbia scritta o quando, emerge costantemente nelle normali consegne: saggi, lettere di presentazione, relazioni di laboratorio, dichiarazioni personali. Questo articolo tratta che cosa causa un falso positivo, quali tipi di scrittura sono più esposti e perché un singolo punteggio segnalato non è la prova che sembra essere.

Che cos'è un falso positivo di un rilevatore AI?

Il falso positivo di un rilevatore AI è un testo scritto da esseri umani che uno strumento di rilevazione valuta come generato da AI. Non si misura nulla del processo, dell'onestà o dell'abilità dello scrittore. Lo strumento confronta la forma statistica della frase, quanto siano prevedibili le scelte lessicali e la struttura, con la forma che ha imparato ad associare all'output di una macchina.

I fornitori riportano i tassi di falsi positivi come una singola piccola percentuale, di solito inferiore all'uno o due percento. Tale cifra descrive un test controllato su un benchmark costruito dal fornitore, non una garanzia su un singolo documento. La questione più ampia di se i rilevatori AI siano accurati in assoluto è già stata verificata in modo indipendente, e i risultati si collocano altrove, talvolta molto più in alto di qualsiasi numero del fornitore. Questo articolo resta più circoscritto: quali tipi di scrittura aumentano tale rischio e che cosa un punteggio segnalato può e non può dire a chiunque.

Quali caratteristiche della scrittura fanno sembrare il testo umano prodotto da una macchina

Quattro tipi di scrittura ordinaria comportano il rischio maggiore, e nessuno di essi implica che una persona stia facendo qualcosa di sbagliato. I documenti brevi, la scrittura fortemente formulaica, il materiale citato o basato su modelli, e la scrittura che è stata corretta con grande attenzione tendono tutti a ottenere punteggi di maggiore prevedibilità rispetto alla prosa composta liberamente, che è l'unica proprietà che ogni detector sta effettivamente misurando. Un free burstiness checker misura direttamente la stessa variazione, il che è un modo più rapido per vedere il pattern rispetto alla lettura di una sua descrizione.

Alcuni generi sono formulaici per progettazione. Una sezione dei metodi, un report di laboratorio, una lettera di presentazione standard e una rassegna della letteratura premiano tutti la formula convenzionale rispetto a quella inventiva, perché è la convenzione che rende il documento utilizzabile per il suo lettore. I ricercatori hanno testato questo direttamente su scrittura reale: hanno esaminato 14,400 abstract di riviste pubblicati tra il 1980 e il 2023, anni prima che esistesse qualsiasi large language model, tramite un detector disponibile pubblicamente. Fino all'8 percento è stato segnalato come generato da AI indipendentemente dall'anno di pubblicazione, e gli abstract del New England Journal of Medicine sono stati segnalati al 10.24 percento, il tasso di falsi positivi più alto tra le cinque riviste testate.

Il test non avrebbe potuto rilevare nulla riguardo a ChatGPT, poiché ChatGPT non esisteva per la maggior parte degli anni campionati. Ha rilevato il genere. Più formalmente, come direbbe l'analisi statistica del 2026 del problema del rilevamento, non c'è modo di costruire un detector che distingua tra una frase prevedibile perché scritta da software e una frase prevedibile perché è il tipo di cosa che si scrive in quel genere. Dall'esterno appaiono esattamente uguali.

Un editing pesante spinge in una direzione simile. Una prima bozza porta con sé le irregolarità specifiche di chi scrive: l'ordine insolito delle parole, la frase che si prolunga perché si è prolungato anche il pensiero. Una revisione accurata, soprattutto se eseguita con un altro strumento, tende a smussare proprio queste irregolarità. Il più ampio confronto indipendente tra strumenti di rilevazione condotto finora ne ha testati 14 e ha rilevato che l'accuratezza diminuiva ulteriormente, per ogni strumento, una volta che il testo campione era stato parafrasato o tradotto automaticamente.

Caratteristica della scrittura	Perché riduce l'apparente imprevedibilità di un documento	Cosa mostra l'evidenza
Invii brevi	Meno testo lascia meno spazio alla variazione naturale che separa il ritmo umano dal ritmo della macchina	I punteggi sui documenti brevi oscillano di più in base alla forza di poche frasi insolite
Scrittura formulaica o specifica della disciplina	La convenzione del genere premia la formula attesa rispetto a quella inventiva	14,400 abstract di riviste precedenti a ChatGPT (1980 to 2023) hanno comunque attivato fino all'8% di falsi positivi; gli abstract di una rivista hanno raggiunto il 10.24%
Bozze pesantemente modificate o parafrasate	Un passaggio di rifinitura smussa le irregolarità individuali che un rilevatore legge come umane	Un confronto indipendente tra 14 strumenti ha rilevato che l'accuratezza diminuiva ulteriormente dopo la parafrasi o la traduzione automatica
Materiale citato o basato su modelli	Il passaggio citato porta la firma statistica della sua fonte, non di chi cita	I rilevatori che non escludono le citazioni valutano il documento circostante sulla base del testo preso in prestito

Perché i tassi pubblicati e i tassi nel mondo reale non coincidono

Ogni rilevatore principale pubblica un tasso di falsi positivi vicino all'uno percento o inferiore. I test indipendenti degli stessi strumenti, condotti su documenti diversi in condizioni diverse, riportano regolarmente qualcosa di molto più alto, talvolta di un fattore dieci o più. Entrambe le cifre possono essere corrette e tuttavia descrivere quasi nulla in comune, perché non stanno misurando la stessa cosa.

Turnitin è un esempio utile proprio perché pubblica più dettagli della maggior parte dei concorrenti: un tasso di falsi positivi inferiore all'1 percento a livello di documento, a condizione che più del 20 percento di una consegna sia segnalato come scritto da AI, insieme a una dichiarazione dell'azienda secondo cui i risultati nel mondo reale differiscono dai suoi test di laboratorio. Il Washington Post ha sottoposto 16 documenti reali allo stesso strumento nel 2023 e ha scoperto che più della metà risultava almeno in parte erroneamente identificata, incluso un saggio interamente scritto da esseri umani segnato come in parte generato da AI. Nessuno dei due numeri è inventato. Provengono da campioni diversi, soglie diverse e definizioni diverse di ciò che conta come segnalazione.

Lo stesso divario emerge in tutto il settore, non solo in una singola azienda. Quel confronto tra 14 strumenti ha rilevato che tutti quanti restavano al di sotto dell'80 percento di accuratezza complessiva, e che sei dei quattordici producevano un falso positivo su testi umani non modificati prima ancora che entrasse in gioco qualsiasi parafrasi. Un numero pubblicato descrive un benchmark. Non descrive il documento che in quel momento si trova davanti a un professore.

Perché un punteggio sicuro non è un'accusa sicura

Tasso di falsi positivi sembra riferirsi alla probabilità che uno studente segnalato come problematico sia innocente. Ma no. Descrive il modo in cui un test funziona per tutti coloro che lo sostengono. E si tratta di domande diverse con risposte diverse, proprio come per qualsiasi test di screening in medicina o nella sicurezza.

Un'analisi statistica del marzo 2026 condotta da un ricercatore della Griffith University rende esplicita la matematica di fondo. Se si considera il rilevamento dell'AI come un test applicato a una popolazione di autori studenti anziché a un singolo documento isolato, emerge un compromesso: ogni volta che una parte di quella popolazione scrive in un modo che si sovrappone naturalmente alla tipica produzione di AI, vicino alla convenzione di genere, vicino alla gamma di uno studente di seconda lingua, qualsiasi rilevatore con una reale capacità di individuare testi scritti da AI deve sbagliare su una parte di quella quota sovrapposta. Non si tratta di un'affermazione secondo cui un rilevatore specifico sia costruito male. È una proprietà del test di una popolazione eterogenea con un singolo documento e senza altre prove.

L'esempio illustrativo del documento stesso mostra la scala in gioco. Supponiamo che il 10 percento di una popolazione studentesca scriva in modo abbastanza simile al tipico output di AI, e che un rilevatore sia tarato per intercettare l'80 percento dei lavori effettivamente scritti da AI. La matematica richiede allora un tasso medio di falsi positivi di almeno il 7.5 percento in quella popolazione. Questo non è un difetto dell'ingegneria del rilevatore, è una conseguenza diretta di quanto la scrittura di quel gruppo si sovrapponga statisticamente alla cosa che viene rilevata.

Se si applica la scala a un'università di 10,000 studenti, quel solo limite inferiore implica circa 750 segnalazioni false nell'intera popolazione, una conseguenza matematica del test di una popolazione eterogenea contro un singolo documento senza altre prove da valutare. L'autore del documento afferma esplicitamente che queste cifre specifiche sono illustrative e non misurate in una vera istituzione. L'esempio dimostra la forma del problema, non una previsione specifica per un singolo campus.

Nulla di tutto questo significa che un punteggio segnalato sia privo di significato. Significa che il punteggio è un segnale debole, a livello di popolazione, al quale si chiede di rispondere a una domanda su un singolo individuo, una discrepanza che nessuna quantità di rifinitura del fornitore può colmare completamente da sola. Una lettura responsabile considera il numero come un invito a raccogliere prove migliori: bozze, cronologia delle versioni, la normale traccia documentale di qualcuno che sta effettivamente scrivendo qualcosa. Gli strumenti gratuiti di TextPulse consentono a uno scrittore di verificare dove si colloca attualmente una bozza su queste stesse misurazioni prima che lo faccia chiunque altro, e questo è un uso della tecnologia diverso dal tentare di eludere un rilevatore specifico.

Quali scrittori affrontano il rischio più alto

La ricerca mostra due gruppi che emergono più di tutti gli altri: le persone che scrivono in una seconda lingua e le persone che, per ragioni non legate al modo in cui hanno scritto il loro saggio, sono naturalmente molto strutturate o ripetitive nella scrittura. Entrambi questi tipi di scrittori ricadono sulla stessa firma statistica che un rilevatore è costruito per intercettare.

I parlanti non nativi di inglese portano il rischio documentato più elevato. Test indipendenti hanno ripetutamente rilevato che i detector interpretano in modo errato la scrittura accademica fluente in una seconda lingua come generata da una macchina a tassi molto più alti rispetto alla scrittura nativa. La pagina di TextPulse per gli autori accademici ESL approfondisce il meccanismo alla base di tale rischio, compresi i modelli di formulazione che lo determinano.

Un secondo gruppo, meno discusso, affronta un problema correlato. I ricercatori hanno confrontato circa 60.000 post di Reddit, suddivisi tra un sottoinsieme identificato come probabilmente scritto da autori autistici e un campione generale, e li hanno sottoposti entrambi a un detector basato su GPT-2. Entrambi i gruppi sono rimasti complessivamente sotto il 2 percento di segnalazioni, ma il sottoinsieme probabilmente autistico è stato segnalato a un tasso significativamente più alto rispetto al campione generale. Una scrittura che tende a una formulazione letterale, ripetitiva e strettamente schematica, caratteristica documentata di alcuni stili di comunicazione autistici, produce esattamente il testo a bassa variabilità che un detector è progettato per individuare.

Due fornitori pubblicano dati sufficienti per verificare l'affermazione. Il tasso di falsi positivi di Turnitin è presentato separatamente, e l'accuratezza di ZeroGPT è esaminata in una pagina dedicata. Su chi ricadano più duramente questi errori è ancora una questione distinta, e perché gli autori non nativi di inglese vengono segnalati più spesso ha una risposta propria.

È improbabile che tutto ciò diventi presto più semplice. I detector continueranno a migliorare nell'individuare testi realmente scritti da una macchina, e la diversità della popolazione continuerà a produrre un certo tasso di accuse errate che una migliore ingegnerizzazione da sola non può eliminare del tutto. Il cambiamento più utile è già in corso in alcune istituzioni, trattare un punteggio come l'inizio di una conversazione piuttosto che come la sua conclusione, e chiedersi su quale popolazione sia stato effettivamente testato un tasso pubblicato prima di fidarsi che si applichi al documento che hanno davanti.