Turnitin tasso di falsi positivi: cosa dicono i numeri

Il tasso di falsi positivi di Turnitin non è un solo numero. L'azienda ne pubblica due: una cifra inferiore all'1 percento a livello di documento, e una più vicina al 4 percento a livello di frase. Entrambe sono reali, entrambe sono pubblicate, e nessuna delle due, da sola, dice molto sul singolo elaborato che si trova davanti a un singolo professore.

La distanza tra queste due cifre, e ciò che accade una volta che una delle due viene applicata a una classe reale invece che a un singolo documento, è ciò che questo testo esamina: che cosa afferma Turnitin stessa, che cosa coprono davvero i due numeri, e l'aritmetica che trasforma una frazione di percento in un numero concreto di studenti.

Che cos'è il tasso di falsi positivi di Turnitin, secondo Turnitin?

A livello di documento, nelle parole dell'azienda: "Our document false positive rate, incorrectly identifying fully human-written text as AI-generated within a document, is less than 1% for documents with 20% or more AI writing." Questa condizione conta quanto il numero. La cifra inferiore all'1 percento non è un'affermazione su ogni elaborato che Turnitin valuta. Descrive solo il sottoinsieme di elaborati che ha già superato una soglia del 20 percento di testo scritto da AI nella stima del modello stesso.

A livello di frase, dove un'interfaccia evidenzia singole righe invece di un intero documento, la cifra di Turnitin è circa quattro volte più alta. "Our sentence-level false positive rate is around 4%," afferma l'azienda. "There is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written." Turnitin aggiunge che queste frasi errate non si distribuiscono in modo casuale: nel 54 percento dei casi, una frase segnalata erroneamente si trova immediatamente accanto a testo realmente scritto da AI, che l'azienda presenta come parte del motivo per cui un punteggio a livello di intero documento tende a reggere meglio di qualsiasi singola riga evidenziata.

A livello di documento e a livello di frase non si tratta della stessa affermazione

Questa suddivisione in due livelli è una messaggistica rivista, non la posizione originaria di Turnitin. Al lancio, nell'aprile 2023, l'azienda ha pubblicato un unico dato inferiore all'1 percento, senza alcuna distinzione tra documento e frase. Dopo che le istituzioni hanno iniziato a citare quel numero e dopo che la stampa specializzata in istruzione ha riportato falsi positivi nel mondo reale più alti del previsto, il chief product officer di Turnitin ha pubblicato la ripartizione usata sopra, insieme a due modifiche di prodotto introdotte in risposta: l'aumento della lunghezza minima del documento valutabile da 150 a 300 parole, e la modifica del modo in cui vengono valutate le frasi iniziali e finali di un documento.

La soglia di 300 parole esiste per un motivo correlato. Turnitin l'ha aumentata da un minimo originario di 150 parole dopo aver constatato, nelle parole dell'azienda, che l'accuratezza aumenta con una maggiore quantità di testo. Un elaborato breve, una riflessione di una pagina, una bozza parziale, un post di discussione, offre al modello meno segnale su cui lavorare rispetto a quello contro cui sono state misurate le cifre sui falsi positivi sopra riportate, ed è in parte per questo che qualsiasi testo al di sotto di quella soglia non riceve alcun punteggio AI, invece di uno inaffidabile.

Livello	Tasso dichiarato da Turnitin	Che cosa copre effettivamente
Livello del documento	Inferiore all'1%	Solo i documenti già segnalati con il 20% o più di testo scritto da AI, la percentuale complessiva dell'intero elaborato
Livello della frase	Circa 4%	Qualsiasi singola frase evidenziata all'interno del rapporto di scrittura AI, indipendentemente dal punteggio complessivo del documento
Al di sotto della soglia del 20% del documento	Nessun numero mostrato	Turnitin visualizza un asterisco invece di una percentuale, indicando il risultato come meno affidabile in quel intervallo

L'aritmetica: che cosa significa una frazione di percento per una coorte reale

Il calcolo è stato reso pubblico quando la Vanderbilt University ha calcolato i tassi di errore associati al rilevamento AI di Turnitin nell'agosto 2023. Il miglior esempio di come fare questo calcolo è il lavoro della stessa Vanderbilt sui numeri. In un post del blog sulla loro decisione di disattivare il rilevatore AI di Turnitin, hanno osservato: "[i]n 2022 abbiamo inviato circa 75.000 elaborati a Turnitin, il che significa che il tasso di falsi positivi dichiarato da Turnitin dell'1 percento implica che circa 750 elaborati di studenti avrebbero potuto essere etichettati in modo errato come se una parte fosse stata scritta da AI."

Quella cifra è una estrapolazione della Vanderbilt dal numero pubblicato dal fornitore applicato al volume della stessa Vanderbilt, non un risultato misurato separatamente. La struttura dell'aritmetica si generalizza oltre il numero di iscritti di una singola università. Un tasso inferiore all'1 percento applicato a poche centinaia di elaborati produce una manciata di studenti segnalati erroneamente, facile da trascurare. Lo stesso tasso applicato a decine di migliaia di elaborati, la scala che una vera università invia ogni anno, produce centinaia invece di una manciata, perché una piccola percentuale e una popolazione ampia vengono moltiplicate tra loro invece di essere considerate in isolamento.

Nessuno di questi elementi dimostra che il tasso nel mondo reale corrisponda esattamente alla cifra di laboratorio. Lo stesso chief product officer di Turnitin ha riconosciuto pubblicamente che i risultati nel mondo reale differiscono dai test di laboratorio, e questo è in parte il motivo per cui l'azienda ha rivisto in primo luogo la propria comunicazione. L'aritmetica sopra tratta il numero dichiarato da Turnitin come un dato di ingresso da prendere sul serio, non come un limite massimo di ciò che accade davvero una volta che uno strumento assegna punteggi a elaborati che non assomigliano affatto a un benchmark curato.

Ciò che il tasso non copre

Un risultato inferiore alla soglia del 20 percento non riceve un piccolo valore percentuale associato. Riceve invece un asterisco al posto di un numero, una scelta fatta da Turnitin perché quell'intervallo è quello in cui lo strumento è meno affidabile in entrambe le direzioni, come confermato da una copertura indipendente della stampa educativa insieme alla stessa impostazione di bassa fiducia dell'azienda per quell'intervallo. Una lieve revisione, un paragrafo corretto con aiuto e il resto scritto senza assistenza, può produrre nessun punteggio visibile, anziché uno piccolo, ed è utile saperlo prima che un numero mancante venga letto come un'accusa o come una certificazione di conformità. La guida di TextPulse a ciò che conta come un buon punteggio Turnitin copre quella stessa soglia dal lato del lettore del rapporto.

Allora Come Va Letto un Tasso di Falsi Positivi Pubblicato?

Come un dato del fornitore su una condizione più ristretta di quanto sembri descrivere inizialmente, non come un'affermazione sul testo che si trova davanti a uno specifico professore. Turnitin inquadra il proprio output nello stesso modo: l'azienda afferma chiaramente che la sua tecnologia di rilevamento della scrittura AI non fornisce "a determination of misconduct", ma solo "data for educators to make an informed decision". Le prove più ampie su se i rilevatori AI siano accurati in assoluto confermano la stessa lettura: un tasso pubblicato descrive un parametro di riferimento, non il documento che viene attualmente valutato.

Gli autori che vogliono sapere dove si colloca la propria bozza rispetto allo stesso tipo di misurazione statistica, invece di andare a intuito, possono verificarlo direttamente con un free perplexity checker prima che il testo raggiunga il rilevatore di un'istituzione. Questo è un uso diverso della tecnologia rispetto al tentativo di contestare un punteggio dopo il fatto, ed è l'unico caso in cui un autore, anziché un amministratore, vede per primo il numero.

L'accuratezza di ZeroGPT viene esaminata separatamente per chiunque la propria istituzione utilizzi quello strumento. Il gruppo su cui questi errori ricadono con maggiore durezza, gli autori di inglese non nativo, è oggetto di una pagina propria.

La popolazione più esposta a questo calcolo non è distribuita in modo uniforme neppure. Gli autori non madrelingua inglese portano il rischio documentato più elevato di finire dalla parte sbagliata di una qualsiasi di queste percentuali, che è esattamente il pubblico attorno a cui è costruita la pagina di TextPulse per gli autori accademici ESL. Turnitin continuerà a rivedere queste cifre man mano che riaddestra il suo modello. Ciò che non cambierà è il calcolo stesso: un tasso così piccolo ha ancora bisogno di una popolazione così grande in cui scomparire, e la maggior parte delle vere sottomissioni non è così fortunata.