Quali università hanno smesso di usare il rilevatore AI di Turnitin

L'elenco delle università che hanno smesso di usare la funzione di rilevamento dell'IA di Turnitin è più breve, e meglio documentato, di quanto facciano sembrare i risultati di ricerca. Tre istituzioni statunitensi, Vanderbilt University, Michigan State University e la University of Texas at Austin, hanno pubblicato ciascuna una propria pagina che conferma di aver disattivato la funzione, indicando le proprie ragioni con parole proprie. Nessuna delle tre ha abbandonato Turnitin stesso.

Questa ultima frase è la parte che la maggior parte delle sintesi omette. Turnitin offre due prodotti in un'unica interfaccia: un controllo di similarità che confronta i testi degli studenti con un database di testi, un servizio disponibile da molto prima che l'IA generativa fosse inventata, e un indicatore di scrittura IA, un classificatore che assegna a un testo un punteggio in base a quanto la sua prosa assomigli all'output di una macchina. Questa nuova funzione è stata resa disponibile nell'aprile 2023. Solo il secondo prodotto è stato disattivato da tutte le istituzioni riportate di seguito.

Ciò che segue è il ragionamento che tre università hanno fornito con parole proprie, altri due nomi che la copertura stampa ripete senza una pagina di proprietà dell'istituzione a confermarli, e ciò che un amministratore sta effettivamente modificando quando prende questa decisione.

Qualche università ha smesso di usare Turnitin completamente?

Non esiste alcun caso confermato di questo tipo. Ogni esempio documentato riguarda un'università che disattiva un'impostazione specifica all'interno di un prodotto che continua altrimenti a usare. Le stesse indicazioni di Turnitin spiegano perché questa distinzione sia persino possibile: gli amministratori "have the option to enable/disable the AI writing feature from their admin settings page," e farlo "will remove the AI writing indicator and report from the Similarity report," lasciando in funzione il report di similarità stesso.

Il Similarity Score e l'AI Score sono due report separati e indipendenti, nelle parole di Turnitin, costruiti su modelli diversi e mostrati in schede diverse della stessa interfaccia. TextPulse ha trattato in modo più dettagliato altrove come il punteggio di similarità e l'AI Score differiscano effettivamente. Un'università può disattivare il secondo senza toccare il primo, e ogni caso riportato di seguito ha fatto esattamente questo.

Vanderbilt University: La spiegazione pubblica più dettagliata

Vanderbilt ha disattivato il rilevatore di AI di Turnitin il 16 agosto 2023 e ha pubblicato le proprie motivazioni lo stesso giorno, invece di lasciare che fossero i giornalisti a ricostruirle. Il calcolo della stessa università è la formulazione più chiara dell'argomento che qualsiasi istituzione abbia reso pubblico: Turnitin aveva dichiarato un tasso di falsi positivi dell'1 percento e, rispetto ai circa 75,000 elaborati che Vanderbilt ha inviato a Turnitin nel 2022, l'università ha calcolato che quel tasso significava che "circa 750 elaborati di studenti avrebbero potuto essere etichettati erroneamente come se una parte fosse stata scritta da AI."

Vanderbilt ha fornito altre due ragioni insieme a quel calcolo: un pregiudizio documentato contro gli autori non madrelingua inglese e una trasparenza insufficiente su come il modello sottostante raggiunga effettivamente il proprio punteggio. Questi tre elementi, un numero di falsi positivi troppo elevato per essere liquidato, un problema di pregiudizio e un modello opaco, ricompaiono in qualche forma in quasi ogni istituzione che da allora ha spiegato pubblicamente una scelta di opt-out.

Istituzione	Azione	Data	Motivo dichiarato, nelle parole dell'istituzione stessa
Vanderbilt University	Ha disattivato l'indicatore di scrittura AI a livello di account	August 16, 2023	Un tasso di falsi positivi dichiarato dell'1% applicato al proprio volume di invii; pregiudizio contro gli autori non madrelingua inglese; mancanza di trasparenza del modello
Michigan State University	Il rilevamento della scrittura AI non è stato reso disponibile ai docenti	Guidance dated August 2023	Gli strumenti di rilevamento AI non dovrebbero essere usati come unica base per un'azione sfavorevole nei confronti di uno studente
University of Texas at Austin	Vieta l'uso di software di rilevamento AI sul lavoro degli studenti	No date stated on UT Austin's own page; listed among opted-out institutions by February 2024	Classifica il software di rilevamento AI come High Risk; cita preoccupazioni relative a copyright, proprietà intellettuale e FERPA

Michigan State e UT Austin, altri due opt-out confermati

La documentazione di supporto di Michigan State afferma chiaramente: "Turnitin AI Detection is not currently available at MSU." La sua guida aggiunge un avvertimento che si applica indipendentemente dal rilevatore usato da un corso: gli strumenti di rilevamento dell'AI "should not be used as the sole basis for adverse actions against a student." La pagina si colloca all'interno della più ampia guida di MSU sulla generative-AI, datata agosto 2023, lo stesso mese in cui Vanderbilt rese pubblica la propria decisione.

UT Austin ha assunto la posizione più ampia delle tre. L'Office of the Provost dell'università afferma senza mezzi termini che "does not endorse the use of AI Detection Software and does not have any central contracts or purchase orders with active AI Detection Software features." La pagina va oltre un semplice rifiuto dell'uso: classifica il software di rilevamento dell'AI come "High Risk", il che significa che un dipartimento non può acquistarlo nemmeno con una procurement card, e avverte che far passare il lavoro di uno studente attraverso un software del genere "may be a violation of that student's copyright and intellectual property rights," oltre a distinte preoccupazioni relative al FERPA. La pagina di UT Austin non indica una data specifica della decisione; la copertura della stampa educativa aveva già incluso l'università nel proprio elenco di istituzioni che avevano rinunciato a tali strumenti entro febbraio 2024.

Altre università che hanno smesso di usare Turnitin, secondo la stampa

Ce ne sono altre due che compaiono spesso quando si riassume la copertura di questa storia: Northwestern University e Montclair State University. Entrambe esistono, ma nessuna delle due è citata dallo stesso livello di fonti credibili delle altre tre. Nel febbraio 2024, Inside Higher Ed ha riferito che Montclair "announced in November [2023]... that academics should not use the AI-detector feature in a tool from Turnitin," dopo "similar moves from institutions including Vanderbilt University, the University of Texas at Austin and Northwestern University.".

Questa è una solida fonte di stampa di settore, ma è uno standard diverso da quello di una pagina ufficiale dell'istituzione che dichiara una decisione con parole proprie, e durante la ricerca di questo articolo non è emersa alcuna pagina di questo tipo per nessuna delle due università. Il divario merita di essere nominato piuttosto che attenuato. Un elenco costruito da ogni menzione sulla stampa sarebbe più lungo di tre nomi, un elenco costruito su ciò che un'istituzione ha effettivamente pubblicato per sé si ferma attualmente a tre, che è lo standard più rigoroso a cui questo articolo si attiene per tutto il testo.

Perché le università stanno disattivando il rilevatore di AI?

Le stesse poche ragioni ricorrono in tutte le dichiarazioni pubbliche sopra riportate: un tasso di falsi positivi che smette di sembrare basso una volta moltiplicato per una popolazione studentesca reale, un bias documentato contro chi scrive in inglese non madrelingua, e un classificatore il cui funzionamento interno il fornitore non ha divulgato completamente. Il ragionamento coincide con le evidenze più ampie su se i rilevatori di AI siano davvero accurati, non solo su Turnitin. Nessuna delle tre istituzioni sopra riportate contesta che il controllore di similarità di Turnitin continui a svolgere il suo compito originario, l'obiezione riguarda in modo specifico una sola funzione aggiunta.

Nulla di tutto questo significa che un'università che mantiene la funzione attiva stia agendo con negligenza, e nulla di tutto questo significa che un'università che l'ha disattivata abbia risolto il problema di fondo. Significa che due gruppi di amministratori hanno esaminato gli stessi dati pubblicati e sono giunti a valutazioni diverse, e che l'esperienza di uno studente con questa tecnologia dipende ora in parte dall'università che frequenta, piuttosto che da qualsiasi aspetto del testo che ha presentato.

Un autore che si chieda se la propria bozza presenti il profilo statistico descritto dall'obiezione di bias di Vanderbilt può verificarlo direttamente con un free perplexity checker invece di aspettare di scoprire quale politica abbia scelto la propria università.

Le prove alla base di tali decisioni sono esposte separatamente: che cosa sia realmente un falso positivo, e il tasso di falsi positivi che Turnitin pubblica esso stesso.

Gli strumenti gratuiti di TextPulse coprono lo stesso terreno prima che qualsiasi cosa arrivi a un rilevatore. Turnitin continuerà ad adeguare le proprie soglie mentre riaddestra il modello; se una determinata università stia attualmente utilizzando la funzione è un'impostazione, non un fatto del testo stesso, e vale la pena controllare una bozza per ciò che è, indipendentemente da come sia impostata tale opzione in questo semestre.