Turnitin Similarity Score vs AI Score: Due rapporti diversi

Un rapporto arriva con due numeri: un punteggio di similarità del 3 percento e un punteggio AI dell'88 percento. La lettura naturale è che debbano misurare la stessa cosa, quindi il numero basso dovrebbe significare che anche il numero alto è probabilmente sbagliato. Non funziona così. Turnitin similarity vs AI score è un confronto tra due sistemi separati che controllano due cose separate, e un invio può ottenere un punteggio basso in uno e alto nell'altro senza che nessuno dei due numeri sia un errore.

È più vecchio di quello AI, costruito per individuare testo che corrisponde a qualcosa che esiste già. È più recente, aggiunto allo stesso Similarity Report come sua misurazione indipendente, costruito per stimare se la prosa sembri generata da una macchina, indipendentemente dal fatto che corrisponda o meno a qualcosa. Sono completamente indipendenti e non si influenzano a vicenda, secondo la documentazione ufficiale di Turnitin. Tutto il resto in questo pezzo.

Turnitin Similarity vs AI Score: Che cosa riporta ciascun numero

Turnitin considera i due elementi come misurazioni diverse riunite in un unico prodotto, non come due viste di uno stesso risultato. Il Similarity Report confronta un invio con un database di contenuti web, pubblicazioni accademiche e elaborati studenteschi già inviati in precedenza, e restituisce la percentuale del testo dell'invio che corrisponde a qualcosa già presente in quel database. Il rilevamento della scrittura AI utilizza invece un modello del tutto diverso, aggiunto a quel medesimo rapporto come punteggio indipendente, addestrato a giudicare quanto da vicino la prosa di un passaggio assomigli a una scrittura generata da macchina, senza alcun riferimento a database esterni. I meccanismi più completi di come il classificatore AI di Turnitin arriva a quel numero sono trattati separatamente, ciò che conta qui è che esso risponde a una domanda diversa rispetto al motore di similarità presente nello stesso rapporto.

Che cosa misura realmente il Similarity Score

La similarità è un esercizio di corrispondenza, non un giudizio. Le indicazioni ufficiali di Turnitin sono esplicite nel dire che lo strumento non verifica il plagio. Verifica le sovrapposizioni e lascia l'interpretazione al docente che legge il rapporto. Una citazione correttamente delimitata, una frase della sezione dei metodi condivisa da un intero sottocampo, un elenco di riferimenti formattato nel modo in cui ogni articolo della rivista formatta il proprio elenco di riferimenti: tutto ciò può essere registrato come corrispondenza, perché il sistema conta stringhe di testo sovrapposte invece di giudicare se la sovrapposizione sia legittima.

Questo è anche il motivo per cui un punteggio di similarità pari a zero dimostra meno di quanto sembri. Significa che l'invio non contiene alcun tratto lungo e ininterrotto di testo trovato altrove nelle fonti indicizzate di Turnitin. Non dice nulla su come siano state prodotte le frasi presenti, perché produrre una frase che non corrisponde a nulla in un database non è la stessa abilità che produrre una frase che un modello linguistico non avrebbe previsto.

Cosa misura realmente il punteggio AI

Il punteggio AI non ha alcun database con cui essere confrontato. Un classificatore legge la prosa inviata e stima, a partire da modelli appresi attraverso esempi di scrittura umana e generata da AI, quanto sia probabile che quella prosa provenga da un modello piuttosto che da una persona. Nulla in tale stima dipende dal fatto che la frase esatta sia mai apparsa altrove in precedenza. Una frase può essere del tutto unica, mai digitata da nessuno prima di questo invio, e risultare comunque statisticamente tipica dell'output di AI se le sue scelte lessicali e il suo ritmo seguono il modello che un modello linguistico tende a produrre.

Questo è lo stesso territorio statistico descritto integralmente nel resoconto più ampio su come funzionano realmente i rilevatori di AI: prevedibilità a livello di parola e ritmo a livello di frase, riuniti in un unico punteggio del documento. La versione di Turnitin di quel classificatore è proprietaria, ma il presupposto di fondo, che il testo generato tende a essere più tipico dal punto di vista statistico rispetto alla scrittura umana, è lo stesso che opera sotto ogni strumento di questa categoria.

	Punteggio di Similarità	Punteggio AI
Cosa misura	Quanto del testo della consegna corrisponde ad altri documenti indicizzati	Quanto da vicino la prosa assomiglia alla scrittura generata da AI statisticamente tipica
Cosa fa scattare un numero alto	Lunghe citazioni, formulazioni comuni specifiche del settore, materiale riutilizzato, oppure una corrispondenza con una consegna precedente	Ritmo uniforme delle frasi e scelte lessicali costantemente prevedibili in tutto il documento
Cosa non prova un numero alto	Che il testo corrispondente sia stato usato in modo improprio. Materiale citato correttamente può comunque risultare come corrispondenza.	Che una singola frase sia stata generata da AI. Il classificatore legge il modello complessivo del documento, non una riga isolata.

Un elaborato può avere 0 Percento di Similarità e un Punteggio AI del 90 Percento?

Sì, e la combinazione non è un malfunzionamento. I due punteggi rispondono a domande diverse, quindi sono possibili tutte e quattro le combinazioni di valori alti e bassi, e ciascuna implica qualcosa di diverso su come il testo è stato prodotto.

• Bassa similarità, basso punteggio AI: scrittura originale ordinaria che si legge anche con la tipica variazione umana. Il caso comune per la maggior parte del lavoro autentico degli studenti.
• Bassa similarità, alto punteggio AI: frasi originali, non copiate da alcuna fonte, che risultano statisticamente prevedibili nel modo in cui tende a esserlo il testo generato. La firma di una scrittura AI non modificata che nessuno ha parafrasato da una fonte esistente.
• Alta similarità, basso punteggio AI: testo che corrisponde da vicino a una fonte esistente scritta da un essere umano, senza la piattezza statistica che un classificatore associa alla generazione. Testo copiato, individuato dallo strumento più vecchio anziché da quello più recente.
• Alta similarità, alto punteggio AI: testo che corrisponde a una fonte esistente che era essa stessa generata da AI, per esempio un elaborato scritto da AI presentato in precedenza oppure una pagina di testo prodotto da AI già indicizzata dal web aperto.

Nessuna di queste combinazioni richiede qualcosa di insolito dal lato del software. Esse derivano dal fatto che un sistema verifica una corrispondenza e l'altro verifica un modello, e un pezzo di testo può possedere una di queste proprietà, entrambe, oppure nessuna.

Cosa dimostra, e cosa non dimostra, un punteggio AI elevato

Un punteggio AI elevato è una stima statistica, non una confessione estratta dal testo. Indica che la prosa davanti al classificatore assomiglia, nelle scelte lessicali e nel ritmo, al tipo di scrittura che il modello è stato addestrato ad associare alla generazione AI. Non identifica una frase specifica come certamente scritta da una macchina, e non sa nulla di come il documento sia stato effettivamente prodotto, ma solo di come si legge una volta terminato. TextPulse assume la stessa posizione riguardo ai propri numeri: ciò che riporta è un Human Score stimato calcolato dal testo davanti a esso, non un verdetto su quale strumento, se ve ne sia stato uno, abbia toccato il documento.

La risposta pratica a uno qualunque dei due numeri, un punteggio di similarità basso o un punteggio AI elevato, è la stessa: trattarlo come un motivo per esaminare più da vicino, non come un risultato da accettare o respingere a colpo d'occhio. Bozze, appunti e cronologia delle versioni dicono come un documento sia stato effettivamente scritto in un modo che una percentuale non potrà mai fare, in nessuno dei due rapporti. Chiunque sia curioso di vedere a cosa un classificatore stia effettivamente reagendo nella propria bozza può osservare lo stesso modello a livello di parola con un free perplexity checker, ben prima che venga generato qualsiasi rapporto.

La free tools collection di TextPulse copre gli altri livelli statistici che vale la pena controllare prima che una bozza arrivi anche solo vicino a un docente, non soltanto i due confrontati qui.

Una volta separati i due numeri, la domanda successiva è che cosa conta come un buon punteggio Turnitin. Per l'altro rilevatore che gli studenti incontrano più spesso, come funziona GPTZero è trattato in una pagina a parte.

I due numeri continueranno a stare uno accanto all'altro nello stesso report, e continueranno a essere letti come un unico numero da persone di fretta. Sapere a quale domanda ciascuno sta effettivamente rispondendo è ciò che trasforma una coppia confusa di percentuali in due informazioni separate e utili.