Turnitin Similarity Score vs AI Score: Due report distinti

Un rapporto presenta due numeri: un punteggio di similarità del 3 percento e un punteggio AI dell'88 percento. La lettura naturale è che debbano misurare la stessa cosa, quindi il numero basso dovrebbe significare che anche il numero alto è probabilmente errato. Non funziona così. Turnitin similarity vs AI score è un confronto tra due sistemi separati che verificano due aspetti separati, e un elaborato può ottenere un punteggio basso in uno e alto nell'altro senza che nessuno dei due numeri sia un errore.

È più vecchio di quello AI, costruito per individuare testo che corrisponde a qualcosa che esiste già. È più recente, aggiunto allo stesso Similarity Report come misura indipendente propria, costruito per stimare se una prosa sembri generata da una macchina, indipendentemente dal fatto che corrisponda o meno a qualcosa. Sono completamente indipendenti e non si influenzano a vicenda, secondo la documentazione di Turnitin. Tutto il resto in questo articolo.

Turnitin Similarity vs AI Score: Cosa Riporta Ciascun Numero

Turnitin tratta i due come misurazioni diverse riunite in un unico prodotto, anziché come due viste di un solo risultato. Il Similarity Report confronta un elaborato con un database di contenuti web, pubblicazioni accademiche e testi studenteschi inviati in precedenza, e restituisce la percentuale del testo dell'elaborato che corrisponde a qualcosa già presente in quel database. Il rilevamento della scrittura AI esegue un modello del tutto diverso, aggiunto a quello stesso report come punteggio indipendente proprio, addestrato a giudicare quanto da vicino la prosa di un passaggio assomigli a una scrittura generata da una macchina, senza alcun riferimento a un database esterno. La meccanica più completa di come il classificatore AI di Turnitin arriva a quel numero è trattata separatamente, ciò che conta qui è che risponde a una domanda diversa rispetto al motore di similarità presente nello stesso report.

Cosa Misura Davvero il Punteggio di Similarità

La similarità è un esercizio di corrispondenza, non un giudizio. La stessa guida di Turnitin è esplicita nel dire che lo strumento non verifica il plagio. Verifica le sovrapposizioni e lascia l’interpretazione all’insegnante che legge il rapporto. Una citazione correttamente delimitata, una frase della sezione dei metodi condivisa da un intero sottocampo, una lista di riferimenti formattata nel modo in cui ogni articolo della rivista formatta la propria lista di riferimenti: tutto ciò può registrarsi come corrispondenza, perché il sistema conta stringhe di testo sovrapposte invece di giudicare se la sovrapposizione sia legittima.

Questo è anche il motivo per cui un punteggio di similarità pari a zero dimostra meno di quanto sembri. Significa che la consegna non contiene alcun tratto lungo e continuo di testo trovato altrove nelle fonti indicizzate di Turnitin. Non dice nulla su come siano state prodotte le frasi presenti, perché produrre una frase che non corrisponde a nulla in un database non è la stessa abilità che produrre una frase che un modello linguistico non avrebbe previsto.

Cosa misura davvero l'AI Score

L'AI score non ha alcun database con cui essere confrontato. Un classificatore legge la prosa inviata e stima, a partire da schemi che ha appreso da esempi di scrittura umana e generata da AI, quanto sia probabile che quella prosa provenga da un modello piuttosto che da una persona. Nulla in tale stima dipende dal fatto che la frase esatta sia mai apparsa altrove in precedenza. Una frase può essere del tutto unica, mai digitata da nessuno fino a questa consegna, e risultare comunque statisticamente tipica dell'output di AI se le sue scelte lessicali e il suo ritmo seguono il modello che un modello linguistico tende a produrre.

Questo è lo stesso territorio statistico trattato in modo completo nel resoconto più ampio di come funzionano davvero i rilevatori di AI: prevedibilità a livello di parola e ritmo a livello di frase, riuniti in un unico punteggio del documento. La versione di Turnitin di quel classificatore è proprietaria, ma il presupposto di fondo, che il testo generato tenda a essere più statisticamente tipico della scrittura umana, è lo stesso che opera sotto ogni strumento di questa categoria.

	Punteggio di similarità	Punteggio AI
Cosa misura	Quanto del testo della consegna corrisponde ad altri documenti indicizzati	Quanto da vicino la prosa assomiglia alla scrittura generata da AI statisticamente tipica
Cosa fa scattare un numero alto	Lunghe citazioni, formulazioni comuni specifiche del settore, materiale riutilizzato, oppure una corrispondenza con una consegna precedente	Ritmo delle frasi uniforme e scelte lessicali costantemente prevedibili in tutto il documento
Cosa un numero alto non prova	Che il testo corrispondente sia stato usato in modo improprio. Materiale citato correttamente può comunque risultare come corrispondenza.	Che una singola frase sia stata generata da AI. Il classificatore legge il modello complessivo del documento, non una riga isolata.

Un elaborato può avere 0 Percento di similarità e un punteggio AI del 90 Percento?

Sì, e la combinazione non è un malfunzionamento. I due punteggi rispondono a domande diverse, quindi sono possibili tutte e quattro le combinazioni di alto e basso, e ciascuna implica qualcosa di diverso su come il testo è stato prodotto.

• Bassa similarità, basso punteggio AI: scrittura originale ordinaria che si legge anche con la tipica variazione umana. Il caso comune per la maggior parte del lavoro autentico degli studenti.
• Bassa similarità, alto punteggio AI: frasi originali, non copiate da nessuna parte, che risultano statisticamente prevedibili nel modo in cui tende a esserlo il testo generato. La firma di una scrittura AI non modificata che nessuno ha parafrasato da una fonte esistente.
• Alta similarità, basso punteggio AI: testo che corrisponde da vicino a una fonte esistente scritta da un essere umano, senza la piattezza statistica che un classificatore associa alla generazione. Testo copiato, individuato dallo strumento più vecchio anziché da quello più recente.
• Alta similarità, alto punteggio AI: testo che corrisponde a una fonte esistente che era essa stessa generata da AI, per esempio un elaborato scritto da AI presentato in precedenza oppure una pagina di testo prodotto da AI già indicizzata dal web aperto.

Nessuna di queste combinazioni richiede qualcosa di insolito dal lato del software. Esse derivano dal fatto che un sistema verifica la corrispondenza e l'altro verifica un pattern, e un testo può presentare una di queste proprietà, entrambe, oppure nessuna.

Cosa prova, e cosa non prova, un punteggio AI elevato

Un punteggio AI elevato è una stima statistica, non una confessione estratta dal testo. Dice che la prosa davanti al classificatore assomiglia, nelle scelte lessicali e nel ritmo, al tipo di scrittura che il modello è stato addestrato ad associare alla generazione AI. Non identifica una frase specifica come sicuramente scritta da una macchina, e non sa nulla di come il documento sia stato effettivamente prodotto, ma solo di come si legge una volta terminato. TextPulse assume la stessa posizione riguardo ai propri numeri: ciò che riporta è un Human Score stimato calcolato a partire dal testo davanti a sé, non un verdetto su quale strumento, se ce n'è stato uno, abbia toccato il documento.

La risposta pratica a uno qualunque dei due numeri, un punteggio di similarità basso o un punteggio AI elevato, è la stessa: considerarlo un motivo per esaminare più da vicino, non un risultato da accettare o respingere a colpo d'occhio. Bozze, appunti e cronologia delle versioni dicono come un documento sia stato effettivamente scritto in un modo che una percentuale non potrà mai fare, in nessuno dei due report. Chiunque sia curioso di sapere a cosa stia effettivamente reagendo un classificatore nella propria bozza può vedere lo stesso pattern a livello di parola con un free perplexity checker, ben prima che venga generato qualsiasi report.

La collezione di strumenti gratuiti di TextPulse copre gli altri livelli statistici che vale la pena controllare prima che una bozza si avvicini a un docente, non solo i due confrontati qui.

Una volta separati i due numeri, la domanda successiva è che cosa conta come un buon punteggio Turnitin. Per l'altro rilevatore che gli studenti incontrano più spesso, come funziona GPTZero è trattato in una pagina a parte.

I due numeri continueranno a stare uno accanto all'altro nello stesso report, e continueranno a essere letti come un unico numero da persone di fretta. Sapere a quale domanda ciascuno sta effettivamente rispondendo è ciò che trasforma una coppia confusa di percentuali in due informazioni separate e utili.