Scorul de similitudine Turnitin vs scorul AI: Două rapoarte diferite

Un raport apare cu două numere pe el, un scor de similitudine de 3 la sută și un scor AI de 88 la sută. Interpretarea firească este că trebuie să măsoare același lucru, astfel încât numărul mic ar trebui să însemne că și numărul mare este probabil greșit. Nu funcționează așa. Turnitin similarity vs AI score este o comparație între două sisteme separate care verifică două lucruri separate, iar o trimitere poate obține un scor mic la unul și un scor mare la celălalt fără ca vreunul dintre numere să fie o greșeală.

Este mai vechi decât cel AI, creat pentru a detecta textul care se potrivește cu ceva ce există deja. Este mai nou, adăugat în același Similarity Report ca o măsurătoare independentă proprie, creat pentru a estima dacă proza pare generată de mașină, indiferent dacă se potrivește sau nu cu ceva. Sunt complet independente și nu se influențează reciproc, conform propriei documentații Turnitin. Tot restul din acest material.

Turnitin Similarity vs AI Score: Ce raportează fiecare număr

Turnitin tratează cele două ca măsurători diferite, reunite într-un singur produs, nu ca două perspective asupra aceluiași rezultat. Similarity Report compară o trimitere cu o bază de date de conținut web, publicații academice și lucrări ale studenților trimise anterior și returnează procentul din textul trimiterii care se potrivește cu ceva deja din acea bază de date. Detectarea scrierii AI rulează un model complet diferit, adăugat în același raport ca un scor independent propriu, un model antrenat să judece cât de mult proza unui pasaj seamănă cu scrierea generată de mașină, fără nicio referire la vreo bază de date externă. Mecanismele mai detaliate ale modului în care clasificatorul AI al Turnitin ajunge la acel număr sunt tratate separat, ceea ce contează aici este că răspunde la o întrebare diferită de cea a motorului de similitudine aflat în același raport.

Ce măsoară de fapt scorul de similitudine

Similaritatea este un exercițiu de potrivire, nu o judecată. Ghidul propriu al Turnitin este explicit că instrumentul nu verifică plagiatul. El verifică suprapunerea și lasă interpretarea la latitudinea profesorului care citește raportul. Un citat delimitat corect, o frază din secțiunea de metodologie împărtășită de întregul subdomeniu, o listă de referințe formatată exact cum își formatează fiecare lucrare din jurnal lista de referințe, toate acestea pot fi înregistrate ca potriviri, deoarece sistemul numără șiruri de text care se suprapun, în loc să judece dacă suprapunerea este legitimă.

Acesta este și motivul pentru care un scor de similaritate de zero dovedește mai puțin decât pare. El înseamnă că lucrarea nu conține niciun fragment lung, neîntrerupt, de text găsit în altă parte în sursele indexate de Turnitin. Nu spune nimic despre modul în care au fost produse propozițiile care există acolo, deoarece a produce o propoziție care nu se potrivește cu nimic dintr-o bază de date nu este aceeași abilitate cu a produce o propoziție pe care un model de limbaj nu ar fi prezis-o.

Ce măsoară de fapt scorul AI

Scorul AI nu are o bază de date cu care să fie comparat. Un clasificator citește proza depusă și estimează, pe baza tiparelor învățate din exemple de scriere umană și generată de AI, cât de probabil este ca acea proză să provină de la un model, nu de la o persoană. Nimic din această estimare nu depinde de faptul dacă propoziția exactă a apărut vreodată undeva înainte. O propoziție poate fi complet unică, neverificată de nimeni până la această depunere, și totuși să pară statistic tipică pentru rezultatul AI dacă alegerile de cuvinte și ritmul ei urmează tiparul pe care un model de limbaj tinde să îl producă.

Acesta este același teritoriu statistic acoperit în întregime în relatarea mai amplă despre cum funcționează de fapt detectoarele AI: predictibilitatea la nivel de cuvânt și ritmul la nivel de propoziție, reunite într-un singur scor al documentului. Versiunea Turnitin a acestui clasificator este proprietară, dar premisa de bază, că textul generat tinde să fie mai tipic din punct de vedere statistic decât scrierea umană, este aceeași care stă la baza fiecărui instrument din această categorie.

	Scor de similaritate	Scor AI
Ce măsoară	Cât de mult din textul lucrării se potrivește cu alte documente indexate	Cât de mult seamănă proza cu scrierea generată de AI, tipică din punct de vedere statistic
Ce declanșează un număr mare	Citate lungi, formulări comune specifice domeniului, material reutilizat sau o potrivire cu o trimitere anterioară	Ritm uniform al propozițiilor și alegeri de cuvinte constant previzibile de-a lungul documentului
Ce nu dovedește un număr mare	Că textul potrivit a fost folosit necorespunzător. Materialul citat corect poate fi în continuare înregistrat ca potrivire.	Că orice propoziție individuală a fost generată de AI. Clasificatorul citește modelul general al documentului, nu o singură linie în izolare.

Poate o lucrare să aibă 0 Percent similaritate și un scor AI de 90 Percent?

Da, iar combinația nu este o eroare. Cele două scoruri răspund la întrebări diferite, astfel încât toate cele patru combinații de valori mari și mici sunt posibile, iar fiecare implică ceva diferit despre modul în care a fost produs textul.

• Similaritate scăzută, scor AI scăzut: scriere originală obișnuită, care se citește și cu variația tipică umană. Cazul obișnuit pentru cea mai mare parte a lucrărilor autentice ale studenților.
• Similaritate scăzută, scor AI ridicat: propoziții originale, care nu sunt copiate de nicăieri, dar care se citesc ca fiind previzibile din punct de vedere statistic, așa cum tinde textul generat. Semnătura scrierii AI needitate, pe care nimeni nu a parafrazat-o dintr-o sursă existentă.
• Similaritate ridicată, scor AI scăzut: text care se potrivește îndeaproape cu o sursă existentă scrisă de om, fără platitudinea statistică pe care un clasificator o asociază cu generarea. Text copiat, depistat de instrumentul mai vechi, nu de cel mai nou.
• Similaritate ridicată, scor AI ridicat: text care se potrivește cu o sursă existentă care a fost ea însăși generată de AI, de exemplu o lucrare scrisă anterior de AI și depusă sau o pagină de text produs de AI deja indexată de pe webul deschis.

Niciuna dintre aceste combinații nu necesită ceva neobișnuit din partea software-ului. Ele rezultă din faptul că un sistem verifică existența unei potriviri, iar celălalt verifică existența unui model, iar un fragment de text poate avea oricare dintre aceste proprietăți, pe ambele sau pe niciuna.

Ce dovedește, și ce nu dovedește, un scor AI ridicat

Un scor AI ridicat este o estimare statistică, nu o mărturisire extrasă din text. El spune că proza din fața clasificatorului seamănă, prin alegerile de cuvinte și prin ritm, cu tipul de scriere pe care modelul a fost antrenat să îl asocieze cu generarea AI. Nu identifică o propoziție anume ca fiind cu siguranță scrisă de o mașină și nu știe nimic despre modul în care documentul a fost produs în realitate, ci doar despre felul în care se citește după ce este finalizat. TextPulse adoptă aceeași poziție în privința propriilor cifre: ceea ce raportează este un Human Score estimat, calculat din textul din fața sa, nu un verdict despre ce instrument, dacă a existat vreunul, a atins documentul.

Răspunsul practic la oricare dintre aceste valori, un scor de similaritate scăzut sau un scor AI ridicat, este același: tratați-l ca pe un motiv de a examina mai atent, nu ca pe o constatare de acceptat sau de respins dintr-o privire. Schițele, notițele și istoricul versiunilor arată cum a fost scris în realitate un document într-un mod pe care un procent nu îl poate arăta niciodată, în niciun raport. Oricine este curios la ce reacționează de fapt un clasificator în propria schiță poate vedea singur același model la nivel de cuvânt cu un free perplexity checker, cu mult înainte de generarea oricărui raport.

Colecția de free tools collection a TextPulse acoperă celelalte straturi statistice care merită verificate înainte ca o schiță să ajungă în apropierea unui instructor, nu doar cele două comparate aici.

După ce cele două valori sunt separate, următoarea întrebare este ce înseamnă un scor Turnitin bun. Pentru celălalt detector pe care studenții îl întâlnesc cel mai des, cum funcționează GPTZero este prezentat pe propria sa pagină.

Cele două numere vor continua să stea unul lângă celălalt în același raport și vor continua să fie citite ca un singur număr de către oamenii grăbiți. A ști la ce întrebare răspunde de fapt fiecare dintre ele este ceea ce transformă o pereche confuză de procente în două informații separate și utile.