Scorul de similitudine Turnitin vs scorul AI: două rapoarte diferite

Un raport apare cu două cifre pe el: un scor de similaritate de 3 la sută și un scor AI de 88 la sută. Interpretarea firească este că trebuie să măsoare același lucru, astfel încât cifra mică ar trebui să însemne că și cifra mare este probabil greșită. Nu funcționează așa. Turnitin similarity vs AI score este o comparație între două sisteme separate care verifică două lucruri separate, iar o trimitere poate obține un scor mic la unul și un scor mare la celălalt fără ca vreuna dintre cifre să fie o eroare.

Este mai vechi decât cel AI, conceput pentru a detecta text care se potrivește cu ceva deja existent. Este mai nou, adăugat în același Similarity Report ca o măsurătoare independentă, conceput pentru a estima dacă proza sună ca fiind generată de o mașină, indiferent dacă se potrivește sau nu cu ceva. Sunt complet independente și nu se influențează reciproc, potrivit documentației proprii Turnitin. Tot restul din acest material.

Turnitin Similarity vs AI Score: Ce raportează fiecare număr

Turnitin tratează cele două ca măsurători diferite, reunite într-un singur produs, nu ca două perspective asupra unui singur rezultat. Similarity Report compară o trimitere cu o bază de date de conținut web, publicații academice și lucrări ale studenților trimise anterior și returnează procentul din textul trimiterii care se potrivește cu ceva deja existent în acea bază de date. Detectarea scrierii AI rulează un model complet diferit, adăugat în același raport ca scor independent, un model antrenat să judece cât de mult seamănă proza unui pasaj cu scrierea generată de mașină, fără nicio referire la vreo bază de date externă. Mecanismele mai detaliate ale modului în care clasificatorul AI al Turnitin ajunge la acel număr sunt prezentate separat, ceea ce contează aici este că el răspunde la o întrebare diferită de cea a motorului de similaritate aflat în același raport.

Ce măsoară de fapt scorul de similaritate

Similaritatea este un exercițiu de potrivire, nu o judecată. Îndrumarea proprie a Turnitin este explicită, instrumentul nu verifică plagiatul. El verifică suprapunerea și lasă interpretarea la latitudinea profesorului care citește raportul. Un citat delimitat corect, o formulare din secțiunea de metodă împărtășită de întregul subdomeniu, o listă de referințe formatată așa cum fiecare lucrare din jurnal își formatează lista de referințe, toate acestea pot fi înregistrate ca potrivire, deoarece sistemul numără șiruri de text care se suprapun, în loc să judece dacă suprapunerea este legitimă.

Acesta este și motivul pentru care un scor de similaritate de zero dovedește mai puțin decât pare. Înseamnă că lucrarea depusă nu conține niciun segment lung și neîntrerupt de text găsit în alte surse indexate de Turnitin. Nu spune nimic despre modul în care au fost produse propozițiile care există acolo, deoarece a produce o propoziție care nu se potrivește cu nimic dintr-o bază de date nu este aceeași abilitate cu a produce o propoziție pe care un model lingvistic nu ar fi prezis-o.

Ce măsoară de fapt scorul AI

Scorul AI nu are nicio bază de date cu care să fie verificat. Un clasificator citește proza depusă și estimează, pe baza tiparelor pe care le-a învățat din exemple de scriere umană și generată de AI, cât de probabil este ca acea proză să provină de la un model, mai degrabă decât de la o persoană. Nimic din această estimare nu depinde de faptul dacă propoziția exactă a apărut vreodată undeva înainte. O propoziție poate fi complet unică, niciodată tastată de nimeni până la această depunere, și totuși să pară statistic tipică pentru rezultatul AI dacă alegerile de cuvinte și ritmul ei urmează tiparul pe care un model lingvistic tinde să îl producă.

Aceasta este aceeași zonă statistică acoperită integral în relatarea mai amplă despre cum funcționează de fapt detectoarele AI: predictibilitatea la nivel de cuvânt și ritmul la nivel de propoziție, reunite într-un singur scor al documentului. Versiunea Turnitin a acestui clasificator este proprietară, dar premisa de bază, că textul generat tinde să fie mai tipic din punct de vedere statistic decât scrierea umană, este aceeași care stă la baza fiecărui instrument din această categorie.

	Scor de similaritate	Scor AI
Ce măsoară	Cât de mult din textul lucrării se potrivește cu alte documente indexate	Cât de mult seamănă proza cu scrierea generată de AI, tipică din punct de vedere statistic
Ce declanșează un număr mare	Citate lungi, formulări comune specifice domeniului, material reutilizat sau o potrivire cu o lucrare depusă anterior	Ritm uniform al propozițiilor și alegeri de cuvinte constant previzibile de-a lungul documentului
Ce nu dovedește un număr mare	Că textul potrivit a fost folosit necorespunzător. Materialul citat corect poate totuși să fie înregistrat ca potrivire.	Că orice propoziție singulară a fost generată de AI. Clasificatorul citește modelul general al documentului, nu o singură linie în izolare.

Poate o lucrare să aibă 0 Percent similaritate și un scor AI de 90 Percent?

Da, iar combinația nu este o eroare. Cele două scoruri răspund la întrebări diferite, astfel că toate cele patru combinații de valori mari și mici sunt posibile, iar fiecare implică ceva diferit despre modul în care a fost produs textul.

• Similaritate mică, scor AI mic, scriere originală obișnuită, care se citește și cu variația tipică umană. Cazul obișnuit pentru majoritatea lucrărilor autentice ale studenților.
• Similaritate mică, scor AI mare, propoziții originale, care nu sunt copiate de nicăieri, dar care se citesc ca fiind previzibile din punct de vedere statistic, așa cum tinde textul generat. Semnătura scrierii AI needitate, pe care nimeni nu a parafrazat-o dintr-o sursă existentă.
• Similaritate mare, scor AI mic, text care se potrivește îndeaproape cu o sursă existentă scrisă de om, fără platitudinea statistică pe care un clasificator o asociază cu generarea. Text copiat, detectat de instrumentul mai vechi, nu de cel mai nou.
• Similaritate mare, scor AI mare, text care se potrivește cu o sursă existentă care a fost ea însăși generată de AI, de exemplu o lucrare scrisă anterior cu AI sau o pagină de text produs de AI deja indexată de pe webul deschis.

Niciuna dintre aceste combinații nu necesită ceva neobișnuit din partea software-ului. Ele rezultă din faptul că un sistem verifică o potrivire, iar celălalt verifică un model, iar un fragment de text poate avea oricare dintre aceste proprietăți, pe ambele sau pe niciuna.

Ce dovedește, și ce nu dovedește, un scor AI ridicat

Un scor AI ridicat este o estimare statistică, nu o mărturisire extrasă din text. El spune că proza din fața clasificatorului seamănă, prin alegerile de cuvinte și prin ritm, cu tipul de scriere pe care modelul a fost antrenat să îl asocieze cu generarea AI. Nu identifică o propoziție anume ca fiind cu siguranță scrisă de mașină și nu știe nimic despre modul în care documentul a fost produs în realitate, ci doar despre cum se citește după ce este finalizat. TextPulse adoptă aceeași poziție în privința propriilor numere, ceea ce raportează este un Human Score estimat, calculat din textul din fața sa, nu un verdict despre ce instrument, dacă a existat vreunul, a atins documentul.

Răspunsul practic la oricare dintre aceste numere, fie un scor de similaritate scăzut, fie un scor AI ridicat, este același, tratați-l ca pe un motiv de a examina mai atent, nu ca pe o constatare pe care să o acceptați sau să o respingeți dintr-o privire. Schițele, notițele și istoricul versiunilor arată cum a fost scris de fapt un document într-un mod pe care un procent nu îl poate arăta niciodată, în niciun raport. Oricine este curios să vadă la ce reacționează de fapt un clasificator în propria schiță poate observa singur același model la nivel de cuvânt cu un free perplexity checker, cu mult înainte ca vreun raport să fie generat.

Colecția de free tools collection a TextPulse acoperă celelalte straturi statistice care merită verificate înainte ca o schiță să ajungă în apropierea unui instructor, nu doar cele două comparate aici.

După ce cele două numere sunt separate, următoarea întrebare este ce se consideră un scor Turnitin bun. Pentru celălalt detector pe care studenții îl întâlnesc cel mai des, cum funcționează GPTZero este prezentat pe propria pagină.

Cele două numere vor continua să stea unul lângă celălalt în același raport și vor continua să fie citite ca un singur număr de către oamenii grăbiți. A ști la ce întrebare răspunde de fapt fiecare dintre ele este ceea ce transformă o pereche confuză de procente în două informații separate, utile.