Sunt detectoarele AI precise? False positive și bias

Turnitin susține că rata sa de fals pozitiv este mai mică de 1%. Un grup de cercetători independenți a testat mai mulți detectoare pe o gamă mai largă de mostre de scriere de la vorbitori non-nativi de engleză. Ei au constatat că rata medie de fals pozitiv a fost de peste 60% pentru același tip de scriere. Ambele cifre sunt reale, ambele au fost publicate și ambele se referă la detectoare care se vând pe aceeași piață. Sunt detectoarele AI precise? Depinde de populația pe care ați testat-o, de detectorul pe care l-ați folosit și de modul în care furnizorul dumneavoastră a definit acest lucru de la bun început.

Acest articol nu va reexplica modul în care un detector calculează acel scor. Mecanismul, perplexity, probabilitatea tokenului, modul în care este antrenat clasificatorul, este prezentat în detaliu în altă parte, și merită citit mai întâi dacă nu l-ați parcurs. Ceea ce contează aici este ce se întâmplă odată ce scorul există: cât de des este greșit, despre a cui scriere este greșit cel mai des și ce costă de fapt o acuzație falsă pe cineva care nu a făcut nimic greșit.

Sunt detectoarele AI precise?

Nu în mod constant, iar diferența dintre afirmațiile de marketing și testarea independentă este bine documentată. Un grup de cercetători condus de Debora Weber-Wulff și-a publicat rezultatele privind 14 instrumente de detectare, inclusiv 12 gratuite și două comerciale, care au fost testate pe un amestec de text uman și ChatGPT în 2023. Ei au constatat că niciunul dintre aceste instrumente nu este precis sau fiabil, având o tendință încorporată de a eticheta textul generat de mașină drept uman, mai degrabă decât invers. Două dintre instrumentele comerciale incluse în acest test au fost Turnitin și PlagiarismCheck. Toate instrumentele din acest test au avut rezultate mai slabe atunci când textul a fost parafrazat.

Dar, după doi ani, lucrurile nu sunt stagnante. O lucrare de lucru de la Booth School a Universității din Chicago, realizată de Brian Jabarian și Alex Imas, a supus la teste trei nou-veniți, Pangram, GPTZero și Originality.ai, precum și un concurent open-source, folosind aproape 2.000 de texte scrise de oameni, din bloguri, știri, recenzii și ficțiune. În condiții de testare controlate, cel mai bun instrument din grup nu a coborât niciodată sub o acuratețe de 99.8 percent și și-a menținut rata de fals pozitiv la un nivel scăzut. Modelul open-source a avut rezultate la fel de bune ca un ghicitor la întâmplare. Lucrurile chiar s-au îmbunătățit. Cam așa. Puțin.

Dar problema este cuvântul controlate. Pasajele de referință sunt curate, complete și produse în condiții cunoscute. Un eseu depus nu este niciuna dintre aceste lucruri în mod fiabil. Rezultatele din lumea reală pot să nu fie identice cu rezultatele de laborator, după cum a spus public chiar directorul de produs al Turnitin, deși aceasta este o recunoaștere rară și utilă din partea unui furnizor. Secțiunea următoare pune cifrele furnizorului alături de cele independente, astfel încât diferența să fie vizibilă, nu doar afirmată.

Afirmările furnizorilor versus testarea independentă

Tabelul de mai jos aliniază ceea ce susțin patru detectoare despre ele însele cu ceea ce au măsurat cercetătorii independenți atunci când au testat direct instrumentele. Citiți împreună cele două coloane din mijloc, nu doar coloana furnizorului.

Detector	Acuratețea declarată de furnizor	Observată independent	Ce spune furnizorul despre falsurile pozitive
Turnitin	prag de încredere de 98% înainte de semnalare, sub 1% falsuri pozitive la nivel de document	Aproximativ 80% acuratețe, cea mai bună dintre 12 instrumente într-o comparație din 2023, pe o versiune anterioară a instrumentului	Sub 1% la nivel de document peste un prag de 20% scris de AI, aproximativ 4% la nivel de propoziție
GPTZero	95.7% detectare a textului AI la o rată de fals pozitiv de 1% pe benchmarkul independent RAID	96% acuratețe pe pasaje scurte, rată de fals pozitiv sub 1% într-un studiu din 2025 al University of Chicago Booth	Raportează o rată de fals pozitiv de 1% pe benchmarkul RAID
Originality.ai	99% acuratețe, rată de fals pozitiv de 0.5% (modelul Lite), 1.5% (modelul Turbo)	Rată de fals pozitiv sub 1%, dar a ratat 10% până la 40% din textul scris de AI în același studiu Booth	Publică cifre separate privind falsurile pozitive, în funcție de nivelul modelului
Pangram	Rate de eroare despre care spune că sunt de peste 38 de ori mai mici decât ale instrumentelor concurente, afirmă că nu există bias împotriva scriitorilor care nu sunt vorbitori nativi de engleză	Acuratețe niciodată sub 99.8%, rată de fals pozitiv aproape de zero, în studiul Booth	Susține rate de fals pozitiv aproape de zero în 10 domenii textuale și 8 modele lingvistice

Două lucruri ies în evidență. În primul rând, toate cifrele furnizorilor provin dintr-un laborator controlat de furnizor, iar cifrele Booth provin de la cercetători care nu au nimic de vândut. În al doilea rând, Turnitin nu apare deloc în acea coloană din mijloc, deoarece studiul din 2025 nu l-a testat. În tabel, cifra sa independentă se bazează pe o comparație anterioară din 2023, dar a fost realizată pe o versiune mai veche a instrumentului, așa că țineți cont de acest lucru când priviți tabelul ca pe o comparație de tipul like-for-like.

Cât de precisă este detectarea AI de către Turnitin?

Turnitin nu publică o singură cifră a acurateței. În schimb, publică un prag și un compromis. Compania a spus că marchează un document doar atunci când este sigură în proporție de 98 percent că partea marcată este scrisă de AI, iar acest prag este cel care menține rata de fals pozitiv la nivel de document sub 1 percent. Turnitin a estimat că detectează aproximativ 85 percent din scrierea asistată de AI, lăsând restul să treacă în mod deliberat, mai degrabă decât să riște o acuzație greșită.

Procentul real de fals pozitive pe care Turnitin îl returnează la nivel de propoziție, unde o interfață evidențiază linii specifice, nu un document întreg, este de fapt mai aproape de 4 percent. Aceasta este cifra care merită cunoscută dacă un profesor face capturi de ecran unui singur paragraf marcat, nu unui scor pentru întregul document, deoarece o propoziție evidențiată are o probabilitate semnificativ mai mare de a fi greșită decât scorul documentului afișat alături.

De asemenea, merită menționat că Turnitin a recunoscut direct acest decalaj. Ei au constatat că primele lor rezultate din lumea reală, în special pentru documentele mai scurte, aveau rate mai mari de fals pozitive decât se aștepta pe baza testelor lor de laborator. Așa că și-au ajustat lungimea minimă a documentului pentru a fi evaluat, de la 150 la 300 words. Aceasta este o ajustare făcută de furnizor propriului produs, deoarece cifra publicată nu s-a confirmat în afara laboratorului, ceea ce spune la fel de mult ca orice studiu independent.

Ce costă de fapt un fals pozitiv pentru un student

Acest lucru i s-a întâmplat unui student la Executive MBA de la Yale's School of Management. Studentul a fost acuzat de o încălcare, în sensul cel mai literal posibil. Detectorul implicat a fost GPTZero. Examenul final al studentului la un curs de finanțe fusese marcat de un asistent didactic, care a considerat că textul era lung și elaborat, cu punctuație și gramatică aproape perfecte. Iar profesorul respectiv îl trecea prin GPTZero, care a evaluat răspunsurile ca fiind probabil generate de AI.

A picat cursul și a fost suspendat pentru un an. Procesul său, depus la tribunalul federal în februarie 2025, susține că propria politică a lui Yale restricționează utilizarea unor instrumente precum GPTZero tocmai din acest motiv, rata documentată de fals pozitiv împotriva vorbitorilor de engleză care nu sunt vorbitori nativi, și că el l-a folosit încălcând acea politică. Depunerea sa mai citează că GPTZero a returnat un scor de 100 percent generat de AI pentru scriere academică realizată de fostul președinte al universității Yale și de decanul școlii de afaceri.

Judecătorul a refuzat să emită o ordonanță preliminară în mai 2025. Cazul nu a fost încă soluționat, la momentul redactării. Reclamantul, cetățean francez, susține că aceeași părtinire cunoscută împotriva vorbitorilor de engleză care nu sunt vorbitori nativi a făcut ca scrierea sa să performeze așa cum a făcut-o. La asta ne uităm în secțiunea următoare. Ceea ce nu este în discuție este prețul, un an pierdut dintr-un program de studii, o notă de respingere, cheltuieli juridice și câteva luni petrecute disputând un scor în loc să obțină o diplomă. O rată de fals pozitiv de 1 percent pare mică până când o populație mare o transformă în ceva specific unei persoane.

De ce clasifică detectoarele AI greșit vorbitorii de engleză care nu sunt vorbitori nativi?

Rău, și cu o marjă mare. Aceasta este concluzia studiului care a pus pentru prima dată un număr pe acest fenomen. Cercetătorii de la Stanford au testat șapte detectoare GPT utilizate pe scară largă împotriva a 91 de eseuri TOEFL scrise de vorbitori de engleză care nu sunt vorbitori nativi și a 88 de eseuri scrise de elevi americani de clasa a opta. Detectoarele au citit corect aproape de fiecare dată eseurile de clasa a opta. Când a venit vorba de eseurile TOEFL, care au fost scrise de adulți suficient de fluenți pentru a susține un test de engleză la nivel de studii postuniversitare, detectoarele au înregistrat în medie o rată de fals pozitiv de 61.3 percent. Optzeci și nouă dintre cele 91 de eseuri au fost marcate ca fiind generate de GPT de cel puțin unul dintre cele șapte detectoare, iar 18 dintre aceste eseuri au fost marcate de toate cele șapte detectoare.

Mecanismul este același care guvernează restul detecției: vocabularul previzibil și construcția mai simplă a propozițiilor sunt interpretate ca perplexitate scăzută, iar perplexitatea scăzută este interpretată ca fiind generată de mașină, indiferent cine ține stiloul. Autorii care scriu într-o a doua limbă se bazează pe formulări bine stabilite, deoarece așa arată de fapt fluența într-o limbă suplimentară, iar acesta este exact profilul pe care un detector a fost construit să îl semnaleze.

Autorii aflați în această situație nu sunt ajutați de sfatul de a scrie pur și simplu mai natural, deoarece natural este exact ceea ce a fost semnalat. Pagina TextPulse pentru autori academici ESL tratează mai în detaliu tiparele de formulare din spatele acestui risc, inclusiv ceea ce le modifică fără a schimba sensul propoziției.

Acesta nu a fost un caz izolat. În decembrie 2025, a fost lansat un nou benchmark, conceput în mod explicit pentru a evalua biasul în acești detectoare. Acesta a inclus peste 200,000 de eșantioane din mai multe demografii și limbi. Deși au trecut doi ani de la primul studiu al Stanford și au fost incluse multe versiuni diferite ale acelorași detectoare, acest benchmark a arătat că biasul față de vorbitorii de engleză aflați în proces de învățare este încă prezent.

Acesta nu este cazul tuturor furnizorilor. Documentația tehnică proprie a Pangram afirmă că clasificatorul său nu este părtinitor împotriva vorbitorilor de engleză care nu sunt nativi. Cercetătorii de la Chicago Booth nu au testat independent această afirmație, dar ea arată că generația mai nouă de detectoare este construită având în vedere această problemă, în loc să o ignore.

Dacă doriți să vedeți unde se situează propria dumneavoastră scriere înainte ca altcineva să o evalueze, un verificator gratuit de perplexitate vă oferă același număr de bază pe care l-ar calcula un detector, fără a trimite mai întâi nimic unei instituții.

Cine mai este semnalat și de ce

Vorbitorii de engleză care nu sunt nativi poartă cel mai mare risc documentat, dar aceeași logică statistică surprinde și alte tipuri de scriere. Echipa lui Weber-Wulff a constatat că toate cele 14 instrumente pe care le-au testat au fost mai puțin precise atunci când au fost aplicate pe texte parafrazate, iar acest lucru descrie o parte semnificativă a scrierii academice care a trecut prin mâna unui corector, a unui editor sau prin creionul roșu al unui îndrumător înainte ca cineva să ruleze un detector asupra ei.

Nimic din toate acestea nu înseamnă că numărul este lipsit de sens, ci doar că are nevoie de coroborare înainte de a însemna ceva despre o persoană anume. Dacă aveți un text care se citește uniform, cu lungimi similare ale propozițiilor, cu un ritm similar pe tot parcursul lui, el va obține un scor mai apropiat de cel al unui text generat de mașină, indiferent cine l-a scris sau de ce. Acest lucru poate fi verificat direct cu ajutorul unui free burstiness checker, în loc să fie presupus.

Cum arată o politică de detectare AI care poate fi susținută

Yale avea deja o politică ce, potrivit relatărilor, restricționează instrumente precum GPTZero, din motive aproape identice cu cele expuse în acest articol, un rată documentată de fals pozitiv și o părtinire documentată împotriva scriitorilor de engleză care nu sunt nativi. Așadar, aceasta nu este atât povestea unui student ghinionist, cât a unei reguli existente care nu a fost respectată. Când o politică face efectiv distincția dintre un scor și un verdict, atunci scorul devine un element de intrare, nu un verdict.

• Tratați scorul ca pe un singur element de intrare, niciodată ca pe singura bază pentru o constatare de abatere
• Comunicați studenților rata publicată de fals pozitiv a instrumentului înainte de a-l folosi împotriva lor
• Aplicați o prudență suplimentară la lucrările scurte și la scrierea în engleză a vorbitorilor care nu sunt nativi, ambele puncte slabe documentate
• Garantați o cale de apel care nu necesită infirmarea unei statistici

Nimic din toate acestea nu este exotic. Se apropie mai degrabă de modul în care ar trebui tratată oriunde altundeva o singură probă medico-legală, utilă, verificabilă și niciodată suficientă prin ea însăși.

Pentru un autor individual, același principiu se aplică înainte ca un scor să existe, nu după. Un singur număr, provenit din orice instrument, este o estimare, nu un verdict, iar tratarea lui ca certitudine în oricare dintre direcții, sigur sau prins, îi cere numărului mai mult decât poate susține.

Instrumentul propriu AI humanizer tool al TextPulse raportează un Human Score pe baza aceleiași logici: o estimare calculată din propriul dumneavoastră text, nu un verdict al unui detector asupra lui, utilă ca semnal al modului în care un draft se citește în prezent, mai degrabă decât ca promisiune despre ceea ce va spune un anumit detector.

Întrebarea privind acuratețea se desparte în întrebări mai înguste, fiecare având propria pagină. Rata cu care detectoarele marchează scrierea umană este tratată separat, la fel ca dovezile specifice privind rata de fals pozitiv a Turnitin și privind acuratețea ZeroGPT. Dacă un scor a fost deja folosit împotriva dumneavoastră, există materiale practice despre ce trebuie făcut când sunteți acuzat că ați folosit AI, despre dovezile pe care le puteți aduna pentru a dovedi că nu ați folosit AI și despre redactarea unei scrisori de contestație care răspunde scorului în propriii săi termeni.

Numărul din orice raport va continua să se modifice pe măsură ce furnizorii își reantrenează modelele și cercetătorii continuă să le testeze în raport cu cazuri mai dificile. Dar ceea ce nu ar trebui să se modifice este obiceiul de la baza lui: citiți un scor ca pe o singură măsurătoare printre altele, întrebați pe ce populație a fost validat și întrebați ce nu spune furnizorul despre cazurile pe care încă le clasifică greșit.