Sunt detectoarele AI precise? False positive și bias

Turnitin susține că rata lor de fals pozitiv este mai mică de 1%. Un grup de cercetători independenți a testat mai mulți detectoare pe o gamă mai largă de mostre de scriere de la vorbitori de engleză non-nativi. Ei au constatat că rata medie de fals pozitiv a fost de peste 60% pentru același tip de scriere. Ambele cifre sunt reale, ambele au fost publicate și ambele se referă la detectoare care vând către aceeași piață. Sunt detectoarele AI precise? Depinde de populația pe care ați testat-o, de detectorul pe care l-ați folosit și de modul în care furnizorul dumneavoastră a definit acest lucru de la bun început.

Acest articol nu va reexplica modul în care un detector calculează acel scor. Mecanismul, perplexity, probabilitatea tokenului, modul în care este antrenat clasificatorul, este prezentat în detaliu în altă parte, și merită citit mai întâi dacă nu l-ați parcurs. Ceea ce contează aici este ce se întâmplă odată ce scorul există, cât de des este greșit, despre a cui scriere este greșit cel mai des și ce costă de fapt o acuzație falsă pe cineva care nu a făcut nimic greșit.

Sunt detectoarele AI precise?

Nu în mod constant, iar diferența dintre afirmațiile de marketing și testarea independentă este bine documentată. Un grup de cercetători condus de Debora Weber-Wulff și-a publicat concluziile privind 14 instrumente de detectare, inclusiv 12 gratuite și două comerciale, care au fost testate pe un amestec de text uman și ChatGPT în 2023. Ei au constatat că niciunul dintre aceste instrumente nu este precis sau fiabil, având o tendință încorporată de a eticheta textul generat de mașină drept uman, mai degrabă decât invers. Două dintre instrumentele comerciale incluse în acest test au fost Turnitin și PlagiarismCheck. Toate instrumentele din acest test au performat mai slab atunci când textul a fost parafrazat.

Dar, după doi ani, lucrurile nu sunt stagnante. O lucrare de lucru de la Booth School a Universității din Chicago, realizată de Brian Jabarian și Alex Imas, a supus la teste trei nou-veniți, Pangram, GPTZero și Originality.ai, precum și un competitor open-source, folosind aproape 2.000 de texte scrise de oameni, din bloguri, știri, recenzii și ficțiune. În condiții de testare controlate, cel mai bun instrument din grup nu a coborât niciodată sub o acuratețe de 99.8 percent și și-a menținut rata de fals pozitiv la un nivel scăzut. Modelul open-source a performat la fel de bine ca un ghicitor la întâmplare. Lucrurile chiar s-au îmbunătățit. Cam așa. Puțin.

Dar problema este cuvântul controlate. Pasajele de referință sunt curate, complete și produse în condiții cunoscute. Un eseu depus nu este niciuna dintre aceste lucruri în mod fiabil. Rezultatele din lumea reală pot să nu fie identice cu rezultatele de laborator, după cum a spus public chiar directorul de produs al Turnitin, deși aceasta este o recunoaștere rară și utilă din partea unui furnizor. Secțiunea următoare pune cifrele furnizorului alături de cele independente, astfel încât diferența să fie vizibilă, nu doar afirmată.

Afirmările furnizorilor versus testarea independentă

Tabelul de mai jos aliniază ceea ce susțin patru detectoare despre ele însele cu ceea ce au măsurat cercetătorii independenți atunci când au testat direct instrumentele. Citiți împreună cele două coloane din mijloc, nu doar coloana furnizorului.

Detector	Acuratețe revendicată de furnizor	Observată independent	Ce spune furnizorul despre falsurile pozitive
Turnitin	prag de încredere de 98% înainte de semnalare, sub 1% falsuri pozitive la nivel de document	Aproximativ 80% acuratețe, cea mai bună dintre 12 instrumente într-o comparație din 2023, pe o versiune anterioară a instrumentului	Sub 1% la nivel de document peste un prag de 20% text scris de AI, aproximativ 4% la nivel de propoziție
GPTZero	95.7% detectare a textului AI la o rată de fals pozitiv de 1% pe benchmark-ul independent RAID	96% acuratețe pe pasaje scurte, rată de fals pozitiv sub 1% într-un studiu din 2025 al University of Chicago Booth	Raportează o rată de fals pozitiv de 1% pe benchmark-ul RAID
Originality.ai	99% acuratețe, rată de fals pozitiv de 0.5% (modelul Lite), 1.5% (modelul Turbo)	Rată de fals pozitiv sub 1%, dar a ratat 10% până la 40% din textul scris de AI în același studiu Booth	Publică cifre separate privind falsurile pozitive în funcție de nivelul modelului
Pangram	Rate de eroare despre care spune că sunt de peste 38 de ori mai mici decât cele ale instrumentelor concurente, afirmă că nu există bias împotriva scriitorilor care nu sunt vorbitori nativi de engleză	Acuratețea nu a scăzut niciodată sub 99.8%, rată de fals pozitiv aproape de zero, în studiul Booth	Afirmă rate de fals pozitiv aproape de zero în 10 domenii de text și 8 modele lingvistice

Două lucruri ies în evidență. În primul rând, toate cifrele furnizorilor provin dintr-un laborator controlat de furnizor, iar cifrele Booth provin de la cercetători care nu au nimic de vândut. În al doilea rând, Turnitin nu apare deloc în acea coloană din mijloc, deoarece studiul din 2025 nu l-a testat. În tabel, cifra sa independentă se bazează pe o comparație anterioară din 2023, dar a fost realizată pe o versiune mai veche a instrumentului, așa că țineți cont de acest lucru când priviți tabelul ca pe o comparație de tip like-for-like.

Cât de precisă este detectarea AI de către Turnitin?

Turnitin nu publică o singură cifră a acurateței. În schimb, publică un prag și un compromis. Compania a declarat că marchează un document doar atunci când este sigură în proporție de 98 percent că partea semnalată este scrisă de AI, iar acest prag este cel care menține rata de fals pozitiv la nivel de document sub 1 percent. Turnitin a estimat că detectează aproximativ 85 percent din scrierea asistată de AI, lăsând restul să treacă în mod deliberat, mai degrabă decât să riște o acuzație greșită.

Procentul efectiv de fals pozitiv pe care Turnitin îl returnează la nivel de propoziție, unde o interfață evidențiază linii specifice în locul unui document întreg, este de fapt mai aproape de 4 percent. Aceasta este cifra care merită cunoscută dacă un profesor face capturi de ecran ale unui singur paragraf semnalat, în locul unui scor pentru întregul document, deoarece o propoziție evidențiată are o probabilitate semnificativ mai mare de a fi greșită decât scorul documentului afișat alături.

Merită menționat și faptul că Turnitin a recunoscut direct acest decalaj. Ei au constatat că primele lor rezultate din lumea reală, în special pentru documentele mai scurte, aveau rate mai ridicate de fals pozitiv decât se așteptase pe baza testelor de laborator. Așa că și-au ajustat lungimea minimă a documentului pentru a fi evaluat, de la 150 la 300 words. Este un furnizor care își ajustează propriul produs deoarece cifra publicată nu s-a confirmat în afara laboratorului, ceea ce spune la fel de mult ca orice studiu independent.

Ce costă de fapt un fals pozitiv pentru un student

Acest lucru i s-a întâmplat unui student la Executive MBA de la Yale's School of Management. Studentul a fost acuzat de o încălcare, în cel mai literal sens posibil. Detectorul implicat a fost GPTZero. Examenul final al studentului la un curs de finanțe fusese semnalat de un asistent didactic care a considerat că textul era lung și elaborat, cu punctuație și gramatică aproape perfecte. Iar acest profesor anume îl verifica prin GPTZero, care a evaluat răspunsurile ca fiind probabil generate de AI.

A picat cursul și a fost suspendat pentru un an. Procesul său, depus la instanța federală în februarie 2025, susține că politica proprie a Yale restricționează folosirea unor instrumente precum GPTZero tocmai din acest motiv, rata sa documentată de fals pozitiv împotriva vorbitorilor de engleză non-nativi, și că el l-a folosit încălcând acea politică. Depunerea sa citează, de asemenea, că GPTZero a returnat un scor de 100 percent generat de AI pentru scriere academică realizată de fostul președinte al universității Yale și de decanul școlii de afaceri.

Judecătorul a refuzat să emită o ordonanță preliminară în mai 2025. Cazul nu a fost încă soluționat, la momentul redactării. Reclamantul, un cetățean francez, susține că aceeași părtinire cunoscută împotriva vorbitorilor de engleză non-nativi a făcut ca scrierea sa să performeze așa cum a făcut-o. La asta ne uităm în secțiunea următoare. Ceea ce nu este supus dezbaterii este prețul, un an pierdut dintr-un program de studii, o notă de eșec, cheltuieli juridice și mai multe luni petrecute disputând un scor în loc să obțină o diplomă. O rată de 1 percent de fals pozitiv pare mică până când o populație mare o face să se aplice unei persoane anume.

Ce trăsături ale scrierii fac ca textul uman să pară produs de mașină

Patru tipuri de scriere obișnuită implică cel mai mare risc, iar niciunul dintre ele nu presupune că o persoană face ceva greșit. Documentele scurte, scrierea puternic formulică, materialul citat sau bazat pe șabloane și scrierea care a fost corectată foarte atent tind toate să obțină scoruri ca fiind mai previzibile decât proza compusă liber, care este singura proprietate pe care orice detector o măsoară de fapt. Un verificator gratuit de burstiness măsoară direct aceeași variație, ceea ce este o modalitate mai rapidă de a vedea modelul decât de a citi o descriere a lui.

Unele genuri sunt, prin concepție, formulare. O secțiune de metode, un raport de laborator, o scrisoare de intenție standard și o recenzie de literatură favorizează toate expresia convențională în locul celei inventive, deoarece convenția este cea care face documentul utilizabil pentru cititorul său. Cercetătorii au testat acest lucru direct pe texte reale: au rulat 14,400 de rezumate de articole publicate între 1980 și 2023, ani dinainte ca vreun model lingvistic de mari dimensiuni să existe, printr-un detector disponibil public. Până la 8 percent au fost semnalate ca fiind generate de AI, indiferent de anul publicării, iar rezumatele din New England Journal of Medicine au fost semnalate în proporție de 10.24 percent, cea mai mare rată de fals pozitiv dintre cele cinci reviste testate.

Testul nu ar fi putut detecta nimic despre ChatGPT, deoarece ChatGPT nu exista în cea mai mare parte a anilor pe care i-a eșantionat. A detectat genul. Mai formal, așa cum ar spune analiza statistică din 2026 a problemei detecției, nu există nicio modalitate de a construi un detector care să distingă între o propoziție previzibilă pentru că a fost scrisă de software și o propoziție previzibilă pentru că este genul de lucru pe care îl scrii în genul său. Din exterior, ele arată exact la fel.

Editarea intensă împinge într-o direcție similară. O primă versiune păstrează neregularitățile specifice ale unui autor, ordinea neobișnuită a cuvintelor, propoziția care se prelungește pentru că și ideea s-a prelungit. O etapă riguroasă de corectură, mai ales una realizată printr-un alt instrument, tinde să netezească exact aceste neregularități. Cea mai amplă comparație independentă a instrumentelor de detecție de până acum a testat 14 dintre ele și a constatat că acuratețea a scăzut și mai mult, pentru fiecare instrument, după ce textul eșantion fusese parafrazat sau tradus automat.

Trăsătură de scriere	De ce reduce aparenta impredictibilitate a unui document	Ce arată dovezile
Texte scurte	Mai puțin text lasă mai puțin spațiu pentru variația naturală care separă ritmul uman de ritmul mașinii	Scorurile pentru documentele scurte oscilează mai mult în funcție de câteva propoziții neobișnuite
Scriere formulică sau specifică disciplinei	Convenția genului recompensează expresia așteptată în locul celei inventive	14,400 de rezumate de jurnal dinainte de ChatGPT (1980 to 2023) au declanșat totuși până la 8% rezultate fals pozitive; rezumatele unui jurnal au atins 10.24%
Schițe puternic editate sau parafrazate	O etapă de finisare netezește neregularitățile individuale pe care un detector le citește ca fiind umane	O comparație independentă a 14 instrumente a constatat că acuratețea a scăzut și mai mult după parafrazare sau traducere automată
Material citat sau bazat pe șabloane	Fragmentul citat poartă semnătura statistică a sursei sale, nu pe cea a autorului care citează	Detectoarele care nu exclud citatele evaluează documentul din jur pe baza textului împrumutat

De ce clasifică greșit detectoarele AI vorbitorii de engleză non-nativi?

Rău, și la o diferență mare. Aceasta este concluzia studiului care a pus pentru prima dată un număr pe acest fenomen. Cercetătorii de la Stanford au testat șapte detectoare GPT folosite pe scară largă pe 91 de eseuri TOEFL scrise de vorbitori de engleză non-nativi și pe 88 de eseuri ale elevilor americani din clasa a opta. Detectoarele au citit corect aproape de fiecare dată eseurile din clasa a opta. În cazul eseurilor TOEFL, care au fost scrise de adulți suficient de fluenți pentru a susține un test de engleză la nivel de studii postuniversitare, detectoarele au înregistrat în medie o rată de rezultate fals pozitive de 61.3 percent. Optzeci și nouă dintre cele 91 de eseuri au fost marcate ca fiind generate de GPT de cel puțin unul dintre cele șapte detectoare; 18 dintre aceste eseuri au fost marcate de toate cele șapte detectoare.

Mecanismul este același care guvernează restul detecției: vocabularul previzibil și construcția mai simplă a propozițiilor sunt citite ca perplexitate scăzută, iar perplexitatea scăzută este citită ca fiind generată de mașină, indiferent cine ține stiloul. Autorii care lucrează într-o a doua limbă se sprijină pe formulări bine stabilite, deoarece așa arată de fapt fluența într-o limbă suplimentară, iar acesta este exact profilul pe care un detector a fost construit să îl semnaleze.

Autorii aflați în această situație nu sunt ajutați de sfatul de a scrie pur și simplu mai natural, deoarece natural este exact ceea ce a fost semnalat. Pagina TextPulse pentru autori academici ESL acoperă mai în detaliu tiparele de formulare din spatele acestui risc, inclusiv ceea ce le modifică fără a schimba sensul propoziției.

Acesta nu a fost un caz izolat. În decembrie 2025, a fost lansat un nou benchmark, conceput explicit pentru a evalua biasul în acești detectoare. Acesta a inclus peste 200,000 de eșantioane din mai multe demografii și limbi. Deși au trecut doi ani de la primul studiu al Stanford și au fost incluse multe versiuni diferite de model ale acelorași detectoare, acest benchmark a arătat că biasul față de English language learneri este încă prezent.

Acest lucru nu este valabil pentru toți furnizorii. Documentația tehnică proprie a Pangram afirmă că clasificatorul său nu este părtinitor împotriva vorbitorilor de engleză care nu sunt nativi. Cercetătorii de la Chicago Booth nu au testat independent această afirmație, dar ea arată că generația mai nouă de detectoare este construită având în vedere problema, nu ignorând-o.

Dacă doriți să vedeți unde se situează propria dumneavoastră scriere înainte ca altcineva să o evalueze, un verificator gratuit de perplexitate vă oferă același număr de bază pe care l-ar calcula un detector, fără a trimite mai întâi nimic unei instituții.

Cine altcineva este semnalat și de ce

Vorbitorii de engleză care nu sunt nativi poartă cel mai mare risc documentat, dar aceeași logică statistică surprinde și alte tipuri de scriere. Echipa lui Weber-Wulff a constatat că toate cele 14 instrumente pe care le-au testat au fost mai puțin precise atunci când le-au aplicat pe texte parafrazate, iar acest lucru descrie o parte semnificativă a scrierii academice care a trecut printr-un corector, un editor sau prin creionul roșu al unui îndrumător înainte ca cineva să ruleze un detector asupra ei.

Nimic din toate acestea nu înseamnă că numărul este lipsit de sens, ci doar că are nevoie de coroborare înainte să însemne ceva despre o anumită persoană. Dacă aveți un text care pare uniform, cu lungimi similare ale propozițiilor, cu un ritm similar pe tot parcursul lui, va obține un scor mai apropiat de cel al unui text generat de mașină, indiferent cine l-a scris sau de ce. Acest lucru poate fi verificat direct folosind un free burstiness checker, în loc să fie presupus.

Un al doilea grup, mai puțin discutat, se confruntă cu o problemă înrudită. Cercetătorii au comparat aproximativ 60,000 de postări Reddit, împărțite între un subset identificat ca fiind probabil scris de autori autiști și un eșantion general, și le-au trecut pe ambele printr-un detector bazat pe GPT-2. Ambele grupuri au rămas sub 2 percent marcate în total, dar subsetul probabil autist a fost marcat într-o proporție semnificativ mai mare decât eșantionul general. Scrierea care înclină spre formulări literale, repetitive, strict structurate, o trăsătură documentată a unor stiluri de comunicare autistă, produce exact textul cu variație redusă pe care un detector este construit să îl surprindă.

De ce un scor sigur nu este o acuzație sigură

Rata de fals pozitiv sună ca și cum s-ar referi la șansa ca un student marcat ca problemă să fie nevinovat. Dar nu. Ea descrie modul în care funcționează un test pentru toți cei care îl fac. Iar acestea sunt întrebări diferite, cu răspunsuri diferite, la fel ca în cazul oricărui test de screening din medicină sau securitate.

O analiză statistică din martie 2026 realizată de un cercetător de la Griffith University face explicită matematica subiacentă. Dacă tratăm detectarea AI ca pe un test aplicat unei populații de autori studenți, nu unui singur document izolat, apare un compromis: ori de câte ori o anumită parte din acea populație scrie într-un mod care se suprapune în mod natural cu ieșirea tipică a AI, apropiat de convențiile de gen, apropiat de registrul unui vorbitor care învață a doua limbă, orice detector cu putere reală de a identifica lucrările scrise de AI trebuie să dea greș în cazul unei părți din acea zonă de suprapunere. Aceasta nu este o afirmație despre faptul că un anumit detector ar fi construit prost. Este o proprietate a testării unei populații diverse cu un singur document și fără alte dovezi.

Exemplul ilustrativ din articol arată chiar el amploarea implicată. Să presupunem că 10 percent dintr-o populație de studenți scrie suficient de aproape de ieșirea tipică a AI, iar un detector este calibrat să identifice 80 percent din lucrările reale scrise de AI. Matematica impune atunci o rată medie de fals pozitiv de cel puțin 7.5 percent în acea populație. Aceasta nu este o defecțiune a ingineriei detectorului, ci o consecință directă a gradului în care scrierea acelui grup se suprapune statistic cu ceea ce este detectat.

Raportat la o universitate cu 10,000 studenți, numai această limită inferioară implică aproximativ 750 alerte false în întreaga populație, o consecință matematică a testării unei populații diverse în raport cu un singur document, fără alte dovezi care să fie cântărite. Autorul articolului precizează explicit că aceste cifre sunt ilustrative, nu măsurate la o instituție reală. Exemplul arată forma problemei, nu o predicție specifică pentru un anumit campus.

Cum arată o politică de detectare AI care poate fi susținută

Yale avea deja o politică ce, potrivit relatărilor, restricționează instrumente precum GPTZero, din motive foarte apropiate de cele expuse în acest articol, o rată documentată de fals pozitiv și o părtinire documentată împotriva scriitorilor care nu sunt vorbitori nativi de engleză. Așadar, aceasta nu este atât povestea unui singur student ghinionist, cât a unei reguli existente care nu a fost respectată. Când o politică face efectiv distincția dintre un scor și un verdict, atunci un scor devine o informație de intrare, nu un verdict.

• Tratați scorul ca pe un singur element de intrare, niciodată ca pe singura bază pentru o constatare de abatere
• Dezvăluiți studenților rata publicată de fals pozitiv a instrumentului înainte de a-l folosi împotriva lor
• Aplicați o prudență suplimentară la lucrările scurte și la scrierea în limba engleză de către vorbitori non-nativi, ambele puncte slabe documentate
• Garantați o cale de apel care nu necesită infirmarea unei statistici

Nimic din toate acestea nu este exotic. Se apropie mai mult de modul în care ar trebui tratată oriunde altundeva orice singură piesă de probă criminalistică, utilă, verificabilă și niciodată suficientă de una singură.

Pentru un autor individual, același principiu se aplică înainte ca un scor să existe, nu după. Un singur număr, de la orice instrument, este o estimare, nu un verdict, iar tratarea lui ca certitudine în oricare dintre direcții, sigur sau prins, îi cere numărului mai mult decât poate susține.

Propriul instrument AI humanizer tool al TextPulse raportează un Human Score pe aceeași logică, o estimare calculată din propriul dumneavoastră text, nu un verdict al unui detector asupra lui, utilă ca semnal al modului în care arată în prezent un draft, mai degrabă decât ca promisiune despre ceea ce va spune orice detector specific.

Întrebarea privind acuratețea se împarte în altele mai restrânse, fiecare cu propria pagină. Dovezile specifice privind rata de fals pozitiv a Turnitin și privind acuratețea ZeroGPT sunt acoperite separat. Dacă un scor a fost deja folosit împotriva dumneavoastră, există materiale practice despre ce trebuie făcut când sunteți acuzat că ați folosit AI, despre probele pe care le puteți aduna pentru a dovedi că nu ați folosit AI și despre redactarea unei scrisori de apel care răspunde scorului în propriile sale termeni.

Numărul din orice raport va continua să se modifice pe măsură ce furnizorii își reantrenează modelele și cercetătorii continuă să le testeze împotriva unor cazuri mai dificile. Dar ceea ce nu ar trebui să se modifice este obiceiul de dedesubt, citiți un scor ca pe o singură măsurătoare dintre mai multe, întrebați pe ce populație a fost validat și întrebați ce nu spune furnizorul despre cazurile pe care încă le clasifică greșit.