False pozitive ale detectorului AI: de ce scrierea umană este semnalată

În 1982, New England Journal of Medicine a publicat un articol despre citomegalovirus la pacienții cu transplant de măduvă osoasă. A trecut prin evaluarea colegială și a rămas în arhivă timp de patru decenii. În 2023, cercetătorii l-au introdus într-un detector de scriere AI pe care OpenAI îl lansase public, iar instrumentul l-a evaluat ca fiind 99.96 percent probabil generat de AI, cu treizeci și șapte de ani înainte ca modelul de către care se presupunea că a fost scris să existe. Acesta este un fals pozitiv al unui detector AI în forma sa cea mai pură, un document semnalat ca fiind scris de o mașină, deși nu poate fi în niciun caz scris de o mașină.

Acest exemplu este extrem doar prin momentul său. Modelul de bază, un detector care citește proza formulată, previzibilă, ca fiind produsă de o mașină, indiferent de cine a scris-o sau când, apare constant în trimiteri obișnuite, eseuri, scrisori de intenție, rapoarte de laborator, declarații personale. Acest articol prezintă ce provoacă un fals pozitiv, ce tipuri de scriere sunt cele mai expuse și de ce un singur scor semnalat nu este dovada pe care pare să o fie.

Ce este un fals pozitiv al unui detector AI?

Falsul pozitiv al unui detector AI este un text scris de om pe care un instrument de detectare îl evaluează ca fiind generat de AI. Nu se măsoară nimic despre procesul, onestitatea sau competența autorului. Instrumentul compară forma statistică a propoziției, cât de previzibile sunt alegerile de cuvinte și structura, cu forma pe care a învățat să o asocieze cu ieșirea unei mașini.

Furnizorii raportează ratele de fals pozitiv ca un singur procent mic, de obicei sub unu sau două procente. Această cifră descrie un test controlat pe un set de referință construit de furnizor, nu o garanție pentru vreun document individual. Întrebarea mai amplă privind dacă detectorii AI sunt deloc preciși a fost deja testată independent, iar rezultatele se situează cu totul în altă parte, uneori mult peste orice cifră a furnizorului. Acest articol rămâne mai restrâns, ce tipuri de scriere cresc acest risc și ce poate și ce nu poate spune un scor semnalat.

Ce trăsături ale scrierii fac ca textul uman să pară produs de o mașină

Patru tipuri de scriere obișnuită prezintă cel mai mare risc, iar niciunul dintre ele nu implică faptul că o persoană face ceva greșit. Documentele scurte, scrierea puternic formulică, materialele citate sau bazate pe șabloane și scrierea care a fost corectată foarte atent tind toate să obțină scoruri mai mari de predictibilitate decât proza compusă liber, aceasta fiind singura proprietate pe care orice detector o măsoară de fapt. Un free burstiness checker măsoară direct aceeași variație, ceea ce este o modalitate mai rapidă de a vedea modelul decât citirea unei descrieri a lui.

Unele genuri sunt formulice prin design. O secțiune de metode, un raport de laborator, o scrisoare de intenție standard și o recenzie de literatură favorizează toate expresia convențională în locul celei inventive, deoarece convenția este ceea ce face documentul utilizabil pentru cititorul său. Cercetătorii au testat acest lucru direct pe scriere reală: au rulat 14,400 de rezumate de articole publicate între 1980 și 2023, cu ani înainte ca orice model lingvistic de mari dimensiuni să existe, printr-un detector disponibil public. Până la 8 percent au fost semnalate ca fiind generate de AI, indiferent de anul publicării, iar rezumatele din New England Journal of Medicine au fost semnalate în proporție de 10.24 percent, cea mai mare rată de fals pozitiv dintre cele cinci reviste testate.

Testul nu ar fi putut detecta nimic despre ChatGPT, deoarece ChatGPT nu exista în cea mai mare parte a anilor pe care i-a eșantionat. A detectat genul. Mai formal, așa cum ar spune analiza statistică din 2026 a problemei detecției, nu există nicio modalitate de a construi un detector care să distingă între o propoziție care este predictibilă pentru că a fost scrisă de software și o propoziție care este predictibilă pentru că este genul de lucru pe care îl scrii în genul său. Din exterior, ele arată exact la fel.

Editarea intensă împinge în aceeași direcție. Un prim draft poartă neregularitățile specifice ale unui autor: ordinea neobișnuită a cuvintelor, propoziția care se prelungește pentru că și ideea s-a prelungit. O etapă riguroasă de corectură, mai ales una realizată printr-un alt instrument, tinde să netezească exact aceste neregularități. Cea mai amplă comparație independentă a instrumentelor de detectare de până acum a testat 14 dintre ele și a constatat că acuratețea a scăzut și mai mult, pentru fiecare instrument, odată ce textul eșantion a fost parafrazat sau tradus automat.

Trăsătură de scriere	De ce reduce aparenta impredictibilitate a unui document	Ce arată dovezile
Texte scurte	Mai puțin text lasă mai puțin spațiu pentru variația naturală care separă ritmul uman de ritmul mașinii	Scorurile pentru documentele scurte fluctuează mai mult pe baza câtorva propoziții neobișnuite
Scriere formulică sau specifică unei discipline	Convenția genului recompensează expresia așteptată în locul celei inventive	14,400 de rezumate de articole din perioada pre-ChatGPT (1980 to 2023) au declanșat totuși până la 8% rezultate fals pozitive; rezumatele unui jurnal au atins 10.24%
Schițe puternic editate sau parafrazate	O etapă de finisare netezește neregularitățile individuale pe care un detector le citește ca fiind umane	O comparație independentă a 14 instrumente a constatat că acuratețea a scăzut și mai mult după parafrazare sau traducere automată
Material citat sau bazat pe șabloane	Fragmentul citat poartă semnătura statistică a sursei sale, nu pe cea a autorului care citează	Detectoarele care nu exclud citatele evaluează documentul din jur pe baza textului împrumutat

De ce ratele publicate și ratele din lumea reală nu coincid

Fiecare detector major publică o rată de fals pozitiv apropiată de unu la sută sau mai mică. Testele independente ale acelorași instrumente, realizate pe documente diferite, în condiții diferite, raportează în mod obișnuit ceva mult mai mare, uneori de zece ori sau mai mult. Ambele cifre pot fi corecte și totuși să descrie aproape nimic în comun, deoarece nu măsoară același lucru.

Turnitin este un exemplu util tocmai pentru că publică mai multe detalii decât majoritatea concurenților: o rată a falselor pozitive sub 1 procent la nivel de document, cu condiția ca mai mult de 20 percent dintr-o trimitere să fie marcată ca fiind scrisă de AI, alături de o declarație a companiei conform căreia rezultatele din lumea reală diferă de propriile sale teste de laborator. Washington Post a trecut 16 documente reale prin același instrument în 2023 și a constatat că mai mult de jumătate au fost returnate ca fiind cel puțin parțial identificate greșit, inclusiv un eseu scris în întregime de om, marcat ca fiind parțial generat de AI. Niciuna dintre cifre nu este fabricată. Ele provin din eșantioane diferite, praguri diferite și definiții diferite ale ceea ce contează drept semnalare.

Aceeași diferență apare în întreaga industrie, nu doar la o singură companie. Acea comparație a 14 instrumente a arătat că fiecare dintre ele a rămas sub 80 percent acuratețe per ansamblu, iar șase dintre cele paisprezece au produs un fals pozitiv pe scriere umană nemodificată, înainte ca parafrazarea să intre în discuție. O cifră publicată descrie un reper de evaluare. Nu descrie documentul aflat chiar acum în fața unui profesor.

De ce un scor sigur nu este o acuzație sigură

Rata falselor pozitive sună ca și cum s-ar referi la șansa ca un student semnalat ca problematic să fie nevinovat. Dar nu. Ea descrie modul în care funcționează un test pentru toți cei care îl susțin. Iar acestea sunt întrebări diferite, cu răspunsuri diferite, la fel ca în cazul oricărui test de screening din medicină sau securitate.

O analiză statistică din martie 2026, realizată de un cercetător de la Griffith University, face explicită matematica de bază. Dacă tratăm detectarea AI ca pe un test aplicat unei populații de autori studenți, nu unui singur document izolat, apare un compromis: ori de câte ori o anumită parte a acelei populații scrie într-un mod care se suprapune în mod natural cu rezultatul tipic al AI, aproape de convenția de gen, aproape de intervalul unui vorbitor care învață o a doua limbă, orice detector cu o putere reală de a surprinde lucrări scrise de AI trebuie să dea greș în cazul unei părți din acea zonă de suprapunere. Aceasta nu este o afirmație despre un detector anume, construit prost. Este o proprietate a testării unei populații diverse cu un singur document și fără alte dovezi.

Exemplul ilustrativ al articolului arată chiar el amploarea implicată. Să presupunem că 10 percent dintr-o populație de studenți scrie suficient de aproape de rezultatul tipic al unui model AI, iar un detector este calibrat să identifice 80 percent din lucrările scrise efectiv de AI. Matematica impune atunci o rată medie de fals pozitiv de cel puțin 7.5 percent în acea populație. Aceasta nu este o defecțiune în ingineria detectorului, ci o consecință directă a gradului în care scrierea acelui grup se suprapune statistic cu lucrul detectat.

Raportat la o universitate cu 10,000 de studenți, numai această limită inferioară implică aproximativ 750 de alerte false în întreaga populație, o consecință matematică a testării unei populații diverse cu un singur document, fără alte dovezi de cântărit. Autorul articolului precizează explicit că aceste cifre sunt ilustrative, nu măsurate într-o instituție reală. Exemplul arată forma problemei, nu o predicție specifică pentru un anumit campus.

Nimic din toate acestea nu înseamnă că un scor semnalat este lipsit de sens. Înseamnă că scorul este un semnal slab, la nivel de populație, căruia i se cere să răspundă la o întrebare despre un singur individ, o nepotrivire pe care niciun grad de finisare din partea furnizorului nu o poate închide complet de unul singur. O lectură responsabilă tratează numărul ca pe un îndemn de a aduna dovezi mai bune, ciorne, istoricul versiunilor, urmele obișnuite ale cuiva care chiar scrie ceva. Instrumentele gratuite ale TextPulse îi permit unui autor să verifice unde se află în prezent o ciornă pe baza acestor aceleași măsurători, înainte ca altcineva să o facă, ceea ce reprezintă o utilizare diferită a tehnologiei față de încercarea de a învinge un anumit detector.

Ce scriitori se confruntă cu cel mai mare risc

Cercetarea arată două grupuri care ies în evidență mai mult decât oricare altele, persoanele care scriu într-o a doua limbă și persoanele care, din motive fără legătură cu modul în care și-au scris eseul, scriu în mod natural foarte structurat sau repetitiv. Ambele tipuri de scriitori apar pe aceeași semnătură statistică pe care un detector este construit să o identifice.

Vorbitorii de engleză non-nativi poartă cel mai mare risc documentat. Testările independente au constatat în mod repetat că detectorii citesc greșit scrierea academică fluentă în limba a doua ca fiind generată de mașină, la rate mult mai mari decât în cazul scrierii native. Pagina TextPulse pentru scriitori academici ESL explică mai detaliat mecanismul din spatele acestui risc, inclusiv ce tipare de formulare îl determină.

Un al doilea grup, mai puțin discutat, se confruntă cu o problemă înrudită. Cercetătorii au comparat aproximativ 60,000 de postări Reddit, împărțite între un subset identificat ca fiind probabil scris de autori autiști și un eșantion general, și le-au trecut pe ambele printr-un detector bazat pe GPT-2. Ambele grupuri au rămas sub 2 percent marcate în total, dar subsetul probabil autist a fost marcat la o rată semnificativ mai mare decât eșantionul general. Scrierea care înclină spre formulări literale, repetitive, strict modelate, o trăsătură documentată a unor stiluri de comunicare autiste, produce exact textul cu variație redusă pe care un detector este construit să îl identifice.

Doi furnizori publică suficiente informații pentru a verifica afirmația. propria rată de fals pozitiv a Turnitin este prezentată separat, iar acuratețea ZeroGPT este examinată pe propria pagină. Cine suportă cel mai puternic aceste erori este din nou o întrebare separată, iar de ce scriitorii de engleză non-nativi sunt marcați mai des are propriul răspuns.

Nimic din toate acestea nu este probabil să devină mai simplu prea curând. Detectorii vor continua să se îmbunătățească în identificarea textului cu adevărat scris de mașină, iar diversitatea populațională va continua să producă o anumită rată de acuzații false pe care doar o inginerie mai bună nu o poate elimina complet. Schimbarea mai utilă are deja loc în unele instituții, tratarea unui scor ca început al unei conversații, nu ca sfârșit al ei, și întrebarea despre ce populație a fost de fapt testată o rată publicată înainte de a presupune că se aplică documentului din fața lor.