Cum funcționează detectoarele AI? Perplexitate, burstiness și probabilitatea tokenului

Universitatea dumneavoastră a început să treacă lucrările printr-un detector AI, iar raportul a revenit cu un număr la care nu vă așteptați. Înainte să încercați să îl contestați, este util să știți ce înseamnă acel număr. Cum funcționează detectoarele AI? Ele nu citesc scrierea generată de mașină așa cum o face o persoană. Ele măsoară cât de previzibil este textul dumneavoastră pentru un model lingvistic, apoi transformă această previzibilitate într-un scor. Nimic din acest proces nu se uită la ceea ce vreți să spuneți, la argumentul dumneavoastră sau la faptul dacă ați scris efectiv acel text.

Am petrecut ani construind instrumente care descompun textul din punct de vedere statistic, iar cel mai util lucru de înțeles despre detecție este acesta: este o măsurare a tipicității, nu a originii. Odată ce acest lucru devine clar, atât tehnologia, cât și eșecurile ei, capătă mult mai mult sens.

Ce măsoară de fapt un detector

Un detector nu știe cine a scris ceva. Ceea ce are este un model lingvistic și o funcție de scorare. Modelul citește textul dumneavoastră de la stânga la dreapta, iar la fiecare punct produce o distribuție de probabilitate pentru cuvântul care ar trebui să urmeze. Dacă îi dați cuvintele "the results of the" va plasa "study" pe primul loc, "experiment" puțin mai jos, iar "marmalade" undeva aproape de zero.

Așadar, detectorul pune o singură întrebare documentului dumneavoastră: de câte ori a ales acest text cuvântul pe care modelul îl aștepta? Scrierea care continuă să ajungă la cuvinte cu probabilitate mare pare generată de mașină, pentru că exact asta face un generator de text. Modelul eșantionează din partea superioară a propriei distribuții, iar și iar, pentru mii de tokeni.

De aceea, întreaga categorie stă pe un teren mai nesigur decât sugerează marketingul. Un detector nu găsește o filigranare sau o amprentă. El observă că proza dumneavoastră este, din punct de vedere statistic, lipsită de surprize, iar proza lipsită de surprize are multe cauze, nu doar un chatbot.

Perplexity: cât de surprins este modelul

Indicatorul principal se numește perplexity, ceea ce este mai simplu decât pare. Luați probabilitatea pe care modelul a atribuit-o fiecărui cuvânt care a apărut efectiv, faceți media logaritmilor acelor probabilități și apoi ridicați la putere rezultatul. Ceea ce rezultă este un singur număr care descrie cât de surprins a fost modelul de documentul dumneavoastră. Puteți verifica perplexity-ul propriului dumneavoastră draft în loc să îl ghiciți.

Perplexity scăzută înseamnă că textul a mers acolo unde se aștepta modelul. Perplexity ridicată înseamnă că a continuat să ia întorsături pe care modelul nu le aștepta. Scrierea umană tinde să se situeze mai sus, pentru că oamenii aleg substantivul specific neobișnuit, construcția neobișnuită, propoziția care începe într-un loc neașteptat. Textul generat tinde să se situeze mai jos, pentru că procesul de decodare este construit tocmai pentru a evita aceste mișcări.

Comparați două moduri de a deschide o secțiune de metode. „Rezultatele studiului au fost semnificative statistic” este o secvență pe care aproape orice model ar prezice-o cu încredere ridicată, deoarece nu conține informație neașteptată. „Două dintre cele trei cohorte au deviat înainte de săptămâna a șasea, lucru pe care nu îl planificasem” este mult mai puțin predictibilă, deoarece conține informație specifică, stângace, care nu putea fi ghicită din restul lucrării. A doua variantă îi costă detectorului surpriză reală, iar acea surpriză este ceea ce se înregistrează ca fiind uman.

Burstiness: variația, nu media

Perplexity de una singură nu este suficientă, deoarece un document poate avea în medie un număr perfect rezonabil, fiind însă suspect de uniform la interior. Ceea ce contează este variația de-a lungul textului, iar asta măsoară burstiness: cât de mult oscilează lungimea propozițiilor și perplexity la nivel de propoziție pe măsură ce scrierea avansează. Un burstiness checker vă va arăta direct această dispersie.

Accelerăm când suntem siguri și încetinim când ne exprimăm cu rezerve, iar acest ritm se păstrează în proză. Oamenii scriu în rafale. Un paragraf poate începe cu o propoziție declarativă scurtă de opt cuvinte, poate continua cu o propoziție de treizeci și patru de cuvinte care conține trei propoziții subordonate și o paranteză, apoi poate reveni la ceva mai alert.

Ieșirea modelului nu face acest lucru în mod fiabil. Propozițiile se grupează în jurul lungimii medii. Paragrafele apar în pachete ordonate. Fiecare secțiune începe prin a-și relua propriul titlu. Se citește fluent și obține scoruri slabe, deoarece variația redusă între propoziții este unul dintre cele mai puternice semnale pe care le are un detector. Nu o singură propoziție îl trădează. Ci uniformitatea.

Semnal	Ce măsoară	De ce textul generat de mașină obține scoruri mici
Perplexity	Cât de surprins este modelul de alegerile dvs. de cuvinte, în medie pe întregul document	Decodarea eșantionează în mod deliberat tokenuri cu probabilitate mare
Burstiness	Cât de mult variază lungimea propozițiilor și predictibilitatea de-a lungul textului	Ieșirea se grupează în jurul mediei, în loc să oscileze
Probabilitatea tokenului	Probabilitatea pe cuvânt din care sunt calculate celelalte două	Șiruri lungi de alegeri individual neieșite din comun

Probabilitatea tokenului și de unde provine scorul

Ambele dintre aceste numere sunt construite dintr-un al treilea: log-verosimilitatea per token, materia primă din care este calculat tot restul. Unele instrumente vi-l afișează direct, evidențiind porțiunile în care textul dvs. a fost cel mai predictibil. Aceste evidențieri nu sunt acuzații privind propoziții specifice, indiferent de ceea ce sugerează interfața. Ele sunt părțile care au contribuit cel mai mult la un număr la nivel de document.

Abordările de cercetare au depășit pragurile simple. DetectGPT și descendenții săi analizează curbura: ei perturbă ușor textul dvs. și verifică dacă verosimilitatea scade în tiparul pe care textul generat tinde să îl prezinte. Altele compară același pasaj sub două modele diferite și folosesc dezacordul ca semnal.

O consecință contează pentru oricine este evaluat. Deoarece metricile sunt calculate în raport cu un anumit model de referință, un scor este întotdeauna relativ la acel model. Doi detectoare pot citi același paragraf și pot ajunge la concluzii complet diferite, iar niciunul nu funcționează defectuos. Ele răspund la aceeași întrebare, dar cu puncte de referință diferite.

A doua consecință este menționată mai rar. Un model poate identifica un pasaj ca fiind previzibil numai dacă acel pasaj seamănă cu ceea ce a fost folosit la antrenarea sa, astfel încât calitatea detectării se degradează pe măsură ce se lărgește distanța dintre modelul de referință și ceea ce a produs textul. Generatoarele mai noi, disciplinele neobișnuite și limbile altele decât engleza deschid toate această distanță. Aceasta explică în parte de ce acuratețea măsurată într-un benchmark controlat supraviețuiește rareori contactului cu un teanc real de lucrări depuse.

De ce textul AI este detectat deloc

Cum își alege un model lingvistic următorul cuvânt

Lăsat singur, un model lingvistic ar raporta pur și simplu lista sa completă, ordonată, de cuvinte posibile următoare și ar lăsa altceva să aleagă. În practică, o strategie de decodare face această alegere automat, cuvânt după cuvânt, iar strategia care rulează schimbă aspectul rezultatului chiar și atunci când modelul de bază nu se schimbă niciodată.

Decodarea greedy selectează întotdeauna singurul cuvânt cu probabilitatea cea mai mare. În articolul care a introdus nucleus sampling ca soluție, Ari Holtzman și coautorii au observat că urmarea acestei strategii duce la un text care este, în propriile lor cuvinte, 'fad și ciudat de repetitiv.' Beam search, care urmărește mai multe continuări probabile în același timp înainte de a se opri asupra uneia, întâmpină o versiune similară a aceleiași probleme.

Strategiile de sampling reintroduc o anumită aleatorietate, dar într-un mod controlat. Temperature ajustează cât de puternic își favorizează modelul propriile opțiuni de top înainte ca un cuvânt să fie extras. Nucleus sampling, numit uneori top-p, trunchiază distribuția la cel mai mic set de cuvinte a căror probabilitate cumulată depășește un prag și extrage numai din acel set, descris în articolul original ca sampling dintr-un nucleu dinamic al distribuției, mai degrabă decât din coada sa nesigură.

Chiar și cele mai puțin deterministe dintre aceste setări se bazează totuși pe o listă restrânsă construită în jurul a ceea ce modelul consideră deja probabil. Scrierea umană nu a fost niciodată generată prin ierarhizarea unui vocabular și extragerea din partea lui superioară, așa că depășește constant această listă restrânsă. Sensul trăiește uneori în cuvântul care nu a fost niciodată pe listă.

Platitudinea vocabularului: mai puține cuvinte, mai sigure

Platitudinea vocabularului este versiunea la nivel de cuvânt a aceluiași obicei. În fiecare punct al unei propoziții, zeci de cuvinte ar putea continua în mod plauzibil, dar câteva se află mult deasupra celorlalte în ierarhia modelului, iar decodarea ajunge în mod repetat la acele câteva. Dacă înmulțim această alegere cu fiecare propoziție dintr-un document, gama de cuvinte efectiv folosite se îngustează măsurabil în comparație cu o scriere umană de lungime similară.

Efectul se cumulează, nu rămâne constant. Un model care alege cuvântul cel mai bine clasat în propoziția unu are mai multe șanse să creeze un context în care cuvântul cel mai bine clasat din propoziția a doua să fie, de asemenea, comun, deoarece cuvintele comune tind să urmeze cuvinte comune. Un autor uman întrerupe constant această derivă, alegând termenul tehnic specific, verbul ușor neobișnuit, cuvântul care denumește lucrul real, nu o aproximare sigură a lui. Această diferență apare ca un vocabular de lucru măsurabil mai mic în versiunea generată, chiar și atunci când ambele versiuni descriu aceleași fapte de bază.

Aceasta este o proprietate a întregului pasaj, nu a unei singure alegeri lexicale. Un cuvânt sigur nu dovedește nimic. O pagină întreagă de astfel de cuvinte, propoziție după propoziție, orientate spre același nivel al vocabularului comun, este ceea ce semnalul la nivel de cuvânt al unui detector este construit, de fapt, să observe.

Uniformitatea sintactică: aceleași forme, repetate

Uniformitatea sintactică este versiunea la nivel de propoziție. Nu se referă la lungimea unei propoziții. Se referă la câte forme gramaticale distincte folosește un pasaj: cum se deschid propozițiile, cum se atașează propozițiile subordonate una de alta, cât de des face un cuvânt de tranziție munca de a lega o idee de următoarea. Un model care continuă să prezică structura următoare, probabilă statistic, se fixează într-o mică rotație de forme și o repetă.

Un paragraf poate varia lungimea propozițiilor și totuși să pară sintactic plat dacă fiecare propoziție urmează aceeași structură subiect, verb, complement, începe cu același tip de tranziție sau se încheie în același mod. Predictibilitatea se află în tipar, nu în numărul de cuvinte, o distincție tratată mai pe larg în ghidul despre ce măsoară de fapt burstiness.

Ce restrânge	Ce tinde să facă textul optimizat pentru decodare	Ce tinde să facă scrierea umană
Alegerea cuvintelor	Se fixează asupra celui mai probabil cuvânt comun la fiecare pas	Se orientează spre cuvântul specific sau mai puțin comun care denumește lucrul real
Deschiderea propoziției	Repetă o mică rotație de deschideri tranzitorii sigure	Variază modul în care începe o propoziție, inclusiv deschideri pe care un model le-ar clasa ca fiind mai puțin probabile
Structura propoziției subordonate	Repetă una sau două forme gramaticale preferate de-a lungul unui pasaj	Combină structuri simple și complexe în funcție de ceea ce are nevoie o propoziție

Alegerile pe care doar un om tinde să le facă

Cealaltă față a unei benzi înguste este ceea ce rămâne în afara ei. O persoană care descrie evenimente reale se orientează spre cifra exactă în locul uneia rotunjite, admite partea care nu a funcționat, întrerupe o propoziție pentru a o corecta în timpul gândirii sau alege un cuvânt care este corect, nu tipic. Fiecare dintre aceste alegeri este, din punctul de vedere al unui model de limbaj, un token cu probabilitate scăzută, exact genul de lucru pe care decodarea este construită să îl evite.

Nimic din toate acestea nu înseamnă că scrierea specifică sau neobișnuită este ferită de orice semnalizare, sau că scrierea fluentă, corectă, este suspectă prin definiție. O secțiune de metodologie, o clauză juridică sau o versiune finală puternic editată pot ajunge într-o bandă îngustă din motive care nu au nicio legătură cu un model, motiv pentru care un singur scor este o descriere a unui tipar, nu un verdict despre cine l-a tastat.

A vedea unde se situează propriul dumneavoastră draft pe acea bandă este mai util decât a ghici. Verificatorul gratuit de perplexitate și verificatorul de burstiness de la TextPulse măsoară separat predictibilitatea la nivel de cuvânt și ritmul de la o propoziție la alta, astfel încât un vocabular plat și o structură repetată a propozițiilor apar ca două semnale diferite, nu ca un singur număr amestecat.

Din aceasta decurg două pagini mai restrânse. Cum detectează Turnitin AI în mod specific este una, iar diferența dintre scorul său de similitudine și scorul său AI este cealaltă, deoarece cele două sunt confundate în mod curent una cu alta.

Ambele se află în cadrul mai larg al colecției de instrumente gratuite, pentru oricine dorește să vadă singur tiparul, în loc să se bazeze orbește pe un singur număr.

Cât din web este acum generat de AI?

După mai multe măsurători, textul produs de mașini îl depășește acum pe cel scris de oameni online. O echipă de la Amazon Web Services a analizat 6,4 miliarde de propoziții de pe web și a constatat că 57.1% existau ca traduceri automate în trei sau mai multe limbi, în mare parte de calitate scăzută. O analiză din 2025 realizată de firma SEO Graphite a constatat că puțin peste jumătate dintre articolele web publicate recent au fost generate de AI. Nici Wikipedia nu este exceptată: un studiu Princeton asupra paginilor create în august 2024 a măsurat aproximativ unul din douăzeci de articole noi în limba engleză ca fiind în mod substanțial generate de AI.

Ponderea este în creștere, deoarece costurile de producție ale modelelor sunt cu ordine de mărime mai mici decât scrierea umană, iar fiecare stimulent comercial indică în aceeași direcție. Platforme întregi funcționează acum fără niciun scriitor uman: Chirper este o rețea socială populată în întregime de conturi AI, unde oamenii pot doar să privească, iar SocialAI vinde un flux în care fiecare răspuns la dumneavoastră este un bot. Forumurile, secțiunile de recenzii și firele de comentarii prezintă același tipar, la o scară mai mică.

Pentru detectare, acest lucru schimbă rata de bază. Un clasificator care citește text web arbitrar în 2023 ar putea presupune că cea mai mare parte era scrisă de oameni, un clasificator în 2026 nu poate face această presupunere. De asemenea, acest lucru se reflectă înapoi în modelele însele, deoarece fiecare generație nouă se antrenează pe un web pe care predecesoarele sale l-au scris deja în el, ceea ce este unul dintre motivele pentru care obiceiurile de vocabular pe care le urmăresc detectoarele se răspândesc, în loc să se estompeze.

Pentru propria dumneavoastră scriere, consecința este directă: proza scrisă de oameni devine clasa minoritară, iar corectorii, editorii și cititorii știu acest lucru. Suspiciunea crescută este acum starea implicită, iar acesta este exact motivul pentru care merită să înțelegeți ce poate și ce nu poate măsura un detector.

Ce adaugă detectoarele comerciale peste acestea

Instrumentele pe care instituțiile le cumpără de fapt nu rulează perplexity de manual. Turnitin, GPTZero, Originality și celelalte antrenează clasificatori supravegheați pe seturi mari etichetate de text uman și text generat de mașini, folosind caracteristici statistice alături de cele stilistice. Ceea ce învață clasificatorul este tot ceea ce separă acele două grămezi în datele sale de antrenare, ceea ce este ceva mai restrâns și mai istoric decât "AI writing" în general.

Dependența de antrenare este problema tăcută. Un clasificator antrenat în principal pe ieșirea unei singure generații de model trebuie să generalizeze la modele mai noi, la discipline nefamiliare și la autori al căror engleză nu seamănă cu distribuția sa de antrenare. Furnizorii publică cifre de acuratețe din propriile evaluări, iar benchmark-urile independente ajung în mod obișnuit mult sub acele numere pentru aceleași instrumente.

Cum se citește un scor fără a-l suprainterpreta

Un raport al unui detector apare de obicei ca un procent, iar acel procent este în mod obișnuit interpretat greșit. Nu este proporția documentului dumneavoastră scrisă de o mașină. În funcție de instrument, este fie încrederea clasificatorului, fie ponderea propozițiilor care au depășit un anumit prag intern, iar furnizorii sunt adesea vagi cu privire la care dintre acestea este. Două rapoarte care arată ambele șaizeci la sută pot însemna lucruri destul de diferite.

De asemenea, merită să știți ce anume modifică un scor din motive care nu au nicio legătură cu persoana care l-a scris. Documentele scurte sunt mai zgomotoase, deoarece există mai puțin text pe baza căruia mediile să se stabilizeze, iar un eseu de cinci sute de cuvinte poate oscila mult pe baza a două sau trei propoziții neobișnuite. Materialul citat contează și el, cu excepția cazului în care instrumentul îl elimină, astfel încât o recenzie de literatură plină de citate în bloc preia predictibilitatea a ceea ce citează. Un pasaj tehnic încărcat cu terminologie standard se comportă în același mod.

Dacă vă aflați în situația de a primi un semnal, răspunsul util este dovada, nu un argument despre metrică. Istoricul versiunilor, ciornele, notițele și înregistrările de căutare vorbesc toate despre proces, iar procesul este ceea ce un comitet de abatere poate evalua efectiv. Nu există niciun prag pe care cineva să îl poată indica și care să separe un scriitor atent de un model.

De ce detectoarele semnalează texte pe care niciun model nu le-a produs

Falsele pozitive nu sunt o defecțiune rară. Ele decurg direct din măsurarea tipicității. Orice text care este cu adevărat previzibil va obține un scor de previzibil, indiferent de cine l-a produs.

Scriitorii de engleză non-nativi sunt afectați cel mai mult. Cercetătorii de la Stanford au constatat că detectoarele au clasificat greșit o mare parte dintre eseurile scrise de vorbitori non-nativi ca fiind generate de mașină, în timp ce au clasificat corect eseurile vorbitorilor nativi. Motivul este mecanic, nu malițios, scriitorii care lucrează într-o a doua limbă tind să se bazeze pe construcții uzuale și pe un vocabular mai comun. Acesta este exact profilul de perplexitate scăzută, motiv pentru care scriitorii ESL sunt semnalați pentru că scriu cu atenție.

Convențiile academice provoacă aceeași problemă. O secțiune de metodologie ar trebui să fie formulată după un tipar fix. Scrierea juridică, documentația tehnică și raportarea clinică recompensează toate formularea standard în detrimentul celei inventive. Editarea intensă agravează și mai mult situația, deoarece rafinarea unei ciorne înseamnă de obicei eliminarea neregularităților care purtau semnătura dumneavoastră statistică.

Instituțiile au observat. Vanderbilt a dezactivat funcția de detectare AI a Turnitin, în loc să acționeze pe baza unor scoruri pe care nu le putea verifica, iar alte universități au restricționat modul în care aceste numere pot fi folosite în procedurile de abatere disciplinară. Tratați scorul unui detector ca pe o singură dovadă slabă, nu ca pe un verdict.

Ce înseamnă acest lucru pentru propria dumneavoastră scriere

Sfatul practic care rezultă din mecanism nu este exotic, iar nimic din el nu implică trișarea sistemului. Variați în mod deliberat lungimea propozițiilor, deoarece uniformitatea este ceea ce iese în evidență. Păstrați detaliul specific, cifra reală, limita reală, lucrul care a mers prost în săptămâna a șasea. Competența generică este ceea ce obține scoruri de tipul celor produse de mașini, iar specificitatea este atât o scriere mai bună, cât și un semnal mai puternic.

Păstrați și idiomul propriu. Dacă aveți un mod al dumneavoastră de a formula lucrurile, lăsați-l așa. Impulsul de a șlefui un draft până când sună ca orice altă lucrare din domeniu este impulsul care vă scade perplexitatea.

Un lucru de evitat, unele instrumente introduc în mod deliberat erori gramaticale pentru a crește perplexitatea. Funcționează asupra metricii și este o idee foarte proastă pentru orice text evaluat sau supus peer-review, deoarece schimbați o suspiciune cu o certitudine. Scopul este o scriere care să fie citită ca fiind a dumneavoastră, nu o scriere care a fost deteriorată intenționat. Aceasta este întreaga diferență dintre rescrierea pentru un cititor uman și distrugerea textului pentru a păcăli un evaluator.

Dacă doriți să vedeți aceste numere pentru propriul draft, în loc să luați de bună afirmația unei cutii negre, măsurătorile de bază nu sunt secrete. Instrumentele gratuite de analiză a textului vă vor arăta unde se situează proza dumneavoastră, iar dumneavoastră puteți decide singur dacă porțiunile uniforme reprezintă o problemă de stil care merită corectată.