Mai se bazează detectoarele AI încă pe perplexity și burstiness?

Căutați cum detectează GPTZero scrierea generată de AI astăzi și cea mai mare parte a rezultatelor încă se concentrează pe două statistici, perplexity și burstiness, perechea care a făcut ca instrumentul să devină celebru în câteva săptămâni de la lansarea sa din ianuarie 2023. Documentația de suport a GPTZero spune acum altceva: a încetat să le mai folosească pe amândouă în toamna aceluiași an.

Așadar, mai este folosită burstiness de detectoarele AI? Nu de instrumentul care a făcut ca termenul să devină cunoscut în cercurile academice. Centrul de suport al GPTZero afirmă clar că nu mai folosește perplexity sau burstiness, trecând în schimb la o arhitectură de deep-learning. Turnitin, instrumentul cu care se confruntă de fapt cei mai mulți studenți, nu a publicat niciodată vreunul dintre acești termeni ca parte a metodei sale. Conceptele nu au dispărut din discuție. Au dispărut din produsele care fac efectiv detectarea.

Mai este folosită Burstiness de detectoarele AI?

Nu, nu de GPTZero și nu sub acest nume. Documentația de suport a GPTZero spune acest lucru în mod direct: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Ghidurile Turnitin descriu din nou o metodă diferită, construită în jurul acordării de scoruri unor fragmente ale unei lucrări de către un clasificator antrenat, iar niciunul dintre cei doi termeni nu apare nicăieri în acea documentație. Cele două statistici care au definit primul val al detectării AI nu sunt ceea ce rulează în prezent instrumentele de vârf. Aceasta este o afirmație mai restrânsă decât a spune că au fost aruncate la gunoi: propriul material explicativ al GPTZero le numără încă printre cei șapte indicatori care alimentează modelul său. Au încetat să mai fie metoda fără a înceta să mai fie o măsură, iar diferența dintre aceste două afirmații este în mare parte ceea ce pune această întrebare în joc.

Ce s-a schimbat în toamna lui 2023

Cei doi termeni nu au fost niciodată obscuri. Propriul explicator timpuriu al GPTZero definea perplexity ca „o măsură a probabilității ca un model AI să fi ales exact același set de cuvinte ca cel găsit în document”, iar burstiness ca „o măsură a modului în care tiparele de scriere și valorile de perplexity ale textului variază pe întregul document”, o statistică la nivel de document, nu un simplu număr al lungimii propozițiilor. Ambele definiții sunt încă publicate pe site-ul GPTZero. Ceea ce s-a schimbat este care dintre ele este efectiv rulat de detector.

„Migrated to a deep-learning based architecture” este o afirmație specifică, nu o formulă de marketing, și descrie o schimbare reală de natură. Un scor de perplexity este calculat direct dintr-o formulă: textul este trecut printr-un model lingvistic de referință, se face media probabilităților logaritmice, apoi rezultatul este exponentiat. În schimb, este antrenat un clasificator de deep-learning, căruia i se arată numere mari de exemple scrise de oameni și de AI până când învață, de unul singur, orice combinație de caracteristici separă cele două grupe din acele date de antrenare. Nimeni nu scrie manual regula în a doua abordare. Modelul o găsește.

Ambii termeni retrași primesc o explicație completă în altă parte pe acest site: ce măsoară de fapt perplexity și ce măsoară de fapt burstiness prezintă în detaliu propriile mecanisme, inclusiv formulele din spatele lor. Acest text se limitează strict la întrebarea dacă vreunul dintre ele este încă ceea ce rulează astăzi un detector.

Ce documentează de fapt astăzi GPTZero și Turnitin

Pagina tehnologică actuală a GPTZero, care descrie ce este livrat în produs, afirmă că detectorul lor este o „end-to-end deep learning approach”, cu un „sentence-by-sentence classification model” care produce o ieșire de probabilitate cu un scor de încredere. Perplexity și burstiness nu apar nicăieri pe acea pagină, nici ca componentă, nici ca funcție moștenită, nici într-o notă de subsol.

Documentația Turnitin nu a fost niciodată construită în jurul niciunuia dintre cei doi termeni de la bun început. Ghidurile sale descriu o trimitere împărțită în fragmente de câteva sute de cuvinte, fiecare fragment fiind evaluat de un model antrenat, iar scorurile fragmentelor fiind mediate într-un singur procent pe care îl afișează un raport. Acesta este un clasificator supravegheat care lucrează pe segmente de text, din aceeași familie de metode la care a trecut GPTZero, nu un calcul de perplexitate și nici un calcul de burstiness sub un alt nume.

Schimbarea se vede cel mai ușor alăturat.

	Ce descriau explicațiile timpurii (2023)	Ce descrie documentația actuală
GPTZero	Perplexity și burstiness, evaluate în raport cu un model de referință	Un clasificator deep learning la nivel de propoziție, care produce o probabilitate și un scor de încredere
Turnitin	Nu a fost publicat niciodată, termenii nu apar în materialele proprii Turnitin în niciun moment	Fragmente de câteva sute de cuvinte evaluate de un clasificator antrenat, mediate într-un singur procent

De ce conceptele explică în continuare detectabilitatea

Nimic din toate acestea nu face ca perplexity și burstiness să fie greșite, ci doar depășite ca descriere a mecanismului actual. Ambele concepte descriau întotdeauna ceva real: textul generat prin eșantionare către cele mai probabile continuări ale unui model tinde să fie mai previzibil, cuvânt cu cuvânt, decât textul pe care îl scrie o persoană de la zero, și tinde să varieze mai puțin de la o propoziție la alta. Regularitatea de fond nu s-a schimbat pentru că un furnizor și-a schimbat arhitectura detectorului. S-a schimbat doar modul în care detectorul caută această regularitate.

Clasificatorul antrenat nu este rugat în mod explicit să caute perplexitate sau burstiness. Mai degrabă, este antrenat pe aceeași distincție de bază dintre textul uman și textul generat de mașină pe care aceste două statistici au fost concepute să o surprindă. Și pare foarte puțin probabil ca un clasificator antrenat să distingă cele două grămezi să nu se bazeze tocmai pe acea regularitate, una dintre cele mai fiabile diferențe dintre cele două, de asemenea. Aceasta este o inferență despre motivul pentru care clasificatorul funcționează probabil, nu o afirmație despre lista sa publicată de caracteristici, iar cele două trebuie păstrate separate.

Cercetarea independentă susține ideea că statistica de bază încă are forță, chiar și în afara produsului unui singur furnizor. DetectGPT, o metodă academică zero-shot publicată în 2023, analizează o rudă apropiată a perplexity, cât de abrupt se curbează funcția de log-probabilitate a unui model în jurul unui pasaj, și atinge 0.95 AUROC pe un benchmark față de 0.81 pentru cel mai bun baseline zero-shot anterior, fără a antrena deloc un clasificator pe exemple etichetate. Ideea centrală, că textul generat de mașină se află într-o regiune statistic distinctă a propriului spațiu de probabilitate al unui model, este încă un subiect activ de cercetare. Pur și simplu nu este ceea ce GPTZero livrează utilizatorilor.

De ce atât de mult din Internet încă înțelege greșit acest lucru

Majoritatea explicațiilor publicate despre modul în care funcționează detectarea AI au fost scrise în timpul sau la scurt timp după lansarea GPTZero din ianuarie 2023, când perplexity și burstiness erau singurele cadre publice oferite chiar de companie. Aceste pagini explicative originale sunt încă active astăzi. Notificarea de retragere din toamna lui 2023 se află pe o pagină separată de suport, mai degrabă decât integrată în ele, astfel încât un autor care a citit prima pagină și a încetat cercetarea nu ar avea niciun motiv să știe că metoda s-a schimbat la mai puțin de un an mai târziu.

O recenzie a unui detector terț, care circulă în 2026, susține că GPTZero încă folosește perplexity și burstiness ca un strat printre mai multe într-un sistem mai amplu. Această afirmație intră în conflict direct cu pagina tehnologică actuală a GPTZero și cu propria sa documentație de suport, iar nimic de pe site-ul GPTZero nu o coroborează. O companie care își descrie propriul produs livrat are totuși prioritate față de o afirmație necoroborată a unui terț despre același produs, chiar dacă și documentația furnizorului poate fi greșită. Acest text urmează paginile proprii ale GPTZero, nu recenzia care repetă povestea mai veche.

Ce înseamnă acest lucru pentru modul în care scrii

Îndrumarea practică construită în jurul burstiness nu a devenit inutilă doar pentru că termenul a dispărut din materialele proprii ale GPTZero. Variarea deliberată a lungimii propozițiilor rămâne, mecanic, un argument despre evitarea aceleiași uniformități statistice pe care un clasificator este foarte probabil antrenat să o observe, indiferent cum numește intern acel semnal. Sfatul de bază a supraviețuit schimbării de arhitectură a furnizorului, chiar dacă vocabularul care îl descria nu a supraviețuit.

Nimic din toate acestea nu necesită să iei de bun cuvântul nimănui, inclusiv al acestui articol. Verificatorul gratuit de perplexity al TextPulse și mai ampla colecție de instrumente gratuite îți permit să vezi unde se află propriul tău draft înainte ca un detector, indiferent de generație, să o facă vreodată.

Dacă răspunsul te trimite înapoi la propria ta scriere, pașii practici următori sunt creșterea deliberată a burstiness și variarea lungimii propozițiilor într-un paragraf academic, ceea ce este aceeași sarcină descrisă fără metrică.

Mecanismul pe care îl rulează un detector va continua să se schimbe, GPTZero l-a schimbat deja o dată. Ceea ce rămâne constant este întrebarea reală, acoperită integral în ghidul acestui site despre modul în care funcționează de fapt detectorii AI: dacă scrierea predictibilă este același lucru cu scrierea generată de mașină, indiferent de formula care se întâmplă să fie la modă într-un anumit an.