Mai se bazează detectoarele AI încă pe perplexity și burstiness?

Căutați cum detectează GPTZero scrierea generată de AI astăzi, iar cea mai mare parte a rezultatelor încă se concentrează pe două statistici, perplexity și burstiness, perechea care a făcut ca instrumentul să devină celebru în câteva săptămâni de la lansarea sa din ianuarie 2023. Documentația de suport a GPTZero spune acum altceva: a încetat să le mai folosească pe amândouă în toamna aceluiași an.

Așadar, mai este burstiness folosită de detectoarele AI? Nu de instrumentul care a făcut ca termenul să devină cunoscut în cercurile academice. Centrul de suport al GPTZero afirmă clar că nu mai folosește nici perplexity, nici burstiness, trecând în schimb la o arhitectură de deep learning. Turnitin, instrumentul cu care se confruntă de fapt cei mai mulți studenți, nu a publicat niciodată vreunul dintre acești termeni ca parte a metodei sale. Conceptele nu au dispărut din discuție. Au dispărut din produsele care fac efectiv detectarea.

Mai este burstiness folosită de detectoarele AI?

Nu, nu de GPTZero și nu sub acest nume. Documentația de suport a GPTZero spune acest lucru în mod direct: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Ghidurile Turnitin descriu din nou o metodă diferită, construită în jurul evaluării unor fragmente ale unei lucrări cu ajutorul unui clasificator antrenat, iar niciunul dintre cei doi termeni nu apare nicăieri în acea documentație. Cele două statistici care au definit primul val de detectare AI nu sunt ceea ce folosesc în prezent instrumentele principale. Aceasta este o afirmație mai restrânsă decât aceea că au fost aruncate la gunoi: propriul material explicativ al GPTZero încă le numără printre cei șapte indicatori care alimentează modelul său. Au încetat să mai fie metoda fără a înceta să mai fie o măsură, iar diferența dintre aceste două afirmații este, în mare parte, miza acestei întrebări.

Ce s-a schimbat în toamna lui 2023

Cei doi termeni nu au fost niciodată obscuri. Propriul explicator timpuriu al GPTZero definea perplexity ca „o măsură a probabilității ca un model AI să fi ales exact același set de cuvinte ca cele găsite în document”, iar burstiness ca „o măsură a modului în care tiparele de scriere și valorile de perplexity ale textului variază pe întregul document”, o statistică la nivel de document, nu un simplu număr al lungimii propozițiilor. Ambele definiții sunt încă publicate pe site-ul GPTZero. Ceea ce s-a schimbat este care dintre ele este efectiv rulat de detector.

„Migrated to a deep-learning based architecture” este o afirmație specifică, nu o formulare de marketing, și descrie o schimbare reală de natură. Un scor de perplexity este calculat direct dintr-o formulă: textul este trecut printr-un model lingvistic de referință, se face media probabilităților logaritmice, apoi rezultatul este exponentiat. În schimb, este antrenat un clasificator de deep-learning, căruia i se arată numere mari de exemple scrise de oameni și de AI până când învață, de unul singur, orice combinație de caracteristici separă cele două grupe din acele date de antrenament. Nimeni nu scrie manual regula în a doua abordare. Modelul o găsește.

Ambii termeni retrași primesc o explicație completă în altă parte pe acest site: ce măsoară de fapt perplexity și ce măsoară de fapt burstiness tratează fiecare în profunzime propriile mecanisme, inclusiv formulele din spatele lor. Acest material se limitează strict la întrebarea dacă vreunul dintre ele este încă ceea ce rulează astăzi un detector.

Ce documentează de fapt GPTZero și Turnitin astăzi

pagina actuală de tehnologie GPTZero, care descrie ce este livrat în produs, afirmă că firma folosește „an end-to-end deep learning approach, trained on text datasets from the web, education, and AI-generated from a range of LLMs”, în care „a sentence-by-sentence classification model determines the probability and confidence that a text was created by AI”. Perplexity și burstiness nu apar nicăieri pe acea pagină, nici ca componentă, nici ca funcție moștenită, nici într-o notă de subsol.

Documentația Turnitin nu a fost niciodată construită în jurul niciunuia dintre cei doi termeni de la bun început. Ghidurile sale descriu o trimitere împărțită în fragmente de câteva sute de cuvinte, fiecare fragment fiind evaluat de un model antrenat, iar scorurile fragmentelor fiind mediate într-un singur procent pe care îl afișează un raport. Acesta este un clasificator supravegheat care operează pe segmente de text, din aceeași familie de metodă la care a trecut GPTZero, nu un calcul al perplexității și nici un calcul al burstiness sub un alt nume.

Schimbarea se vede cel mai ușor alăturat.

	Ce descriau explicațiile timpurii (2023)	Ce descrie documentația actuală
GPTZero	Perplexity și burstiness, evaluate în raport cu un model de referință	Un clasificator de deep learning, la nivel de propoziție, care produce o probabilitate și un scor de încredere
Turnitin	Nu a fost publicat niciodată, termenii nu apar în materialele proprii ale Turnitin în niciun moment	Fragmente de câteva sute de cuvinte evaluate de un clasificator antrenat, mediate într-un singur procent

De ce conceptele explică în continuare detectabilitatea

Nimic din toate acestea nu face ca perplexity și burstiness să fie greșite, ci doar depășite ca descriere a mecanismului actual. Ambele concepte descriau întotdeauna ceva real: textul generat prin eșantionare către cele mai probabile continuări ale unui model tinde să fie mai previzibil, cuvânt cu cuvânt, decât textul pe care îl scrie o persoană de la zero, și tinde să varieze mai puțin de la o propoziție la alta. Regularitatea de bază nu s-a schimbat pentru că un furnizor și-a schimbat arhitectura detectorului. S-a schimbat doar modul în care detectorul caută această regularitate.

Clasificatorul antrenat nu este rugat în mod explicit să caute perplexity sau burstiness. Mai degrabă, este antrenat pe aceeași distincție de bază dintre textul uman și textul generat de mașină pe care aceste două statistici au fost concepute să o surprindă. Și pare foarte puțin probabil ca un clasificator antrenat să distingă cele două grămezi să nu se bazeze tocmai pe acea regularitate, una dintre cele mai fiabile diferențe dintre cele două, de asemenea. Aceasta este o inferență despre motivul pentru care clasificatorul probabil funcționează, nu o afirmație despre lista sa publicată de caracteristici, iar cele două trebuie păstrate separat.

Cercetarea independentă susține ideea că statistica de bază încă are efect, chiar și în afara produsului unui singur furnizor. DetectGPT, o metodă academică zero-shot publicată în 2023, analizează o rudă apropiată a perplexity, cât de abrupt se curbează funcția de log-probabilitate a unui model în jurul unui pasaj, și atinge 0.95 AUROC pe un benchmark, față de 0.81 pentru cel mai bun baseline zero-shot anterior, fără a antrena deloc un clasificator pe exemple etichetate. Ideea centrală, că textul generat de mașină se află într-o regiune statistic distinctă a propriului spațiu de probabilitate al modelului, este încă un subiect activ de cercetare. Pur și simplu nu este ceea ce GPTZero livrează utilizatorilor.

De ce atât de mult din internet încă greșește acest lucru

Majoritatea explicațiilor publicate despre modul în care funcționează detectarea AI au fost scrise în timpul sau la scurt timp după lansarea GPTZero din ianuarie 2023, când perplexity și burstiness erau singurul cadru public oferit chiar de companie. Aceste pagini explicative originale sunt încă active astăzi. Notificarea de retragere din toamna lui 2023 se află pe o pagină separată de suport, în loc să fie integrată în ele, astfel încât un autor care a citit prima pagină și a încetat cercetarea nu ar avea niciun motiv să știe că metoda s-a schimbat la mai puțin de un an mai târziu.

O recenzie a unui detector terț, care circulă în 2026, susține că GPTZero încă folosește perplexity și burstiness ca un strat printre mai multe, într-un sistem mai amplu. Această afirmație intră direct în conflict cu pagina tehnologică actuală a GPTZero și cu propria sa documentație de suport, iar nimic de pe site-ul GPTZero nu o coroborează. Descrierea de către o companie a propriului produs livrat are totuși prioritate față de o afirmație necoroborată a unui terț despre același produs, chiar dacă și documentația furnizorului poate fi greșită. Acest text urmează paginile GPTZero, nu recenzia care repetă povestea mai veche.

Ce înseamnă acest lucru pentru modul în care scrieți

Îndrumarea practică construită în jurul burstiness nu a devenit inutilă doar pentru că termenul a dispărut din materialele proprii ale GPTZero. Varierea deliberată a lungimii propozițiilor rămâne, din punct de vedere mecanic, un argument despre evitarea aceleiași uniformități statistice pe care un clasificator este foarte probabil antrenat să o observe, indiferent cum numește intern acel semnal. Sfatul de bază a supraviețuit schimbării de arhitectură a furnizorului, chiar dacă vocabularul care îl descria nu a supraviețuit.

Nimic din toate acestea nu cere să luați de bun cuvântul cuiva, inclusiv al acestui text. Verificatorul gratuit de perplexity al TextPulse și mai ampla colecție de instrumente gratuite vă permit să vedeți unde se situează propriul dvs. draft înainte ca un detector, indiferent de generație, să o facă.

Dacă răspunsul vă trimite înapoi la propria scriere, pașii practici următori sunt creșterea deliberată a burstiness și varierea lungimii propozițiilor într-un paragraf academic, ceea ce este aceeași sarcină descrisă fără metrică.

Mecanismul pe care îl rulează un detector va continua să se schimbe, GPTZero l-a schimbat deja o dată. Ceea ce rămâne constant este întrebarea propriu-zisă, tratată integral în ghidul acestui site despre modul în care funcționează de fapt detectoarele AI: dacă scrierea previzibilă este același lucru cu scrierea generată de mașină, indiferent de formula care se întâmplă să fie la modă într-un anumit an.