Probabilitatea tokenilor și log-verosimilitatea în detectarea AI

Dacă întrebați un detector cum a ajuns la acel scor, majoritatea interfețelor sale vă vor oferi același răspuns: un paragraf cu unele cuvinte umbrite mai închis decât altele. Umbrirea nu este o presupunere. Ea provine dintr-un număr atașat fiecărui token din pasaj, calculat înainte ca detectorul să atingă vreodată perplexity, burstiness sau un procent final.

Este o probabilitate a tokenului, iar fiecare detecție bazată pe probabilitatea tokenului se sprijină pe aceasta, de la bază. Orice număr de metrici pe care un detector le va raporta, inclusiv cele două pe care le acoperim în altă parte pe acest site, este doar aritmetică aplicată unei serii de astfel de numere. Stratul de sub stratul la care se opresc cele mai multe explicații este locul în care trebuie să vă gândiți la ce este de fapt un token, la ce înseamnă distribuția modelului asupra lui și la motivul pentru care aritmetica se desfășoară în spațiul logaritmic, nu în probabilitate brută. Cele mai multe explicații se opresc aici.

Nimic din toate acestea nu trebuie să rămână opac. Un token, o distribuție de probabilitate și un logaritm sunt instrumente obișnuite, nu secrete proprietare, iar aceleași trei idei explică cum funcționează de fapt detectoarele AI, de la text brut la un singur număr într-un raport.

Detecția AI bazată pe probabilitatea tokenului: de la distribuție la scor

Detecția AI bazată pe probabilitatea tokenului funcționează în trei etape. Un model lingvistic atribuie o probabilitate fiecărui posibil token următor, având în vedere ceea ce a venit înainte. Aceste probabilități per token sunt transformate în logaritmi și însumate de-a lungul pasajului, ceea ce ocolește o problemă numerică în care înmulțirea brută se lovește aproape imediat. Suma rezultată, mediată și rescalată, este ceea ce ajunge în cele din urmă să apară ca o valoare de perplexity sau să alimenteze decizia unui clasificator. Fiecare etapă este o piesă specifică, verificabilă de aritmetică, nu o cutie neagră.

Ce este de fapt un token

Un token nu este un cuvânt. Modelele lingvistice moderne împart textul în fragmente sublexicale cu un algoritm precum codificarea byte-pair, astfel încât un cuvânt comun precum 'the' este de obicei un token, un cuvânt mai puțin frecvent precum 'perplexity' se împarte în două sau trei fragmente, iar un nume necunoscut se poate fragmenta până la caractere individuale. Un pasaj de engleză obișnuită se tokenizează în mod fiabil în mai multe fragmente decât are cuvinte, lucru util de știut înainte de a avea încredere în orice număr de cuvinte pe care vi-l raportează un instrument.

Modelul nu vede niciodată cuvintele așa cum le vede un cititor. El vede o secvență de numere întregi, fiecare fiind un indice într-un vocabular fix cu care modelul a fost antrenat. Tot ceea ce face token probability ai detection de aici înainte operează asupra acelei secvențe de numere întregi, nu asupra șirului original de litere, ceea ce explică în parte de ce funcționarea internă a unui detector poate părea deconectată de felul în care o persoană citește efectiv o propoziție.

Distribuția modelului asupra următorului token

La fiecare poziție dintr-o secvență, un model lingvistic autoregresiv nu produce o singură predicție. El produce o distribuție completă a probabilităților pe întregul său vocabular, zeci de mii de numere care însumează unu, ordonând fiecare token posibil următor de la cel mai probabil la cel mai puțin probabil, având în vedere tot ceea ce a precedat. Dacă introduceți în model expresia 'the results of the', acesta distribuie cea mai mare parte a acelei mase de probabilitate asupra câtorva substantive plauzibile, 'study,' 'experiment,' 'analysis,' atribuind în același timp o pondere infimă unui cuvânt precum 'marmalade.'

Tokenul care apare efectiv în continuare într-un document real se află undeva în acea ierarhie, iar probabilitatea atribuită lui este materia primă din care se construiește tot restul. Un model care își produce propriul text se poate baza direct pe această distribuție, alegând în mod repetat dintre opțiunile aflate aproape de vârf. Un detector care citește textul final al altcuiva poate doar să întrebe, după fapt, câtă probabilitate ar fi atribuit modelul alegerii care a fost făcută efectiv.

Probabilitatea unei secvențe întregi este produsul probabilității fiecărui token, condiționată de tot ceea ce a precedat-o; dacă legăm această întrebare per token pe întregul document, folosind regula standard pentru probabilitatea comună, rezultatul final este un singur număr care descrie cât de așteptat a fost întregul pasaj. Acest produs este locul în care aritmetica începe să cedeze, motivul pentru care există secțiunea următoare.

De ce log-verosimilitatea înlocuiește probabilitatea brută

Înmulțirea probabilităților este corectă din punct de vedere matematic și practic inutilă după câteva zeci de tokeni. Fiecare probabilitate individuală este o fracție mai mică decât unu, astfel încât un produs cumulativ se micșorează de fiecare dată când mai este înmulțit încă un token, și se micșorează rapid. După câteva sute de tokeni, un produs brut poate scădea atât de mult sub cel mai mic număr pe care îl poate reprezenta un computer, încât se rotunjește la exact zero, un mod de eșec numit underflow.

Odată ce se întâmplă acest lucru, numărul nu mai poartă nicio informație. Un document care era doar improbabil și un document care era extrem de, haotic de improbabil ajung ambele la același zero, fără nicio modalitate de a le deosebi ulterior. Logaritmii rezolvă acest lucru deoarece logaritmul unui produs este egal cu suma logaritmilor, o identitate din algebra de bază. Suma unei serii de numere negative obișnuite nu suferă underflow așa cum se întâmplă când se înmulțește o serie de fracții mici, și, în plus, este mai ieftin de calculat.

Lungimea pasajului (ilustrativă)	Probabilitate brută, un produs cumulativ	Suma log-probabilităților
12 tokeni la un 0.1 ilustrativ fiecare	1 x 10 la puterea -12, încă reprezentabil	aproximativ -27.6
350 tokeni la un 0.1 ilustrativ fiecare	1 x 10 la puterea -350, suferă underflow la exact 0	aproximativ -805.9

Aceasta este o ilustrare simplificată. Probabilitățile reale pe token variază enorm, în loc să stea la un 0.1 plat, dar direcția problemei este exact corectă. Odată ce un produs brut ajunge la underflow și devine zero, comparația de care un detector are efectiv nevoie, dacă acest document era mai mult sau mai puțin așteptat decât celălalt, devine imposibilă. Suma log-probabilităților nu eșuează niciodată în acest fel. Ea rămâne un număr precis, obișnuit, comparabil, indiferent cât de lung este pasajul, ceea ce este motivul real pentru care detectabilitatea este măsurată în spațiul logaritmic, și nu în spațiul probabilității brute.

De la scoruri pe token la un scor de detecție

Sumarea log-probabilităților de-a lungul unui pasaj produce log-verosimilitatea totală a documentului sub modelul de referință. Împărțirea la numărul de tokenuri elimină efectul lungimii și lasă log-verosimilitatea medie pe token, un număr în sfârșit comparabil între un eseu de cinci sute de cuvinte și un capitol de teză de cinci mii de cuvinte. Dacă negăm această medie și o exponentiem, rezultatul este scorul de perplexity, o metrică pe care acest grup o acoperă în întregime într-o analiză separată despre ce măsoară de fapt perplexity.

Aceleași valori pe propoziții, urmărite pentru variație de-a lungul unui document, în loc să fie aplatizate într-o singură medie, sunt ce stă la baza burstiness, un semnal înrudit, dar separat de perplexity. Ambele pornesc de la aceleași numere pe token descrise mai sus. Ele fac doar aritmetică diferită peste ele.

O medie simplă nu este singura modalitate de a folosi acest material brut, iar cercetarea a mers mult dincolo de ea. DetectGPT, publicat la ICML 2023 de Mitchell, Lee, Khazatsky, Manning și Finn, pornește de la o proprietate diferită a aceleiași funcții de probabilitate: textul eșantionat dintr-un model lingvistic tinde să se afle într-o regiune în care reformulările mici fac ca log-probabilitatea să scadă, nu să crească, un tipar pe care articolul îl numește curbură negativă.

În loc să antreneze un clasificator sau să folosească un watermark, această metodă perturbă un pasaj, producând mici variații în modul în care este reformulat, apoi recalculează scorul fiecărei variații cu același model. Articolul compară acest lucru cu cel mai bun reper zero-shot și constată că, pe text generat de un model cu 20 de miliarde de parametri, această metodă obține 0.95 AUROC, în timp ce cel mai bun reper zero-shot obține 0.81 AUROC.

Aceeași distribuție, folosită pentru a marca în loc să detecteze

Până acum, totul a tratat distribuția de probabilitate ca pe ceva citit după fapt. Ea poate fi atinsă și în momentul generării, ceea ce inversează complet problema. O metodă din 2023 de la Kirchenbauer, Geiping, Wen, Katz, Miers și Goldstein selectează, înainte de producerea fiecărui cuvânt, o listă scurtă randomizată de tokenuri permise, pe baza unui hash al ceea ce a precedat, și orientează ușor eșantionarea către acea listă scurtă. Biasul este invizibil pentru un cititor și poate fi recuperat ulterior cu un test statistic pe un fragment scurt de text, fără a fi nevoie de acces la modelul original.

SynthID de la Google DeepMind pune în producție o versiune a acestei idei: ajustează scorurile de probabilitate ale următorului token în timpul generării și este disponibil astăzi în aplicația Gemini și în experiența web. OpenAI a construit un sistem comparabil și nu l-a lansat. Relatările atribuie decizia, în parte, unui sondaj în care aproape 30 percent dintre utilizatorii ChatGPT au spus că watermarkingul i-ar face să folosească produsul mai puțin, alături de îngrijorări privind cât de bine ar supraviețui un watermark parafrazării.

Raportul unui detector arată un cuvânt evidențiat sau un singur procent și se oprește acolo, fără să arate vreodată distribuția din care a provenit. free perplexity checker de la TextPulse rulează o versiune simplificată a aceleiași evaluări per token asupra propriului dumneavoastră draft, ceea ce este o modalitate mai directă de a vedea unde se situează un pasaj decât de a citi un verdict din auzite.

Două pagini vecine preiau acest aspect. Dacă detectorii se bazează încă pe burstiness s-a schimbat din 2023, iar cum GPTZero transformă aceste aceleași probabilități într-un scor este descris pe propria pagină.

Acesta se află alături de restul uneltelor gratuite ale TextPulse, astfel încât același draft poate fi verificat atât pentru ritm și structură, cât și pentru predictibilitatea la nivel de cuvânt, fără a deschide o duzină de file separate pentru a face acest lucru.