Probabilitatea tokenilor și log-verosimilitatea în detectarea AI

Dacă întrebi un detector cum a ajuns la acel scor, majoritatea interfețelor sale de utilizare îți vor oferi același răspuns: un paragraf cu unele cuvinte umbrite mai închis decât altele. Umbrirea nu este o presupunere. Ea provine dintr-un număr atașat fiecărui token din pasaj, calculat înainte ca detectorul să atingă vreodată perplexity, burstiness sau un procent final.

Este o probabilitate a tokenului, iar fiecare detecție bazată pe probabilitatea tokenului pornește de la aceasta, de la zero. Orice număr de metrici pe care un detector le va raporta, inclusiv cele două pe care le acoperim în altă parte pe acest site, este doar aritmetică aplicată unei serii de astfel de numere. Stratul de sub stratul la care se opresc cele mai multe explicații este locul în care trebuie să te gândești la ce este de fapt un token, la ce înseamnă distribuția modelului asupra lui și la motivul pentru care aritmetica se desfășoară în spațiul logaritmic, nu în probabilitate brută. Cele mai multe explicații se opresc aici.

Nimic din toate acestea nu trebuie să rămână opac. Un token, o distribuție de probabilitate și un logaritm sunt instrumente obișnuite, nu secrete proprietare, iar aceleași trei idei explică cum funcționează de fapt detectoarele AI, de la textul brut la un singur număr dintr-un raport.

Detecția AI bazată pe probabilitatea tokenului: de la distribuție la scor

Detecția AI bazată pe probabilitatea tokenului funcționează în trei etape. Un model lingvistic atribuie o probabilitate fiecărui posibil token următor, având în vedere ceea ce a venit înainte. Aceste probabilități pe token sunt convertite în logaritmi și însumate de-a lungul pasajului, ceea ce ocolește o problemă numerică în care înmulțirea brută se lovește aproape imediat. Suma rezultată, mediată și rescalată, este ceea ce ajunge în cele din urmă să apară ca o valoare a perplexity sau să alimenteze decizia unui clasificator. Fiecare etapă este o piesă specifică, verificabilă de aritmetică, nu o cutie neagră.

Ce este de fapt un token

Un token nu este un cuvânt. Modelele lingvistice moderne împart textul în fragmente sublexicale cu un algoritm precum codarea byte-pair, astfel încât un cuvânt comun precum 'the' este de obicei un token, un cuvânt mai puțin frecvent precum 'perplexity' se împarte în două sau trei fragmente, iar un nume necunoscut se poate fragmenta până la caractere individuale. Un pasaj de engleză obișnuit se tokenizează în mod fiabil în mai multe fragmente decât are cuvinte, lucru care merită știut înainte de a avea încredere în orice număr de cuvinte pe care vi-l raportează un instrument.

Modelul nu vede niciodată cuvintele așa cum le vede un cititor. El vede o secvență de numere întregi, fiecare fiind un indice într-un vocabular fix cu care modelul a fost antrenat. Tot ceea ce face token probability ai detection de aici înainte operează asupra acelei secvențe de numere întregi, nu asupra șirului original de litere, ceea ce explică parțial de ce funcționarea internă a unui detector poate părea deconectată de modul în care o persoană citește efectiv o propoziție.

Distribuția Modelului asupra Următorului Token

La fiecare poziție dintr-o secvență, un model lingvistic autoregresiv nu produce o singură predicție. El produce o distribuție completă a probabilităților pe întregul său vocabular, zeci de mii de numere care însumează unu, ordonând fiecare posibil token următor de la cel mai probabil la cel mai puțin probabil, având în vedere tot ceea ce a precedat. Dacă introduceți în model expresia 'the results of the', acesta distribuie cea mai mare parte a masei de probabilitate între câteva substantive plauzibile, 'study,' 'experiment,' 'analysis,' atribuind în același timp o pondere infimă ceva de genul 'marmalade.'

Tokenul care apare efectiv următor într-un document real se situează undeva în acea ierarhie, iar probabilitatea sa atribuită este materia primă din care este construit tot restul. Un model care își generează propriul text se poate baza direct pe această distribuție, alegând în mod repetat dintre opțiunile aflate aproape de vârf. Un detector care citește textul final al altcuiva poate doar să întrebe, ulterior, câtă probabilitate ar fi atribuit modelul alegerii care a fost făcută efectiv.

Probabilitatea unei secvențe întregi este produsul probabilității fiecărui token, condiționată de tot ceea ce îl precede, iar dacă legăm această întrebare per token de-a lungul unui document întreg folosind regula standard pentru probabilitatea comună, rezultatul final este un singur număr care descrie cât de așteptat a fost întregul pasaj. Acest produs este punctul în care aritmetica începe să se defecteze, motivul pentru care există secțiunea următoare.

De ce log-verosimilitatea înlocuiește probabilitatea brută

Înmulțirea probabilităților este corectă din punct de vedere matematic și, din punct de vedere practic, inutilă după câteva zeci de tokeni. Fiecare probabilitate individuală este o fracție mai mică decât unu, astfel încât un produs cumulativ se micșorează de fiecare dată când mai este înmulțit un token, iar această micșorare este rapidă. După câteva sute de tokeni, un produs brut poate coborî atât de mult sub cel mai mic număr pe care un computer îl poate reprezenta, încât se rotunjește la exact zero, un mod de eșec numit underflow.

Odată ce se întâmplă acest lucru, numărul nu mai poartă nicio informație. Un document care era doar improbabil și un document care era extrem de, haotic improbabil ajung ambele la același zero, fără nicio modalitate de a le distinge ulterior. Logaritmii rezolvă această problemă deoarece logaritmul unui produs este egal cu suma logaritmilor, o identitate din algebra de bază. Suma unei serii de numere negative obișnuite nu suferă underflow așa cum se întâmplă când se înmulțește o serie de fracții mici, iar în plus este mai ieftin de calculat.

Lungimea pasajului (ilustrativ)	Probabilitate brută, un produs cumulativ	Suma log-probabilităților
12 tokeni la un 0.1 ilustrativ fiecare	1 x 10 la puterea -12, încă reprezentabil	aproximativ -27.6
350 tokeni la un 0.1 ilustrativ fiecare	1 x 10 la puterea -350, suferă underflow la exact 0	aproximativ -805.9

Aceasta este o ilustrare simplificată. Probabilitățile reale pe token variază enorm, în loc să rămână la un 0.1 plat, dar direcția problemei este exact corectă. Odată ce un produs brut se subdeversează la zero, comparația de care un detector are efectiv nevoie, dacă acest document a fost mai mult sau mai puțin așteptat decât acela, devine imposibilă. Suma log-probabilităților nu eșuează niciodată în acest fel. Ea rămâne un număr precis, obișnuit, comparabil, indiferent cât de lungă este secvența, ceea ce este motivul real pentru care detectabilitatea este măsurată în spațiul log, și nu în spațiul probabilităților brute.

De la scoruri pe token la un scor de detectare

Adunarea log-probabilităților de-a lungul unei secvențe produce log-verosimilitatea totală a documentului sub modelul de referință. Împărțirea la numărul de tokenuri elimină efectul lungimii și lasă log-verosimilitatea medie pe token, un număr în sfârșit comparabil între un eseu de cinci sute de cuvinte și un capitol de teză de cinci mii de cuvinte. Dacă negăm această medie și o exponentiem, rezultatul este scorul de perplexity, o metrică pe care acest cluster o acoperă în întregime într-o analiză separată despre ce măsoară de fapt perplexity.

Aceleași valori pe propoziție, urmărite pentru variație de-a lungul unui document, în loc să fie reduse la o singură medie, sunt din ce este construit burstiness, un semnal înrudit, dar separat, de perplexity. Ambele pornesc de la aceleași numere pe token descrise mai sus. Doar că fac aritmetică diferită peste ele.

O medie simplă nu este singura modalitate de a folosi acest material brut, iar cercetarea a depășit de mult acest stadiu. DetectGPT, publicat la ICML 2023 de Mitchell, Lee, Khazatsky, Manning și Finn, pornește de la o proprietate diferită a aceleiași funcții de probabilitate: textul eșantionat dintr-un model de limbaj tinde să se afle într-o regiune în care reformulările minore fac ca log-probabilitatea să scadă, și nu să crească, un tipar pe care lucrarea îl numește curbură negativă.

În loc să antreneze un clasificator sau să folosească un watermark, această metodă perturbă un pasaj, producând mici variații în modul în care este reformulat, apoi recalculează scorul fiecărei variații cu același model. Lucrarea compară acest lucru cu cel mai bun baseline zero-shot și constată că, pe text generat de un model cu 20 de miliarde de parametri, această metodă obține 0.95 AUROC, în timp ce cel mai bun baseline zero-shot obține 0.81 AUROC.

Aceeași distribuție, folosită pentru a marca în loc să detecteze

Până acum, totul a tratat distribuția de probabilitate ca pe ceva citit după fapt. Ea poate fi, de asemenea, atinsă în momentul generării, ceea ce inversează complet problema. O metodă din 2023 de la Kirchenbauer, Geiping, Wen, Katz, Miers și Goldstein selectează o listă scurtă aleatorizată de tokeni permisi înainte de a fi produs fiecare cuvânt, pe baza unui hash al celor anterioare, și orientează discret eșantionarea către acea listă scurtă. Biasul este invizibil pentru un cititor și poate fi recuperat ulterior cu un test statistic pe un segment scurt de text, fără a fi nevoie de acces la modelul original.

SynthID de la Google DeepMind pune în producție o versiune a acestei idei: ajustează scorurile de probabilitate ale următorului token în timpul generării și este activ astăzi în aplicația Gemini și în experiența web. OpenAI a construit un sistem comparabil și nu l-a lansat. Raportările atribuie decizia parțial unui sondaj în care aproape 30 percent dintre utilizatorii ChatGPT au spus că watermarkingul i-ar face să folosească produsul mai puțin, alături de îngrijorări privind cât de bine ar rezista un watermark la parafrazare.

Raportul unui detector arată un cuvânt evidențiat sau un singur procent și se oprește acolo, fără a arăta vreodată distribuția din care provine. Verificatorul gratuit de perplexity al TextPulse rulează o versiune simplificată a aceleiași evaluări per token asupra propriului dumneavoastră draft, ceea ce este o modalitate mai directă de a vedea unde se situează un pasaj decât de a citi un verdict din a doua mână.

Două pagini vecine preiau acest aspect. Dacă detectorii se mai bazează pe burstiness s-a schimbat din 2023, iar cum GPTZero transformă aceste aceleași probabilități într-un scor este descris pe propria pagină.

Se află alături de restul instrumentelor gratuite ale TextPulse, astfel încât același draft poate fi verificat și pentru ritm și structură, precum și pentru predictibilitatea la nivel de cuvânt, fără a deschide o duzină de file separate pentru a face acest lucru.