Cum funcționează detectoarele AI? Perplexity, burstiness și probabilitatea tokenilor

Universitatea dumneavoastră a început să treacă lucrările printr-un detector AI, iar un raport a revenit cu un număr la care nu vă așteptați. Înainte să încercați să îl contestați, este util să știți ce înseamnă acel număr. Cum funcționează detectoarele AI? Ele nu citesc scrierea generată de mașină așa cum o face o persoană. Ele măsoară cât de previzibil este textul dumneavoastră pentru un model lingvistic, apoi transformă această previzibilitate într-un scor. Nimic din acest proces nu analizează ce vreți să spuneți, argumentul dumneavoastră sau dacă ați scris efectiv acel text.

Am petrecut ani construind instrumente care descompun textul din punct de vedere statistic, iar cel mai util lucru de înțeles despre detecție este acesta: este o măsurare a tipicității, nu a originii. Odată ce acest lucru devine clar, atât tehnologia, cât și eșecurile ei au mult mai mult sens.

Ce măsoară de fapt un detector

Un detector nu știe cine a scris ceva. Ceea ce are este un model lingvistic și o funcție de scorare. Modelul citește textul dumneavoastră de la stânga la dreapta, iar la fiecare punct produce o distribuție de probabilitate asupra cuvântului care ar trebui să urmeze. Dacă îi dați cuvintele "the results of the" va plasa "study" pe primul loc, "experiment" puțin mai jos și "marmalade" undeva aproape de zero.

Așadar, detectorul pune un singur întrebării documentului dumneavoastră: cât de des a ales acest text cuvântul pe care modelul îl aștepta? Scrierea care continuă să ajungă la cuvinte cu probabilitate mare pare generată de mașină, pentru că exact asta face un generator de text. Modelul eșantionează din partea superioară a propriei distribuții, iar și iar, pentru mii de tokeni.

De aceea, întreaga categorie stă pe un teren mai nesigur decât sugerează marketingul. Un detector nu găsește o filigrană sau o amprentă. El observă că proza dumneavoastră este, din punct de vedere statistic, lipsită de surprize, iar proza lipsită de surprize are multe cauze, nu doar un chatbot.

Perplexitate: cât de surprins este modelul

Indicatorul principal se numește perplexity, ceea ce este mai simplu decât pare. Luați probabilitatea pe care modelul a atribuit-o fiecărui cuvânt care a apărut efectiv, faceți media logaritmilor acelor probabilități și ridicați la putere rezultatul. Ceea ce se obține este un singur număr care descrie cât de surprins a fost modelul de documentul dumneavoastră. Puteți verifica perplexity propriului dumneavoastră draft în loc să o ghiciți.

Perplexity scăzută înseamnă că textul a mers acolo unde modelul se aștepta. Perplexity ridicată înseamnă că a continuat să ia întorsături pe care modelul nu le-a anticipat. Scrierea umană tinde să se situeze mai sus, deoarece oamenii aleg substantivul specific neobișnuit, construcția neobișnuită, propoziția care începe într-un loc neașteptat. Textul generat tinde să se situeze mai jos, deoarece procesul de decodare este construit tocmai pentru a evita astfel de mișcări.

Comparați două moduri de a deschide o secțiune de metode. "The results of the study were statistically significant" este o secvență pe care aproape orice model ar prezice-o cu încredere ridicată, deoarece nu conține informație neașteptată. "Two of the three cohorts drifted before week six, which we had not planned for" este mult mai puțin predictibilă, deoarece conține informație specifică, stângace, care nu putea fi ghicită din restul lucrării. A doua îi costă detectorului surpriză reală, iar acea surpriză este ceea ce este înregistrat ca fiind uman.

Burstiness: variația, nu media

Perplexity de una singură nu este suficientă, deoarece un document poate avea, în medie, un număr perfect rezonabil, fiind totuși suspect de uniform în profunzime. Ceea ce contează este variația din textul dumneavoastră, iar asta măsoară burstiness: cât de mult variază lungimea propozițiilor și perplexity la nivel de propoziție pe măsură ce scrierea înaintează. Un burstiness checker vă va arăta direct această dispersie.

Accelerăm când suntem siguri și încetinim când ne exprimăm cu rezerve, iar acest ritm se păstrează în proză. Oamenii scriu în rafale. Un paragraf poate începe cu o propoziție declarativă scurtă, de opt cuvinte, poate continua cu o propoziție de treizeci și patru de cuvinte care conține trei propoziții subordonate și o paranteză, apoi poate reveni la ceva mai alert.

Ieșirea modelului nu face acest lucru în mod fiabil. Propozițiile se grupează în jurul lungimii medii. Paragrafele apar în pachete ordonate. Fiecare secțiune începe prin a-și relua propriul titlu. Se citește fluent și obține scoruri slabe, deoarece variația redusă între propoziții este unul dintre cele mai puternice semnale pe care le are un detector. Nu o singură propoziție îl trădează. Ci uniformitatea.

Semnal	Ce măsoară	De ce textul generat de mașină obține scoruri mici
Perplexity	Cât de surprins este modelul de alegerile tale de cuvinte, mediat pe întregul document	Decodarea eșantionează, prin proiectare, tokenuri cu probabilitate mare
Burstiness	Cât de mult variază lungimea propozițiilor și predictibilitatea de-a lungul textului	Ieșirea se grupează în jurul mediei, în loc să oscileze
Probabilitatea tokenului	Probabilitatea pe cuvânt din care sunt calculate celelalte două	Șiruri lungi de alegeri individual neieșite din comun

Probabilitatea tokenului și de unde provine scorul

Ambele numere sunt construite dintr-un al treilea: log-verosimilitatea per token, materialul brut din care se calculează tot restul. Unele instrumente ți-l arată direct, evidențiind porțiunile în care textul tău a fost cel mai predictibil. Aceste evidențieri nu sunt acuzații despre propoziții specifice, indiferent de ce sugerează interfața. Ele sunt părțile care au contribuit cel mai mult la un număr la nivel de document.

Abordările de cercetare au depășit pragurile simple. DetectGPT și descendenții săi analizează curbura: perturbă ușor textul tău și verifică dacă verosimilitatea scade în modelul pe care textul generat tinde să îl arate. Altele compară același pasaj în două modele diferite și folosesc dezacordul ca semnal.

O consecință contează pentru oricine este evaluat. Deoarece metricile sunt calculate în raport cu un anumit model de referință, un scor este întotdeauna relativ la acel model. Doi detectoare pot citi același paragraf și pot ajunge la concluzii complet diferite, iar niciunul nu funcționează defectuos. Ele răspund la aceeași întrebare cu puncte de referință diferite.

A doua consecință este menționată mai rar. Un model poate găsi un pasaj previzibil numai dacă acel pasaj seamănă cu ceea ce a fost antrenat, astfel încât calitatea detecției se degradează pe măsură ce se lărgește distanța dintre modelul de referință și orice a produs textul. Generatoarele mai noi, disciplinele neobișnuite și limbile altele decât engleza lărgesc toate această distanță. Aceasta explică în parte de ce acuratețea măsurată într-un benchmark controlat rareori rezistă contactului cu un teanc real de lucrări depuse.

Ce adaugă detectorii comerciali peste aceasta

Instrumentele pe care instituțiile le cumpără de fapt nu rulează perplexity de manual. Turnitin, GPTZero, Originality și celelalte antrenează clasificatori supravegheați pe seturi mari etichetate de text uman și text generat de mașină, folosind trăsături statistice alături de cele stilistice. Ceea ce învață clasificatorul este tot ceea ce separă acele două grămezi în datele sale de antrenare, iar acest lucru este mai restrâns și mai istoric decât "AI writing" în general.

Dependența de antrenare este problema discretă. Un clasificator antrenat în principal pe o generație de ieșiri ale unui model trebuie să generalizeze la modele mai noi, la discipline nefamiliare și la autori al căror engleză nu seamănă cu distribuția sa de antrenare. Furnizorii publică cifre de acuratețe din propriile evaluări, iar benchmarkurile independente ajung în mod obișnuit mult sub acele numere pentru aceleași instrumente.

Cum se citește un scor fără a-l suprainterpreta

Un raport al unui detector apare de obicei ca procent, iar acel procent este interpretat greșit în mod obișnuit. Nu este proporția documentului dumneavoastră scrisă de o mașină. În funcție de instrument, este fie încrederea clasificatorului, fie ponderea propozițiilor care au depășit un anumit prag intern, iar furnizorii sunt adesea vagi cu privire la care dintre acestea. Două rapoarte care arată ambele șaizeci la sută pot însemna lucruri foarte diferite.

De asemenea, merită să știți ce anume modifică un scor din motive care nu au legătură cu persoana care l-a scris. Documentele scurte sunt mai zgomotoase, deoarece există mai puțin text pe baza căruia să se stabilizeze mediile, iar un eseu de cinci sute de cuvinte poate oscila mult în funcție de două sau trei propoziții neobișnuite. Materialul citat contează și el, cu excepția cazului în care instrumentul îl elimină, astfel încât o trecere în revistă a literaturii, încărcată cu citate în bloc, preia predictibilitatea a ceea ce citează. Un pasaj tehnic încărcat cu terminologie standard se comportă la fel.

Dacă vă aflați în situația de a primi un semnal, răspunsul util este dovada, nu o argumentare despre metrică. Istoricul versiunilor, schițele, notițele și înregistrările de căutare vorbesc toate despre proces, iar procesul este ceea ce poate evalua efectiv un comitet de conduită necorespunzătoare. Nu există niciun prag pe care cineva să îl poată indica și care să separe un scriitor atent de un model.

De ce detectoarele semnalează texte pe care nu le-a produs niciun model

Falsele pozitive nu sunt o defecțiune rară. Ele decurg direct din măsurarea tipicității. Orice text care este într-adevăr previzibil va obține un scor de previzibil, indiferent cine l-a produs.

Scriitorii care nu sunt vorbitori nativi de engleză sunt afectați cel mai mult. Cercetători de la Stanford au constatat că detectoarele au clasificat greșit o mare parte dintre eseurile scrise de vorbitori non-nativi ca fiind generate de mașină, în timp ce au clasificat corect eseurile vorbitorilor nativi. Motivul este mecanic, nu malițios, scriitorii care lucrează într-o a doua limbă tind să se bazeze pe construcții uzuale și pe un vocabular mai comun. Acesta este exact profilul unei perplexități scăzute, motiv pentru care scriitorii ESL sunt semnalați pentru că scriu cu atenție.

Convențiile academice provoacă aceeași problemă. O secțiune de metodologie ar trebui să fie formulată după un tipar fix. Scrierea juridică, documentația tehnică și raportarea clinică răsplătesc toate formularea standard în locul celei inventive. Editarea intensă agravează și mai mult situația, deoarece rafinarea unei schițe înseamnă de obicei eliminarea neregularităților care purtau semnătura dumneavoastră statistică.

Instituțiile au observat. Vanderbilt a dezactivat funcția de detectare a AI din Turnitin, în loc să acționeze pe baza unor scoruri pe care nu le putea verifica, iar alte universități au restricționat modul în care aceste cifre pot fi folosite în procedurile de abatere disciplinară. Tratați scorul unui detector ca pe o singură probă slabă, nu ca pe un verdict.

Ce înseamnă acest lucru pentru propria dumneavoastră scriere

Sfatul practic care rezultă din mecanisme nu este exotic, iar nimic din el nu implică trișarea vreunui sistem. Variați în mod deliberat lungimea propozițiilor, deoarece uniformitatea este ceea ce se înregistrează. Păstrați detaliul specific, cifra reală, limita reală, lucrul care a mers prost în săptămâna a șasea. Competența generică este ceea ce obține scoruri de tipul celor generate de mașină, iar specificitatea este atât o scriere mai bună, cât și un semnal mai puternic.

Păstrați și idiomul propriu. Dacă aveți un mod al dumneavoastră de a formula lucrurile, lăsați-l așa. Impulsul de a șlefui un draft până când sună ca orice altă lucrare din domeniu este impulsul care vă scade perplexitatea.

Un lucru de evitat, unele instrumente introduc în mod deliberat erori gramaticale pentru a crește perplexitatea. Funcționează asupra metricii și este o idee foarte proastă pentru orice text notat sau evaluat de colegi, deoarece schimbați o suspiciune cu o certitudine. Scopul este o scriere care să se citească drept a dumneavoastră, nu o scriere care a fost deteriorată intenționat. Aceasta este întreaga diferență dintre rescrierea pentru un cititor uman și distrugerea textului pentru a păcăli un evaluator.

Dacă doriți să vedeți aceste cifre pentru propriul draft, în loc să luați de bună afirmația unei cutii negre, măsurătorile de bază nu sunt secrete. Instrumentele gratuite de analiză a textului vă vor arăta unde se situează proza dumneavoastră, iar dumneavoastră puteți decide singur dacă porțiunile plate sunt o problemă de stil care merită corectată.