De ce este detectat textul AI? Motivele reale

Dacă îi ceri unui model de limbaj să completeze propoziția "The weather today is," nu va încerca să aleagă o culoare precum "cerulean" sau "apocalyptic." În schimb, va încerca să spună "sunny," "cloudy," sau "nice," deoarece acestea au fost cuvintele care au urmat cel mai des după acea expresie în materialul pe care a fost antrenat. Software-ul care alege următorul cuvânt dintr-o propoziție a fost conceput să favorizeze exact acest tip de răspuns.

De ce este detectat textul AI? Pentru că aceeași preferință care alege 'sunny' în loc de 'cerulean' se extinde pe întregul document, cuvânt după cuvânt, iar rezultatul se află într-o bandă mai îngustă de scriere posibilă decât ocupă de fapt o persoană. Un detector nu trebuie să prindă o minciună. Trebuie doar să observe că un pasaj continuă să cadă în acea bandă îngustă.

Nimic din ce urmează nu are nevoie de o formulă. Mecanismele se află într-o singură idee, repetată la trei scări diferite, alegerea cuvintelor, forma propozițiilor și detaliul specific spre care un autor se îndreaptă fără să se gândească la el. Fiecare dintre aceste scări intră în întrebarea mai amplă despre cum funcționează de fapt detectoarele AI, iar fiecare este mai ușor de observat odată ce este numită cauza de bază.

De ce este detectat textul AI? Răspunsul scurt

Textul AI este detectat deoarece procesul de decodare care transformă predicțiile unui model în propoziții finale este construit să favorizeze cuvintele probabile la fiecare pas, iar faptul de a face asta în mod consecvent, pentru mii de cuvinte la rând, produce o scriere care ocupă o porțiune mai îngustă a limbajului decât ocupă de obicei un om. Un instrument statistic poate găsi această îngustime chiar și atunci când fiecare propoziție este gramatical perfectă și corectă din punct de vedere factual.

Trei simptome rezultă din această singură cauză. Vocabularul se îngustează spre cel mai sigur cuvânt comun. Structura propozițiilor se îngustează spre câteva forme preferate. Iar alegerea specifică, ușor improbabilă, pe care o face o persoană aproape din reflex, cuvântul ciudat, paranteza, detaliul care nu costă nimic să fie inclus și totul să fie prezis, tinde să nu apară deloc.

Cum alege un model de limbaj următorul său cuvânt

Lăsată de una singură, un model lingvistic ar raporta pur și simplu lista sa completă, ordonată, de cuvinte posibile următoare și ar lăsa altceva să aleagă. În practică, o strategie de decodare face această alegere automat, cuvânt după cuvânt, iar strategia care rulează schimbă felul în care arată rezultatul, chiar și atunci când modelul de bază nu se schimbă niciodată.

Decodarea greedy selectează întotdeauna singurul cuvânt cu probabilitatea cea mai mare. În articolul care a introdus nucleus sampling ca soluție, Ari Holtzman și coautorii au observat că urmarea acestei strategii duce la un text care este, în propriile lor cuvinte, „fad și ciudat de repetitiv”. Beam search, care urmărește mai multe continuări probabile în același timp înainte de a se opri asupra uneia, întâmpină o versiune similară a aceleiași probleme.

Strategiile de sampling reintroduc o anumită aleatorietate, dar într-un mod controlat. Temperature ajustează cât de puternic favorizează modelul propriile sale alegeri de vârf înainte ca un cuvânt să fie extras. Nucleus sampling, numit uneori top-p, trunchiază distribuția la cel mai mic set de cuvinte a căror probabilitate cumulată depășește un prag și extrage doar din acel set, descris în articolul original ca sampling dintr-un nucleu dinamic al distribuției, mai degrabă decât din coada sa nesigură.

Chiar și cea mai puțin deterministă dintre aceste setări extrage tot dintr-o listă scurtă construită în jurul a ceea ce modelul consideră deja probabil. Scrierea umană nu a fost niciodată generată prin ordonarea unui vocabular și extragerea din partea de sus a acestuia, așa că depășește constant această listă scurtă. Sensul locuiește uneori în cuvântul care nu a fost niciodată pe listă.

Platitudinea vocabularului, mai puține cuvinte, mai sigure

Platitudinea vocabularului este versiunea la nivel de cuvânt a aceluiași obicei. În fiecare punct al unei propoziții, zeci de cuvinte ar putea continua plauzibil, dar câteva se află mult deasupra restului în ierarhia modelului, iar decodarea ajunge mereu la acele câteva. Înmulțind această alegere cu fiecare propoziție dintr-un document, gama de cuvinte efectiv folosite se îngustează măsurabil în comparație cu o scriere umană de lungime similară.

Efectul se acumulează, mai degrabă decât să rămână constant. Un model care alege cu prioritate cuvântul cel mai bine clasat în propoziția unu este mai probabil să creeze un context în care cuvântul cel mai bine clasat din propoziția doi este, de asemenea, comun, deoarece cuvintele comune tind să urmeze cuvintele comune. Un autor uman întrerupe constant această derivă, alegând termenul tehnic specific, verbul ușor neobișnuit, cuvântul care denumește lucrul real, mai degrabă decât o aproximare sigură a lui. Această diferență apare ca un vocabular de lucru măsurabil mai mic în versiunea generată, chiar și atunci când ambele versiuni descriu aceleași fapte de bază.

Aceasta este o proprietate a întregului pasaj, nu a unei singure alegeri lexicale. Un cuvânt sigur nu dovedește nimic. O pagină întreagă de astfel de cuvinte, propoziție după propoziție, care urmăresc aceeași clasă de vocabular comun, este ceea ce semnalul la nivel de cuvânt al unui detector este, de fapt, construit să observe.

Uniformitate sintactică: aceleași forme, repetate

Uniformitatea sintactică este versiunea la nivel de propoziție. Nu se referă la lungimea unei propoziții. Se referă la câte forme gramaticale distincte folosește un pasaj: cum se deschid propozițiile, cum se atașează propozițiile subordonate una de alta, cât de des un cuvânt de tranziție face munca de a lega o idee de următoarea. Un model care continuă să prezică structura următoare probabilă din punct de vedere statistic se fixează într-o rotație restrânsă de forme și o repetă.

Un paragraf își poate varia lungimea propozițiilor și totuși să pară sintactic plat dacă fiecare propoziție urmează aceeași formă subiect-verb-complement, se deschide cu același tip de tranziție sau se încheie în același mod. Predictibilitatea există în tipar, nu în numărul de cuvinte, o distincție tratată mai în detaliu în ghidul despre ce măsoară de fapt burstiness.

Ce restrânge	Ce tinde să facă textul optimizat pentru decodare	Ce tinde să facă scrierea umană
Alegerea cuvintelor	Se oprește la cel mai probabil cuvânt comun la fiecare pas	Se îndreaptă spre cuvântul specific sau mai puțin comun care numește lucrul real
Deschiderea propoziției	Repetă o mică rotație de deschideri tranzitorii sigure	Variază modul în care începe o propoziție, inclusiv deschideri pe care un model le-ar clasa drept mai puțin probabile
Structura propoziției subordonate	Repetă una sau două forme gramaticale preferate de-a lungul unui pasaj	Combină structuri simple și complexe în funcție de ceea ce are nevoie o propoziție

Alegerile pe care doar un om tinde să le facă

Cealaltă față a unei benzi înguste este ceea ce cade în afara ei. O persoană care descrie evenimente reale se îndreaptă spre cifra exactă în locul uneia rotunjite, admite partea care nu a funcționat, întrerupe o propoziție pentru a o corecta în mijlocul gândului sau alege un cuvânt care este corect, nu tipic. Fiecare dintre aceste alegeri este, din punctul de vedere al unui model lingvistic, un token cu probabilitate scăzută, exact genul de lucru pe care decodarea este construită să îl evite.

Nimic din toate acestea nu înseamnă că scrierea specifică sau neobișnuită este ferită de orice semnalizare, sau că scrierea fluentă, corectă este suspectă prin definiție. O secțiune de metodologie, o clauză juridică sau o versiune finală intens editată pot ajunge într-o bandă îngustă din motive care nu au nicio legătură cu un model, motiv pentru care un singur scor este o descriere a unui tipar, nu un verdict despre cine l-a tastat.

Să vezi unde se află propriul tău draft pe acea bandă este mai util decât să ghicești. Verificatorul gratuit de perplexity și verificatorul de burstiness de la TextPulse măsoară separat predictibilitatea la nivel de cuvânt și ritmul de la o propoziție la alta, astfel încât un vocabular plat și o structură de propoziție repetată apar ca două semnale diferite, nu ca un singur număr amestecat.

Din aceasta rezultă două pagini mai restrânse. Cum detectează Turnitin în mod specific AI este una, iar diferența dintre scorul său de similitudine și scorul său AI este cealaltă, deoarece cele două sunt confundate în mod curent una cu alta.

Ambele se află în cadrul mai larg al colecției de instrumente gratuite, pentru oricine dorește să vadă singur tiparul, în loc să aibă încredere oarbă într-un singur număr.