Co je perplexita v detekci AI?

Vyhledávání pojmů perplexity a AI detection společně vede k tomu, že několik nejvýše umístěných výsledků se ukáže být o nesouvisejícím produktu, o vyhledávači poháněném AI, který se mimochodem také jmenuje Perplexity. Metrika, kterou detektor skutečně uvádí, nemá s touto společností společného nic kromě tohoto slova. Pochází z výzkumu rozpoznávání řeči staršího o desítky let než GPTZero nebo tento vyhledávač a měří něco užšího než obojí, totiž nakolik je jazykový model překvapen slovy, která už jsou na stránce.

Co je tedy perplexity v AI detection? Perplexity je skóre, které popisuje, jak dobře jazykový model předpověděl přesná slova v úryvku, a vzniká zprůměrováním vlastních pravděpodobností modelu a převodem výsledku na jediné číslo. Nízké skóre znamená, že model hádal správně. Vysoké skóre znamená, že byl stále překvapován.

Tato myšlenka je starší než kterýkoli AI detector na trhu a sama o sobě neříká nic o tom, kdo dokument napsal. Jakmile je aritmetika za tímto číslem viditelná, přestává skóre v reportu vypadat jako verdikt a začíná vypadat jako to, čím skutečně je, tedy jako popis volby slov.

Co je perplexity v AI detection?

Perplexity je měření převzaté z modelování jazyka. Hodnotí, jak dobře model předpověděl konkrétní slova, která se v úryvku objevují, a toto hodnocení uvádí jako jediné číslo. Detektory aplikují stejné měření na odevzdaný dokument, nízké číslo, které znamená, že se modelovy odhady těsně shodovaly se skutečnými slovy, se čte jako známka strojového autorství, a vysoké číslo se čte jako známka lidského autorství. Samotný výpočet nečte argument dokumentu, jeho citace ani jeho téma. Čte pouze to, jak očekávané bylo každé slovo, jedno po druhém.

Detektory toto měření nevynalezly. Přebraly nástroj, který systémy rozpoznávání řeči a strojového překladu používaly už po desetiletí k posuzování toho, jak dobře model předpovídal běžný jazyk, a znovu jej použily jako zástupný ukazatel autorství, k čemuž původně nikdy nebyl určen.

Nic z toho nesouvisí s nesouvisejícím vyhledávačem zmíněným výše. Perplexita, kterou detektor uvádí, nikdy není společnost a nikdy se nepíše s velkým písmenem: jde o prostou statistickou vlastnost posloupnosti slov, nově vypočtenou z libovolného textu, který dostane.

Jak se perplexita ve skutečnosti počítá

Výpočet sahá dál do minulosti než jakýkoli produkt AI. Frederick Jelinek, Robert Mercer, Lalit Bahl a James Baker zavedli perplexitu v roce 1977, aby měřili, jak obtížný byl pro statistický model úkol rozpoznávání řeči, tedy desetiletí předtím, než někdo tento termín použil pro esej nebo laboratorní zprávu. Definice se od té doby nezměnila.

V každé pozici v dokumentu model vypíše pravděpodobnost pro slovo, které skutečně následuje, něco jako 0.72 u běžného přechodu nebo 0.03 u neobvyklého. Perplexita zprůměruje logaritmy těchto pravděpodobností přes celý úsek a pak tento průměr převrátí pomocí exponentu.

Exponent v there's dělá víc, než se zdá. Průměrování logaritmů pravděpodobností je přesně to, co děláme při výpočtu cross-entropy, což je informačně teoretický způsob, jak říci, kolik bitů potřebujete k zakódování posloupnosti vzhledem k predikcím, které provedl model. Perplexita však převádí počet bitů zpět na něco, čemu rozumíme lépe, na efektivní počet možností, nikoli na abstraktní počet bitů.

To, co z této aritmetiky zůstane, má jasný, téměř fyzikální výklad. Model, který si je pokaždé zcela jistý, dává perplexitu 1, tedy spodní hranici škály. Model, který považuje každou pozici za rovnoměrný výběr mezi osmdesáti stejně pravděpodobnými slovy, dává perplexitu 80.

Většina skutečných dokumentů se nachází někde mezi těmito dvěma extrémy a přesné umístění závisí na autorovi, tématu a na tom, který model text čte.

Proč lidské psaní má tendenci dosahovat jiných hodnot

Očekávání modelu jsou budována výhradně z toho, co přišlo předtím, jedno slovo po druhém. Po frázi 'the treatment group showed a statistically' je drtivá většina gramaticky správných pokračování 'significant', a model natrénovaný na velkém objemu vědeckého psaní přiřadí tomuto slovu vysokou pravděpodobnost bez zaváhání. Lidský autor, který dospěje ke stejné frázi, může také zvolit 'significant', protože samotná fráze je ustáleným prvkem daného žánru. Rozdíl se otevírá jinde, v podstatném jménu zvoleném o dvě věty později, v vsuvce přidané do závorek, v čísle uvedeném s neobvyklým počtem desetinných míst místo zaokrouhlené hodnoty.

Na tom není nic klamného. Když se člověk píšící o skutečných datech snaží sáhnout po přesném čísle, přesném upřesnění, o něco užším slově, sahá po věcech, které jsou pravdivé o práci, nikoli o žánru. A každá z těchto voleb stojí model o něco více překvapení. Překvapení je to, co má skóre sčítat.

Inference dělá více práce, než kolik může měření unést. Perplexity měří předvídatelnost přímo. Autorství odvozuje jen na základě předpokladu, že předvídatelné psaní je mezi lidmi vzácné a mezi modely běžné, což je předpoklad, který je obvykle rozumný a občas chybný konkrétním, identifikovatelným způsobem, protože předvídatelnost je vlastnost, kterou text může mít z důvodů, jež nemají nic společného s tím, kdo jej napsal.

Proč může stejný úryvek získat jiné skóre

Skóre je také méně přenosné, než se zdá, protože se nikdy neměří ve vakuu. Perplexity se vždy počítá vůči tréninku jednoho konkrétního referenčního modelu, a tato závislost vytváří problémy, které žádná jediná definice nemůže sama o sobě ukázat.

Faktor	Co se mění	Proč se to děje
Který model provádí čtení	Stejný odstavec může u jednoho modelu dosáhnout nízkého skóre a u jiného vysokého	Perplexita se vždy měří pouze vůči trénovacím datům jednoho modelu a různé modely byly trénovány na různých textech
Zda je daná pasáž široce reprodukovaný text	Slavný historický dokument nebo definice z učebnice může dosáhnout nízké perplexity, i když do detektoru každé slovo napsal člověk	Pangram Labs uvádí jako příklad Deklaraci nezávislosti, je citována v trénovacích datech tak často, že každý její věta je pro model nepřekvapivá
Zda detektor vůbec může vidět pravděpodobnosti tokenů	Uzavřené komerční modely jako ChatGPT, Gemini a Claude nezpřístupňují pravděpodobnosti na úrovni jednotlivých slov, které perplexita potřebuje	Detektory odhadují skóre pomocí náhradního otevřeného modelu místo toho, aby počítaly perplexitu vůči modelu, který text skutečně vytvořil

Nic z toho nečiní toto číslo bezvýznamným, pouze zvyšuje riziko, že mu budeme důvěřovat jako samostatnému verdiktu. Vlastní dokumentace GPTZero kdysi zveřejnila hrubé pravidlo, podle něhož perplexita nad 85 vyznívá spíše jako lidský text, ale práh jednoho dodavatele na jednom modelu nelze přenést na jiný nástroj měřený vůči jinému modelu. Detektor, který uvádí jediné skóre, shrnuje všechny výše uvedené faktory do jedné hodnoty, aniž by řekl, který z nich se na výsledku podílel.

Co vám skóre perplexity ve skutečnosti říká

Komerční detektory spojují perplexitu s vzorci na úrovni vět, trénováním klasifikátoru a několika dalšími signály ještě předtím, než na reportu vůbec vytisknou jediné číslo. Úplnější obraz jak AI detektory ve skutečnosti fungují je zpracován samostatně a vysvětluje, odkud se zbytek tohoto čísla bere.

Rytmus mezi větami je související, ale samostatný signál, který je samostatně pokryt v burstiness checker, a sleduje, jak velká je variace v rámci pasáže, nikoli jednotlivé slovo.

Žádné z těchto čísel nemůže prokázat, kdo dokument napsal, včetně odhadovaného Human Score, který TextPulse vypočítává z odevzdaného návrhu a který text popisuje, nikoli o něm vydává verdikt. Zjednodušená verze téže myšlenky, rozmanitost slovní zásoby spíše než plná pravděpodobnost modelu, pohání free perplexity checker na tomto webu, který stojí za vyzkoušení na odstavci, jehož původ je už předem známý, než začnete věřit tomu, co zpráva říká o někom jiném.

Perplexity checker stojí vedle ostatních free tools od TextPulse, takže úplná kontrola návrhu, slovní zásoby, rytmu a všeho ostatního, nevyžaduje mít současně otevřený tucet samostatných panelů.

Perplexity je jednou ze dvou statistik, o které se tyto systémy opírají. Tou druhou je burstiness, variace délky a struktury vět v rámci pasáže, a pod oběma leží aritmetika pravděpodobnosti tokenů, která vůbec vytváří skóre.

Číslo ve zprávě je koncem dlouhého řetězce aritmetických operací, nikoli začátkem sporu o to, kdo něco napsal. Zajímavější otázka, jakmile aritmetika přestane být záhadná, je, co konkrétně učinilo dokument na začátku překvapivým nebo předvídatelným, a to je otázka týkající se samotného psaní.