Pravděpodobnost tokenů a log-likelihood v detekci AI

Pokud se zeptáte detektoru, jak dospěl k danému skóre, většina jeho uživatelských rozhraní vám dá stejnou odpověď: odstavec, v němž jsou některá slova ztmavena více než jiná. Toto stínování není odhad. Pochází z čísla přiřazeného každému tokenu v pasáži, vypočteného dříve, než se detektor vůbec dotkne perplexity, burstiness nebo konečného procenta.

Jde o pravděpodobnost tokenu a každá detekce pomocí pravděpodobnosti tokenu je na tom založena od samého základu. Jakékoli číslo metrik, které detektor uvede, včetně těch dvou, o nichž pojednáváme jinde na tomto webu, je jen aritmetika provedená nad řadou těchto čísel. Vrstva pod vrstvou, u níž většina vysvětlení končí, je místo, kde je třeba přemýšlet o tom, co token vlastně je, co znamená rozdělení modelu nad ním a proč se aritmetika provádí v logaritmickém prostoru, nikoli s hrubou pravděpodobností. Většina vysvětlení končí právě zde.

Nic z toho nemusí zůstat neprůhledné. Token, pravděpodobnostní rozdělení a logaritmus jsou běžné nástroje, nikoli proprietární tajemství, a stejné tři myšlenky vysvětlují jak AI detektory ve skutečnosti fungují, od surového textu až po jediné číslo ve zprávě.

Detekce pomocí pravděpodobnosti tokenu: Od rozdělení ke skóre

Detekce pomocí pravděpodobnosti tokenu funguje ve třech fázích. Jazykový model přiřadí pravděpodobnost každému možnému dalšímu tokenu vzhledem k tomu, co mu předcházelo. Tyto pravděpodobnosti jednotlivých tokenů se převedou na logaritmy a sečtou přes pasáž, čímž se obejde numerický problém, na který naráží prosté násobení téměř okamžitě. Výsledný součet, zprůměrovaný a přepočtený, je to, co se nakonec objeví jako hodnota perplexity nebo co vstupuje do rozhodnutí klasifikátoru. Každá fáze je konkrétní, ověřitelný kus aritmetiky, nikoli černá skříňka.

Co token vlastně je

Token není slovo. Moderní jazykové modely rozdělují text na podslovní části pomocí algoritmu, jako je byte-pair encoding, takže běžné slovo jako 'the' je obvykle jeden token, méně běžné slovo jako 'perplexity' se rozdělí na dvě nebo tři části a neznámé jméno se může rozpadnout až na jednotlivé znaky. Úryvek běžné angličtiny se spolehlivě tokenizuje do většího počtu částí, než kolik má slov, což je dobré vědět dříve, než začnete důvěřovat jakémukoli počtu slov, který vám nástroj vrátí.

Model nikdy nevidí slova tak, jak je vidí čtenář. Vidí posloupnost celých čísel, z nichž každé je indexem do pevné slovní zásoby, s níž byl model trénován. Vše, co token probability ai detection od tohoto bodu dál dělá, pracuje s touto posloupností celých čísel, nikoli s původním řetězcem písmen, což je jedním z důvodů, proč mohou vnitřní mechanismy detektoru působit odtrženě od toho, jak člověk skutečně čte větu.

Rozdělení modelu nad dalším tokenem

V každé pozici v posloupnosti autoregresivní jazykový model nevytváří jednu predikci. Vytváří úplné pravděpodobnostní rozdělení napříč celou svou slovní zásobou, tedy desítky tisíc čísel, která se sčítají na jednu, a řadí každý možný další token od nejpravděpodobnějšího po nejméně pravděpodobný podle všeho, co mu předcházelo. Když modelu zadáte frázi 'the results of the', rozloží většinu této pravděpodobnostní hmoty mezi několik pravděpodobných podstatných jmen, 'study,' 'experiment,' 'analysis,' zatímco něčemu jako 'marmalade' přiřadí zanedbatelný podíl.

Token, který se ve skutečném dokumentu objeví jako další, skončí někde v tomto pořadí a pravděpodobnost, která mu byla přiřazena, je surovinou, z níž se vše ostatní odvozuje. Model, který vytváří vlastní text, se může na toto rozdělení přímo spoléhat a opakovaně vybírat z jeho horní části. Detektor, který čte hotový text někoho jiného, se může až zpětně ptát, jak velkou pravděpodobnost by model přiřadil volbě, která byla skutečně učiněna.

Pravděpodobnost celé sekvence je součinem pravděpodobnosti každého tokenu podmíněné vším, co mu předcházelo, pokud tuto otázku pro každý token řetězíme napříč celým dokumentem pomocí standardního pravidla pro společnou pravděpodobnost, konečným výsledkem je jediné číslo popisující, jak očekávaný byl celý úryvek. Právě v tomto součinu se aritmetika začíná rozpadat, a proto existuje následující část.

Proč log-likelihood nahrazuje surovou pravděpodobnost

Vynásobit pravděpodobnosti dohromady je matematicky správné a po několika desítkách tokenů prakticky nepoužitelné. Každá jednotlivá pravděpodobnost je zlomek menší než jedna, takže průběžný součin se při každém dalším vynásobeném tokenu zmenšuje, a to rychle. Po několika stovkách tokenů může surový součin klesnout tak hluboko pod nejmenší číslo, které může počítač reprezentovat, že se zaokrouhlí přesně na nulu, což je selhání označované jako underflow.

Jakmile se to stane, číslo nenese vůbec žádnou informaci. Dokument, který byl jen nepravděpodobný, a dokument, který byl krajně, chaoticky nepravděpodobný, se oba zhroutí na totožnou nulu, aniž by je bylo možné poté odlišit. Logaritmy to řeší, protože logaritmus součinu se rovná součtu logaritmů, což je identita ze základní algebry. Sčítání řady obyčejných záporných čísel se nepropadá do underflow tak, jako se to děje při násobení řady malých zlomků, a navíc je výpočetně levnější.

Délka úryvku, ilustrativně	Surová pravděpodobnost, průběžný součin	Součet log-pravděpodobností
12 tokenů při ilustrativní hodnotě 0.1 pro každý	1 x 10 to the power of -12, stále reprezentovatelné	přibližně -27.6
350 tokenů při ilustrativní hodnotě 0.1 pro každý	1 x 10 to the power of -350, underflows to exactly 0	přibližně -805.9

Toto je zjednodušená ilustrace. Skutečné pravděpodobnosti pro jednotlivé tokeny se mění nesmírně, místo aby ležely na pevné hodnotě 0.1, ale směr problému je přesně správný. Jakmile se surový součin podteče na nulu, srovnání, které detektor skutečně potřebuje, tedy zda byl tento dokument očekávanější, nebo méně očekávaný než onen, se stává nemožným. Součet logaritmických pravděpodobností tímto způsobem nikdy neselže. Zůstává přesným, běžným a srovnatelným číslem bez ohledu na to, jak dlouhý je úsek textu, což je skutečný důvod, proč se detekovatelnost měří v logaritmickém prostoru, nikoli v prostoru surových pravděpodobností.

Od skóre pro jednotlivé tokeny ke skóre detekce

Sčítání logaritmických pravděpodobností napříč úsekem textu vytváří celkovou logaritmickou věrohodnost dokumentu podle referenčního modelu. Vydělení počtem tokenů odstraní vliv délky a ponechá průměrnou logaritmickou věrohodnost na token, číslo, které je konečně srovnatelné mezi esejí o pěti stech slovech a kapitolou diplomové práce o pěti tisících slovech. Když tento průměr negujete a exponencujete, výsledkem je skóre perplexity, metrika, kterou tato skupina plně pokrývá v samostatném pohledu na co perplexity skutečně měří.

Stejné hodnoty pro jednotlivé věty, sledované kvůli variaci napříč dokumentem místo toho, aby byly zploštěny do jednoho průměru, jsou základem toho, co je burstiness, souvisejícího, ale odděleného signálu od perplexity. Oba vycházejí ze stejných čísel pro jednotlivé tokeny popsaných výše. Jen na nich provádějí jinou aritmetiku.

Jednoduchý průměr není jediný způsob, jak tento surový materiál použít, a výzkum už dávno pokročil dál. DetectGPT, publikovaný na ICML 2023 Mitchellem, Lee, Khazatskym, Manningem a Finn, vychází z jiné vlastnosti téže pravděpodobnostní funkce: text vzorkovaný z jazykového modelu má tendenci ležet v oblasti, kde drobné přeformulování způsobí pokles logaritmické pravděpodobnosti, nikoli její růst, což článek nazývá negativní zakřivení.

Místo trénování klasifikátoru nebo použití vodoznaku tato metoda narušuje pasáž, vytváří drobné variace v tom, jak je přeformulována, a poté každou variaci znovu hodnotí stejným modelem. Článek to porovnává s nejlepším zero-shot baseline a zjišťuje, že na textu vygenerovaném modelem s 20 miliardami parametrů tato metoda dosahuje 0.95 AUROC, zatímco nejlepší zero-shot baseline dosahuje 0.81 AUROC.

Též rozdělení, použité k vodoznaku místo detekce

Dosud bylo pravděpodobnostní rozdělení chápáno jako něco, co se čte až dodatečně. Lze se ho však dotknout už v okamžiku generování, čímž se problém zcela obrací. Metoda z roku 2023 od Kirchenbauer, Geiping, Wen, Katz, Miers a Goldstein před každým vytvořeným slovem vybírá náhodně zkrácený seznam povolených tokenů na základě hashe toho, co mu předcházelo, a jemně směruje vzorkování k tomuto seznamu. Toto zkreslení je pro čtenáře neviditelné a později je možné je obnovit pomocí statistického testu na krátkém úseku textu, aniž by byl potřeba přístup k původnímu modelu.

SynthID od Google DeepMind uvádí verzi této myšlenky do praxe, upravuje skóre pravděpodobnosti dalšího tokenu v době generování a je dnes aktivní v aplikaci Gemini i ve webovém rozhraní. OpenAI vyvinula srovnatelný systém a dosud jej nenasadila. Zprávy přičítají toto rozhodnutí částečně průzkumu, v němž téměř 30 percent uživatelů ChatGPT uvedlo, že by jim vodoznak způsobil menší používání produktu, spolu s obavami o to, jak dobře by vodoznak odolal parafrázování.

Zpráva detektoru ukáže stínované slovo nebo jediné procento a tam končí, aniž by kdy ukázala rozdělení, z něhož to vše pochází. Bezplatná kontrola perplexity od TextPulse spouští zjednodušenou verzi téhož bodového hodnocení po jednotlivých tokenech proti vašemu vlastnímu návrhu, což je přímější způsob, jak zjistit, kde se pasáž nachází, než číst verdikt zprostředkovaně.

Dvě sousední stránky to zachycují. Zda detektory stále spoléhají na burstiness se od roku 2023 změnilo a jak GPTZero převádí tyto stejné pravděpodobnosti na skóre je popsáno na samostatné stránce.

Je to součást ostatních bezplatných nástrojů TextPulse, takže stejný návrh lze zkontrolovat z hlediska rytmu a struktury i předvídatelnosti na úrovni slov, aniž by bylo nutné kvůli tomu otevírat tucet samostatných panelů.