Token valószínűség és log-likelihood az AI-észlelésben

Ha megkérdez egy detektort, hogyan jutott ahhoz a pontszámhoz, a felhasználói felületek többsége ugyanazt a választ adja: egy bekezdést, amelyben egyes szavak sötétebb árnyalatúak, mint mások. Az árnyalás nem találgatás. Egy olyan számról származik, amely a szakasz minden tokenjéhez hozzá van rendelve, és amelyet még azelőtt számítanak ki, hogy a detektor egyáltalán hozzáérne a perplexity, a burstiness vagy a végső százalék értékéhez.

Ez egy token valószínűsége, és minden token valószínűségű ai detection erre épül, a legelső alapoktól kezdve. Bármennyi mérőszámot is közöl egy detektor, beleértve azt a kettőt is, amelyet máshol ezen az oldalon tárgyalunk, az csupán ezeknek a számoknak egy során végzett aritmetika. Az a réteg, amely alatt az a réteg húzódik, ahol a legtöbb magyarázat megáll, az a pont, ahol el kell gondolkodni azon, mi is valójában egy token, mit jelent a modell eloszlása rajta, és miért logaritmikus térben fut az aritmetika a nyers valószínűség helyett. A legtöbb magyarázat itt megáll.

Ennek semminek sem kell homályban maradnia. Egy token, egy valószínűségi eloszlás és egy logaritmus hétköznapi eszközök, nem tulajdonosi titkok, és ugyanaz a három gondolat magyarázza hogyan működnek valójában az AI detektorok, a nyers szövegtől egészen a jelentésben szereplő egyetlen számig.

Token valószínűség ai detection: az eloszlástól a pontszámig

A token valószínűség ai detection három szakaszban működik. Egy nyelvi modell valószínűséget rendel minden lehetséges következő tokenhez annak alapján, ami előtte állt. Ezeket az egyes tokenekre vonatkozó valószínűségeket logaritmusokká alakítják, majd a szakasz egészén összeadják, ami megkerüli azt a numerikus problémát, amelybe a nyers szorzás szinte azonnal beleütközik. Az így kapott összeg, átlagolva és újraskálázva, az, ami végül perplexity értékként jelenik meg, vagy egy osztályozó döntését táplálja. Minden szakasz az aritmetika egy konkrét, ellenőrizhető része, nem fekete doboz.

Mi is valójában egy token

Egy token nem egy szó. A modern nyelvi modellek az algoritmusok, például a byte-pair encoding segítségével a szöveget szubszóegységekre bontják, ezért egy gyakori szó, mint a 'the', általában egy token, egy ritkább szó, mint a 'perplexity', két vagy három részre bomlik, és egy ismeretlen név akár egyes karakterekre is szétaprózódhat. Egy hétköznapi angol szövegrész megbízhatóan több tokenre tagolódik, mint ahány szóból áll, és ezt érdemes tudni, mielőtt bármilyen szócountot elfogadna, amelyet egy eszköz visszajelez Önnek.

A modell soha nem úgy látja a szavakat, ahogyan egy olvasó. Egy egész számokból álló sorozatot lát, ahol minden szám egy index a modell által tanított rögzített szókészletben. A token probability ai detection innentől kezdve mindezt ezen az egész számsorozaton végzi, nem az eredeti betűsorozaton, és ez részben magyarázza, miért tűnhet egy detektor belső működése elszakadtnak attól, ahogyan egy ember valójában mondatot olvas.

A modell eloszlása a következő token felett

Egy sorozat minden pozíciójában egy autoregresszív nyelvi modell nem egyetlen előrejelzést ad ki. A teljes szókészletére kiterjedő teljes valószínűségi eloszlást ad ki, több tízezer számot, amelyek összege egy, és amelyek a korábban látottak alapján a legvalószínűbbtől a legkevésbé valószínűig rangsorolják az összes lehetséges következő tokent. Ha a modellnek a 'the results of the' kifejezést adjuk meg, a valószínűségi tömeg nagy részét néhány hihető főnév, a 'study,' 'experiment,' 'analysis,' között osztja szét, miközben egy olyan szóra, mint a 'marmalade,' elenyészően kis részt rendel.

A token, amely egy valódi dokumentumban ténylegesen ezután következik, valahol ebben a rangsorban helyezkedik el, és a hozzá rendelt valószínűség az az alapanyag, amelyből minden más felépül. Egy modell, amely a saját szövegét állítja elő, közvetlenül támaszkodhat erre az eloszlásra, és ismételten a lista elejéről választhat. Egy detektor, amely valaki más kész szövegét olvassa, utólag csak azt kérdezheti meg, hogy a modell mekkora valószínűséget rendelt volna ahhoz a választáshoz, amelyet ténylegesen megtettek.

Egy teljes szekvencia valószínűsége az egyes tokenek valószínűségének szorzata, feltéve mindazt, ami előttük állt, ha ezt az egy tokenre vonatkozó kérdést egy egész dokumentumon végigfűzzük a közös valószínűségre vonatkozó szokásos szabály segítségével, a végeredmény egyetlen szám lesz, amely azt írja le, mennyire volt várható az egész szövegrész. Ez a szorzat az a pont, ahol az ариtmetika kezd szétesni, és ez az oka annak, hogy a következő szakasz létezik.

Miért váltja fel a log-likelihood a nyers valószínűséget

A valószínűségek összeszorzása matematikailag helyes, de néhány tucat token után gyakorlatilag használhatatlan. Minden egyes valószínűség egy egynél kisebb tört, ezért a futó szorzat minden újabb token beszorzásával csökken, és gyorsan csökken. Néhány száz token után a nyers szorzat olyan messze a legkisebb szám alá eshet, amelyet egy számítógép még ábrázolni tud, hogy pontosan nullára kerekedik le, ez az underflow nevű hibamód.

Ha ez megtörténik, a szám teljesen elveszíti az információtartalmát. Egy dokumentum, amely csupán valószínűtlen volt, és egy dokumentum, amely vadul, kaotikusan valószínűtlen volt, ugyanarra a nullára omlik össze, és utólag nincs mód megkülönböztetni őket. A logaritmusok ezt azért oldják meg, mert egy szorzat logaritmusa megegyezik a logaritmusok összegével, ami az elemi algebrából ismert azonosság. A szokásos negatív számok sorának összeadása nem szenved underflow-t úgy, ahogyan a kis törtek sorának szorzása, ráadásul számítás szempontjából is olcsóbb.

Szövegrész hossza, szemléltető jelleggel	Nyers valószínűség, futó szorzat	A log-valószínűségek összege
12 token, szemléltető jellegű 0.1 értékkel mindegyikre	1 x 10 a -12. hatványon, még ábrázolható	nagyjából -27.6
350 token, szemléltető jellegű 0.1 értékkel mindegyikre	1 x 10 a -350. hatványon, pontosan 0-ra underflow-zik	nagyjából -805.9

Ez egy leegyszerűsített szemléltetés. A tényleges tokenenkénti valószínűségek rendkívüli mértékben változnak, nem pedig egy rögzített 0.1 körül állnak, de a probléma iránya pontosan helyes. Amint egy nyers szorzat aláfolyik a nullába, az az összehasonlítás, amelyre egy detektor ténylegesen szükség van, vagyis hogy ez a dokumentum inkább várható volt-e, mint az a másik, lehetetlenné válik. A log-valószínűségek összege soha nem hibázik így. Pontos, hétköznapi, összehasonlítható szám marad, bármilyen hosszú is a szövegrész, és ez az igazi oka annak, hogy a detektálhatóságot log-térben mérik, nem pedig nyers valószínűségi térben.

A tokenenkénti pontszámoktól a detektálási pontszámig

A log-valószínűségek összegzése egy szövegrészen át a dokumentum teljes log-valószínűségét adja a referencia modell alatt. A tokenek számával való osztás eltávolítja a hossz hatását, és megadja az átlagos log-valószínűséget tokenenként, egy olyan számot, amely végre összehasonlítható egy ötszáz szavas esszé és egy ötezer szavas szakdolgozati fejezet között. Ha ezt az átlagot negatív előjellel látjuk el, majd exponenciáljuk, akkor a perplexity pontszámot kapjuk, egy olyan mérőszámot, amelyet ez a csoport teljes egészében lefed egy külön áttekintésben arról, hogy mit mér valójában a perplexity.

Ugyanezek a mondatonkénti értékek, amelyeket nem egyetlen átlagba lapítva, hanem egy dokumentumon belüli változásuk szerint követünk, azok, amelyekből a burstiness felépül, egy a perplexitytől rokon, de különálló jel. Mindkettő ugyanazokból a fent leírt tokenenkénti számokból indul ki. Csupán más aritmetikát végeznek rajtuk.

Az egyszerű átlag nem az egyetlen módja e nyers anyag felhasználásának, és a kutatás már jóval túlhaladt rajta. A DetectGPT, amelyet Mitchell, Lee, Khazatsky, Manning és Finn publikált az ICML 2023 konferencián, ugyanannak a valószínűségfüggvénynek egy másik tulajdonságából indul ki: a nyelvi modellből mintavételezett szöveg hajlamos olyan tartományban elhelyezkedni, ahol az apró átfogalmazások a log-valószínűség csökkenését, nem pedig növekedését okozzák, ezt a mintázatot a tanulmány negatív görbületnek nevezi.

Nem osztályozó tanításával vagy vízjel használatával, ez a módszer egy szövegrészt perturbál, apró változatokat hozva létre annak átírásában, majd minden változatot ugyanazzal a modellel pontoz újra. A tanulmány ezt a legjobb zero-shot alapvonallal hasonlítja össze, és azt találja, hogy egy 20 milliárd paraméteres modell által generált szövegen ez a módszer 0.95 AUROC értéket ér el, míg a legjobb zero-shot alapvonal 0.81 AUROC értéket ér el.

Ugyanaz az eloszlás, vízjelezésre használva, nem észlelésre

Eddig minden az eloszlást olyasvalaminek kezelte, amit utólag olvasunk le. A generálás pillanatában is hozzá lehet érni, ami teljesen megfordítja a problémát. Egy 2023-as módszer, amelyet Kirchenbauer, Geiping, Wen, Katz, Miers és Goldstein dolgozott ki, minden szó előállítása előtt egy véletlenszerűen kiválasztott, engedélyezett tokenekből álló rövid listát választ ki az előzőek hash-e alapján, és finoman a mintavételezést e rövid lista felé tereli. Az elfogultság az olvasó számára láthatatlan, és később egy rövid szövegrészleten végzett statisztikai teszttel visszanyerhető, az eredeti modellhez való hozzáférés nélkül.

A Google DeepMind SynthID-je ennek az ötletnek egy változatát termelésbe állítja: a generálás idején módosítja a következő token valószínűségi pontszámait, és ma már él a Gemini alkalmazásban és webes felületen. Az OpenAI egy összehasonlítható rendszert épített, de nem adta ki. A beszámolók szerint a döntés részben egy felmérésnek tulajdonítható, amelyben a ChatGPT felhasználóinak közel 30 percentje azt mondta, hogy a vízjelezés miatt kevésbé használná a terméket, valamint annak az aggodalomnak, hogy egy vízjel mennyire maradna fenn a parafrazálás során.

Egy detektor jelentése egy árnyékolt szót vagy egyetlen százalékot mutat, és itt meg is áll, anélkül hogy valaha is megmutatná azt az eloszlást, amelyből mindez származik. A TextPulse ingyenes perplexity ellenőrzője ugyanennek a tokenenkénti pontozásnak egy leegyszerűsített változatát futtatja a saját vázlatodon, ami közvetlenebb módja annak, hogy lásd, hol helyezkedik el egy szövegrész, mint egy ítélet közvetett olvasása.

Két szomszédos oldal foglalkozik ezzel. Az, hogy az detektorok még mindig a burstinessre támaszkodnak-e 2023 óta változott, és az, hogy GPTZero miként alakítja ezeket ugyanazokat a valószínűségeket pontszámmá külön oldalon van leírva.

Ez a TextPulse többi ingyenes eszköze mellett található, így ugyanazt a vázlatot a ritmus és a szerkezet, valamint a szószintű kiszámíthatóság szempontjából is ellenőrizni lehet, anélkül hogy ehhez egy tucat külön lapot kellene megnyitni.