Prawdopodobieństwo tokenów i logarytm wiarygodności w wykrywaniu AI

Jeśli zapytasz detektor, jak doszedł do takiego wyniku, większość jego interfejsów użytkownika da ci tę samą odpowiedź: akapit, w którym niektóre słowa są zacienione ciemniej niż inne. To zacienienie nie jest domysłem. Pochodzi z liczby przypisanej do każdego tokenu w fragmencie, obliczonej zanim detektor w ogóle dotknie perplexity, burstiness albo końcowego procentu.

Jest to prawdopodobieństwo tokenu i każde wykrywanie ai oparte na prawdopodobieństwie tokenu opiera się na tym od podstaw. Każda liczba metryk, którą detektor może podać, w tym dwie, które omawiamy gdzie indziej na tej stronie, to po prostu arytmetyka wykonana na szeregu tych liczb. Warstwa pod warstwą, na której zatrzymuje się większość wyjaśnień, to miejsce, w którym trzeba zastanowić się, czym token właściwie jest, co oznacza rozkład modelu nad nim i dlaczego arytmetyka działa w przestrzeni logarytmicznej, a nie na surowym prawdopodobieństwie. Większość wyjaśnień zatrzymuje się właśnie tam.

Nic z tego nie musi pozostawać nieprzejrzyste. Token, rozkład prawdopodobieństwa i logarytm są zwykłymi narzędziami, a nie zastrzeżonymi sekretami, i te same trzy idee wyjaśniają jak naprawdę działają detektory AI, od surowego tekstu do jednej liczby w raporcie.

Wykrywanie AI na podstawie prawdopodobieństwa tokenu: od rozkładu do wyniku

Wykrywanie ai na podstawie prawdopodobieństwa tokenu działa w trzech etapach. Model językowy przypisuje prawdopodobieństwo każdemu możliwemu następnemu tokenowi, biorąc pod uwagę to, co było wcześniej. Te prawdopodobieństwa dla poszczególnych tokenów są przekształcane w logarytmy i sumowane w całym fragmencie, co omija problem numeryczny, na który surowe mnożenie natrafia niemal natychmiast. Otrzymana suma, uśredniona i przeskalowana, jest ostatecznie tym, co pojawia się jako wartość perplexity albo zasila decyzję klasyfikatora. Każdy etap jest konkretnym, sprawdzalnym elementem arytmetyki, a nie czarną skrzynką.

Czym właściwie jest token

Token nie jest słowem. Współczesne modele językowe dzielą tekst na fragmenty podwyrazowe za pomocą algorytmu takiego jak byte-pair encoding, więc częste słowo, takie jak 'the', zwykle stanowi jeden token, rzadsze słowo, takie jak 'perplexity', dzieli się na dwa lub trzy fragmenty, a nieznana nazwa może rozpaść się na pojedyncze znaki. Fragment zwykłego tekstu angielskiego niezawodnie tokenizuje się na więcej fragmentów, niż ma słów, co warto wiedzieć, zanim zaufa się jakiejkolwiek liczbie słów zwracanej przez narzędzie.

Model nigdy nie widzi słów tak, jak widzi je czytelnik. Widzi ciąg liczb całkowitych, z których każda jest indeksem w ustalonym słowniku, na którym model był trenowany. Wszystko, co robi token probability ai detection od tego momentu, działa na tym ciągu liczb całkowitych, a nie na oryginalnym ciągu liter, co częściowo wyjaśnia, dlaczego wewnętrzne działanie detektora może wydawać się oderwane od tego, jak człowiek rzeczywiście czyta zdanie.

Rozkład modelu nad następnym tokenem

Na każdej pozycji w sekwencji autoregresyjny model językowy nie zwraca jednej predykcji. Zwraca pełny rozkład prawdopodobieństwa w obrębie całego swojego słownictwa, dziesiątki tysięcy liczb, które sumują się do jedności, porządkując każdy możliwy następny token od najbardziej do najmniej prawdopodobnego, biorąc pod uwagę wszystko, co było wcześniej. Jeśli podać modelowi frazę 'the results of the', rozdziela on większość tej masy prawdopodobieństwa między kilka prawdopodobnych rzeczowników, 'study,' 'experiment,' 'analysis,' przypisując znikomo mały udział czemuś takiemu jak 'marmalade.'

Token, który rzeczywiście pojawia się jako następny w rzeczywistym dokumencie, trafia gdzieś w tym rankingu, a przypisane mu prawdopodobieństwo stanowi surowy materiał, z którego buduje się wszystko inne. Model tworzący własny tekst może bezpośrednio opierać się na tym rozkładzie, wielokrotnie wybierając spośród elementów znajdujących się blisko szczytu. Detektor czytający cudzy gotowy tekst może jedynie zapytać po fakcie, jak duże prawdopodobieństwo model przypisałby wyborowi, który rzeczywiście został dokonany.

Prawdopodobieństwo całej sekwencji jest iloczynem prawdopodobieństwa każdego tokena, danego wszystkim, co poprzedzało go wcześniej, jeśli połączymy to pytanie dla każdego tokena w całym dokumencie, stosując standardową regułę prawdopodobieństwa łącznego, końcowym wynikiem jest pojedyncza liczba opisująca, jak bardzo oczekiwany był cały fragment. To właśnie ten iloczyn powoduje, że arytmetyka zaczyna się załamywać, i dlatego istnieje następna sekcja.

Dlaczego logarytm wiarygodności zastępuje surowe prawdopodobieństwo

Mnożenie prawdopodobieństw jest matematycznie poprawne, ale praktycznie bezużyteczne po kilku dziesiątkach tokenów. Każde pojedyncze prawdopodobieństwo jest ułamkiem mniejszym od jedności, więc bieżący iloczyn zmniejsza się za każdym razem, gdy mnoży się kolejny token, i zmniejsza się szybko. Po kilkuset tokenach surowy iloczyn może spaść tak daleko poniżej najmniejszej liczby, jaką komputer może reprezentować, że zostaje zaokrąglony do dokładnie zera, co jest trybem awarii zwanym underflow.

Gdy to się stanie, liczba nie niesie już żadnej informacji. Dokument, który był jedynie mało prawdopodobny, oraz dokument, który był skrajnie, chaotycznie mało prawdopodobny, oba zapadają się do identycznego zera, bez możliwości odróżnienia ich później. Logarytmy rozwiązują ten problem, ponieważ logarytm iloczynu jest równy sumie logarytmów, co jest tożsamością z podstawowej algebry. Sumowanie ciągu zwykłych liczb ujemnych nie powoduje underflow tak jak mnożenie ciągu małych ułamków, a poza tym jest tańsze obliczeniowo.

Długość fragmentu (ilustracyjna)	Surowe prawdopodobieństwo, bieżący iloczyn	Suma logarytmów prawdopodobieństwa
12 tokenów przy ilustracyjnym 0.1 każdy	1 x 10 do potęgi -12, nadal reprezentowalne	około -27.6
350 tokenów przy ilustracyjnym 0.1 każdy	1 x 10 do potęgi -350, underflow do dokładnie 0	około -805.9

To jest uproszczona ilustracja. Rzeczywiste prawdopodobieństwa dla poszczególnych tokenów różnią się ogromnie, zamiast utrzymywać się na stałym poziomie 0.1, ale kierunek problemu jest dokładnie właściwy. Gdy surowy iloczyn ulegnie niedomiarowi do zera, porównanie, którego detektor rzeczywiście potrzebuje, czyli czy ten dokument był mniej czy bardziej oczekiwany niż tamten, staje się niemożliwe. Suma logarytmów prawdopodobieństw nigdy nie zawodzi w ten sposób. Pozostaje precyzyjną, zwyczajną, porównywalną liczbą niezależnie od tego, jak długi jest fragment, i to jest rzeczywisty powód, dla którego wykrywalność mierzy się w przestrzeni logarytmicznej, a nie w przestrzeni surowego prawdopodobieństwa.

Od wyników dla poszczególnych tokenów do wyniku detekcji

Sumowanie logarytmów prawdopodobieństw w obrębie fragmentu daje całkowite logarytmiczne prawdopodobieństwo dokumentu według modelu referencyjnego. Podzielenie przez liczbę tokenów usuwa wpływ długości i pozostawia średnie logarytmiczne prawdopodobieństwo na token, liczbę, którą można wreszcie porównać między esejem liczącym pięćset słów a rozdziałem pracy liczącym pięć tysięcy słów. Jeśli tę średnią zanegować i podnieść do potęgi wykładniczej, otrzymuje się wynik perplexity, metrykę, którą ten zbiór omawia w całości w osobnym omówieniu tego, co perplexity rzeczywiście mierzy.

Te same wartości dla poszczególnych zdań, śledzone pod kątem zmienności w obrębie dokumentu, zamiast sprowadzone do jednej średniej, są tym, z czego zbudowane jest burstiness, sygnałem powiązanym, ale odrębnym od perplexity. Oba zaczynają od identycznych liczb dla poszczególnych tokenów opisanych powyżej. Po prostu wykonują na nich inną arytmetykę.

Prosta średnia nie jest jedynym sposobem wykorzystania tego surowego materiału, a badania dawno już wyszły poza nią. DetectGPT, opublikowany na ICML 2023 przez Mitchell, Lee, Khazatsky, Manning i Finn, opiera się na innej własności tej samej funkcji prawdopodobieństwa: tekst próbkowany z modelu językowego ma tendencję do znajdowania się w regionie, w którym niewielkie przeformułowania powodują spadek, a nie wzrost logarytmicznego prawdopodobieństwa, wzorzec, który artykuł nazywa ujemną krzywizną.

Zamiast trenować klasyfikator lub używać znaku wodnego, ta metoda zaburza fragment, tworząc drobne warianty tego, jak jest on przeformułowany, a następnie ponownie ocenia każdy wariant tym samym modelem. W artykule porównano to z najlepszą bazą odniesienia zero-shot i stwierdzono, że w przypadku tekstu wygenerowanego przez model o 20 miliardach parametrów ta metoda osiąga 0.95 AUROC, podczas gdy najlepsza baza odniesienia zero-shot osiąga 0.81 AUROC.

To samo rozkład, używany do znakowania wodnego zamiast wykrywania

Dotychczas wszystko traktowało rozkład prawdopodobieństwa jako coś odczytywanego po fakcie. Można go także dotknąć w momencie generowania, co całkowicie odwraca problem. Metoda z 2023 roku autorstwa Kirchenbauer, Geiping, Wen, Katz, Miers i Goldstein wybiera losową krótką listę dozwolonych tokenów przed wygenerowaniem każdego słowa, na podstawie skrótu tego, co było wcześniej, i łagodnie kieruje próbkowanie ku tej krótkiej liście. To odchylenie jest niewidoczne dla czytelnika i można je później odzyskać za pomocą testu statystycznego na krótkim fragmencie tekstu, bez potrzeby dostępu do oryginalnego modelu.

SynthID firmy Google DeepMind wdraża wersję tej idei w praktyce: dostosowuje wyniki prawdopodobieństwa następnego tokenu w czasie generowania i jest dziś dostępny w aplikacji Gemini oraz w wersji webowej. OpenAI zbudowało porównywalny system i go nie udostępniło. W raportowaniu decyzję tę przypisuje się częściowo ankiecie, w której blisko 30 percent użytkowników ChatGPT stwierdziło, że znakowanie wodne sprawiłoby, iż rzadziej korzystaliby z produktu, obok obaw o to, jak dobrze znak wodny przetrwa parafrazowanie.

Raport detektora pokazuje zacienione słowo lub pojedynczy procent i na tym się kończy, nigdy nie pokazując rozkładu, z którego to wszystko pochodziło. Darmowy checker perplexity TextPulse uruchamia uproszczoną wersję tego samego punktowania per token na własnym szkicu, co jest bardziej bezpośrednim sposobem zobaczenia, gdzie znajduje się fragment tekstu, niż czytanie werdyktu z drugiej ręki.

Dwie sąsiednie strony to obejmują. To, czy detektory nadal opierają się na burstiness zmieniło się od 2023 roku, a jak GPTZero przekształca te same prawdopodobieństwa w wynik jest opisane na osobnej stronie.

Znajduje się to obok pozostałych bezpłatnych narzędzi TextPulse, więc ten sam szkic można sprawdzić pod kątem rytmu i struktury, a także przewidywalności na poziomie słów, bez otwierania do tego kilkunastu osobnych kart.