Czym jest perplexity w wykrywaniu AI?

Wyszukiwanie hasła perplexity i wykrywania AI razem prowadzi do kilku wyników dotyczących niezwiązanego produktu: wyszukiwarki opartej na AI, która również nosi nazwę Perplexity. Metryka, którą rzeczywiście raportuje detektor, nie ma z tą firmą nic wspólnego poza samym słowem. Pochodzi z badań nad rozpoznawaniem mowy sprzed dziesięcioleci, starszych niż GPTZero czy wyszukiwarka, i mierzy coś węższego niż jedno i drugie: jak bardzo model językowy jest zaskoczony słowami już znajdującymi się na stronie.

Więc czym jest perplexity w wykrywaniu AI? Perplexity to wynik opisujący, jak dobrze model językowy przewidział dokładne słowa w fragmencie tekstu, uzyskiwany przez uśrednienie własnych prawdopodobieństw modelu i przekształcenie wyniku w jedną liczbę. Niski wynik oznacza, że model trafnie zgadywał. Wysoki wynik oznacza, że był stale zaskakiwany.

Ta idea jest starsza niż jakikolwiek detektor AI dostępny na rynku i sama w sobie nie mówi nic o tym, kto napisał dokument. Gdy arytmetyka stojąca za tą liczbą staje się widoczna, wynik w raporcie przestaje wyglądać jak werdykt, a zaczyna wyglądać jak to, czym naprawdę jest, czyli opisem doboru słów.

Czym jest perplexity w wykrywaniu AI?

Perplexity jest miarą zapożyczoną z modelowania języka. Ocenia, jak dobrze model przewidział konkretne słowa występujące w fragmencie tekstu, i przedstawia tę ocenę jako jedną liczbę. Detektory stosują tę samą miarę do przesłanego dokumentu: niska liczba, oznaczająca, że przypuszczenia modelu były bardzo zgodne z rzeczywistymi słowami, odczytywana jest jako oznaka autorstwa maszynowego, a wysoka liczba odczytywana jest jako oznaka autorstwa ludzkiego. W samym obliczeniu nie uwzględnia się argumentacji dokumentu, jego cytowań ani tematyki. Odczytuje ono wyłącznie to, jak bardzo oczekiwane było każde słowo, jedno po drugim.

Detektory nie wymyśliły tej miary. Zapożyczyły narzędzie, którego systemy rozpoznawania mowy i tłumaczenia maszynowego używały już od dziesięcioleci do oceny tego, jak dobrze model przewidywał zwykły język, i wykorzystały je ponownie jako przybliżony wskaźnik autorstwa, do czego pierwotnie nie zostało stworzone.

Nic z tego nie ma związku z niepowiązaną wyszukiwarką wspomnianą wcześniej. Perplexity, które podaje detektor, nigdy nie jest firmą i nigdy nie jest zapisywane wielką literą: jest zwykłą własnością statystyczną sekwencji słów, obliczaną od nowa na podstawie dowolnego tekstu, który zostanie mu podany.

Jak perplexity jest faktycznie obliczane

Obliczenie to sięga dalej niż jakikolwiek produkt AI. Frederick Jelinek, Robert Mercer, Lalit Bahl i James Baker wprowadzili perplexity w 1977 roku, aby mierzyć, jak trudne było zadanie rozpoznawania mowy dla modelu statystycznego, na dziesięciolecia przed tym, zanim ktokolwiek zastosował ten termin do eseju lub sprawozdania laboratoryjnego. Definicja nie zmieniła się od tamtej pory.

Na każdej pozycji w dokumencie model podaje prawdopodobieństwo słowa, które rzeczywiście pojawia się jako następne, na przykład 0.72 dla częstego przejścia albo 0.03 dla nietypowego. Perplexity uśrednia logarytmy tych prawdopodobieństw w całym fragmencie, a następnie odwraca tę średnią za pomocą wykładnika.

Wykładnik w there's robi więcej, niż się wydaje. Uśrednianie prawdopodobieństw logarytmicznych jest dokładnie tym, co robimy, gdy obliczamy entropię krzyżową, czyli informacyjno-teoretyczny sposób powiedzenia, ile bitów potrzeba do zakodowania sekwencji przy danych przewidywaniach dokonanych przez model. Jednak perplexity przekształca liczbę bitów z powrotem w coś, co możemy lepiej zrozumieć, w efektywną liczbę wyborów, a nie w abstrakcyjne zliczenie bitów.

To, co pozostaje po tej arytmetyce, ma jasną, niemal fizyczną interpretację. Model, który za każdym razem jest całkowicie pewny, daje perplexity równe 1, czyli dolną granicę skali. Model, który traktuje każdą pozycję jako równy los między osiemdziesięcioma jednakowo prawdopodobnymi słowami, daje perplexity równe 80.

Większość rzeczywistych dokumentów mieści się gdzieś pomiędzy tymi dwoma skrajnościami, a dokładne położenie zależy od autora, tematu i od tego, jaki model dokonuje odczytu.

Dlaczego pisanie ludzkie zwykle uzyskuje inny wynik

Oczekiwania modelu są budowane wyłącznie na podstawie tego, co było wcześniej, słowo po słowie. Po frazie 'the treatment group showed a statistically' zdecydowana większość poprawnych kontynuacji to 'significant', a model wytrenowany na dużym korpusie pisarstwa naukowego przypisuje temu słowu wysokie prawdopodobieństwo bez wahania. Autor ludzki, dochodząc do tej samej frazy, mógłby również wybrać 'significant', ponieważ sama fraza jest stałym elementem tego gatunku. Różnica pojawia się gdzie indziej, w rzeczowniku wybranym dwa zdania później, w dopowiedzeniu dodanym w nawiasie, w liczbie podanej z dziwną liczbą miejsc po przecinku zamiast z zaokrągloną.

Nie ma w tym żadnego triku. Gdy osoba pisząca o rzeczywistych danych próbuje sięgnąć po dokładną liczbę, precyzyjny kwalifikator, nieco węższe słowo, sięga po rzeczy, które są prawdziwe dla pracy, a nie dla gatunku. I każdy z tych wyborów kosztuje model odrobinę więcej zaskoczenia. Zaskoczenie jest tym, co ten wynik ma sumować.

Wnioskowanie wykonuje tu więcej pracy, niż może uzasadnić pomiar. Perplexity mierzy bezpośrednio przewidywalność. Wnioskuje o autorstwie jedynie przez założenie, że przewidywalne pisanie jest rzadkie wśród ludzi i częste wśród modeli, a to założenie jest zwykle rozsądne i czasem błędne w określony, możliwy do wskazania sposób, ponieważ przewidywalność jest cechą, którą tekst może mieć z powodów całkowicie niezwiązanych z tym, kto go wpisał.

Dlaczego ten sam fragment może uzyskać inny wynik

Wynik jest też mniej przenośny, niż się wydaje, ponieważ nigdy nie jest mierzony w próżni. Perplexity jest zawsze obliczane względem treningu jednego konkretnego modelu referencyjnego, a ta zależność tworzy problemy, których żadna pojedyncza definicja nie może pokazać samodzielnie.

Czynnik	Co się zmienia	Dlaczego tak się dzieje
To, który model dokonuje odczytu	Ten sam akapit może uzyskać niski wynik w jednym modelu i wysoki w innym	Perplexity jest zawsze mierzone wyłącznie względem danych treningowych jednego modelu, a różne modele były trenowane na różnych tekstach
Czy fragment jest szeroko reprodukowanym tekstem	Słynny dokument historyczny albo definicja z podręcznika może uzyskać niski wynik perplexity, nawet gdy człowiek wpisał każde jego słowo do detektora	Pangram Labs wskazuje Deklarację Niepodległości jako przykład, jest ona tak często cytowana w danych treningowych, że model uznaje każde jej zdanie za nieoczekiwane w niewielkim stopniu
Czy detektor w ogóle może zobaczyć prawdopodobieństwa tokenów	Zamknięte modele komercyjne, takie jak ChatGPT, Gemini i Claude, nie ujawniają prawdopodobieństw dla poszczególnych słów, których wymaga perplexity	Detektory przybliżają wynik za pomocą zastępczego otwartego modelu zamiast obliczać perplexity względem modelu, który rzeczywiście wygenerował tekst

Nic z tego nie czyni tej liczby bez znaczenia, jedynie bardziej ryzykowną jako samodzielny werdykt. Własna dokumentacja GPTZero kiedyś opublikowała przybliżoną regułę, zgodnie z którą perplexity powyżej 85 odczytywano jako bardziej prawdopodobnie ludzkie, ale próg jednego dostawcy dla jednego modelu nie przenosi się na inne narzędzie oceniane względem innego modelu. Detektor podający pojedynczy wynik sprowadza wszystkie powyższe czynniki do jednej liczby, nie mówiąc, które z nich rzeczywiście zadziałały.

Co właściwie mówi wynik perplexity

Komercyjne detektory łączą perplexity z wzorcami na poziomie zdań, treningiem klasyfikatora i kilkoma innymi sygnałami, zanim w ogóle wydrukują jedną liczbę w raporcie. Pełniejszy obraz tego, jak naprawdę działają detektory AI jest omówiony osobno i wyjaśnia, skąd bierze się reszta tej liczby.

Rytm między zdaniami jest sygnałem powiązanym, ale odrębnym, omawianym na własnych zasadach przez burstiness checker, i dotyczy tego, jak duża jest zmienność w obrębie fragmentu, a nie pojedynczego słowa.

Żadna z tych liczb nie może dowieść, kto napisał dokument, w tym szacowany Human Score, który TextPulse oblicza na podstawie przesłanego szkicu, a który opisuje tekst, zamiast wydawać o nim werdykt. Uproszczona wersja tej samej idei, różnorodność słownictwa zamiast pełnego prawdopodobieństwa modelu, napędza darmowy perplexity checker na tej stronie, wart wypróbowania na akapicie, którego pochodzenie jest już znane, zanim zaufa się temu, co raport mówi o cudzym tekście.

Perplexity checker znajduje się obok pozostałych darmowych narzędzi TextPulse, więc pełne przejście przez szkic, słownictwo, rytm i wszystko inne nie wymaga jednoczesnego otwierania kilkunastu osobnych kart.

Perplexity jest jedną z dwóch statystyk, na których opierają się te systemy. Drugą jest burstiness, zmienność długości i struktury zdań w obrębie fragmentu tekstu, a pod obiema leży arytmetyka prawdopodobieństwa tokenów, która w pierwszej kolejności wytwarza wynik.

Liczba w raporcie jest końcem długiego łańcucha obliczeń, a nie początkiem sporu o to, kto coś napisał. Bardziej interesujące pytanie, gdy arytmetyka przestaje być tajemnicza, brzmi, co dokładnie sprawiło, że dokument był zaskakujący albo przewidywalny, a to jest pytanie o samo pisanie.