Czym jest perplexity w wykrywaniu AI?

Wyszukaj razem perplexity i wykrywanie AI, a kilka najwyższych wyników okazuje się dotyczyć niezwiązanego produktu, wyszukiwarki opartej na AI, która również nosi nazwę Perplexity. Metryka, którą rzeczywiście raportuje detektor, nie ma z tą firmą nic wspólnego poza samym słowem. Pochodzi z badań nad rozpoznawaniem mowy sprzed dziesięcioleci, starszych niż GPTZero czy wyszukiwarka, i mierzy coś węższego niż jedno i drugie, mianowicie to, jak bardzo model językowy jest zaskoczony słowami już znajdującymi się na stronie.

Więc czym jest perplexity w wykrywaniu AI? Perplexity to wynik, który opisuje, jak dobrze model językowy przewidział dokładne słowa w fragmencie tekstu, uzyskany przez uśrednienie własnych prawdopodobieństw modelu i przekształcenie wyniku w jedną liczbę. Niski wynik oznacza, że model konsekwentnie zgadywał poprawnie. Wysoki wynik oznacza, że był stale zaskakiwany.

Ta idea jest starsza niż jakikolwiek detektor AI na rynku i sama w sobie nie mówi nic o tym, kto napisał dokument. Gdy arytmetyka stojąca za tą liczbą staje się widoczna, wynik w raporcie przestaje wyglądać jak werdykt, a zaczyna wyglądać jak to, czym naprawdę jest, czyli opisem doboru słów.

Czym jest perplexity w wykrywaniu AI?

Perplexity jest miarą zapożyczoną z modelowania języka. Ocenia, jak dobrze model przewidział konkretne słowa występujące w fragmencie tekstu, i przedstawia ten wynik jako jedną liczbę. Detektory stosują tę samą miarę do przesłanego dokumentu: niska liczba, oznaczająca, że przypuszczenia modelu ściśle odpowiadały rzeczywistym słowom, jest odczytywana jako oznaka autorstwa maszynowego, a wysoka liczba jest odczytywana jako oznaka autorstwa ludzkiego. Nic w tym obliczeniu nie odczytuje argumentacji dokumentu, jego cytowań ani tematyki. Odczytuje jedynie to, jak oczekiwane było każde słowo, jedno po drugim.

Detektory nie wymyśliły tej miary. Zapożyczyły narzędzie, którego systemy rozpoznawania mowy i tłumaczenia maszynowego używały już od dziesięcioleci do oceny tego, jak dobrze model przewidywał zwykły język, i ponownie wykorzystały je jako przybliżony wskaźnik autorstwa, do czego pierwotnie nie zostało stworzone.

Nic z tego nie ma nic wspólnego z niepowiązaną wyszukiwarką wspomnianą wcześniej. Perplexity, którą raportuje detektor, nigdy nie jest firmą i nigdy nie jest zapisywana wielką literą: jest zwykłą własnością statystyczną ciągu słów, obliczaną na nowo z dowolnego tekstu, który zostanie jej podany.

Jak perplexity jest faktycznie obliczana

Obliczenia sięgają dalej niż jakikolwiek produkt AI. Frederick Jelinek, Robert Mercer, Lalit Bahl i James Baker wprowadzili perplexity w 1977 roku, aby mierzyć, jak trudne było zadanie rozpoznawania mowy dla modelu statystycznego, na dziesięciolecia przed tym, zanim ktokolwiek zastosował ten termin do eseju lub raportu laboratoryjnego. Definicja nie zmieniła się od tamtej pory.

Na każdej pozycji w dokumencie model podaje prawdopodobieństwo słowa, które rzeczywiście pojawia się jako następne, na przykład 0.72 dla częstego przejścia albo 0.03 dla nietypowego. Perplexity uśrednia logarytmy tych prawdopodobieństw w całym fragmencie, a następnie odwraca tę średnią za pomocą wykładnika.

Wykładnik w there's robi więcej, niż się wydaje. Uśrednianie logarytmów prawdopodobieństw jest dokładnie tym, co robimy, gdy obliczamy cross-entropy, czyli informacyjno-teoretyczny sposób powiedzenia, ile bitów potrzeba do zakodowania sekwencji przy danych przewidywaniach modelu. Ale perplexity przekształca liczbę bitów z powrotem w coś, co możemy lepiej zrozumieć, w efektywną liczbę wyborów, a nie w abstrakcyjną liczbę bitów.

To, co pozostaje po tej arytmetyce, ma jasne, niemal fizyczne znaczenie. Model, który za każdym razem jest całkowicie pewny, daje perplexity równe 1, czyli dolną granicę skali. Model, który traktuje każdą pozycję jako równy wybór między osiemdziesięcioma jednakowo prawdopodobnymi słowami, daje perplexity równe 80.

Większość rzeczywistych dokumentów mieści się gdzieś pomiędzy tymi dwiema skrajnościami, a dokładne położenie zależy od autora, tematu i od tego, który model dokonuje odczytu.

Dlaczego pisanie ludzkie zwykle uzyskuje inny wynik

Oczekiwania modelu są budowane wyłącznie na podstawie tego, co było wcześniej, słowo po słowie. Po frazie 'the treatment group showed a statistically' zdecydowana większość poprawnych kontynuacji to 'significant', a model wytrenowany na dużym zbiorze tekstów naukowych przypisuje temu słowu wysokie prawdopodobieństwo bez wahania. Autor piszący po ludzku, dochodząc do tej samej frazy, mógłby również wybrać 'significant', ponieważ sama fraza jest stałym elementem tego gatunku. Różnica ujawnia się gdzie indziej, w rzeczowniku wybranym dwa zdania później, w dopowiedzeniu dodanym w nawiasie, w liczbie podanej z dziwną liczbą miejsc po przecinku zamiast w zaokrąglonej postaci.

Nie ma w tym żadnego podstępu. Gdy osoba pisząca o rzeczywistych danych próbuje sięgnąć po dokładną liczbę, precyzyjny kwalifikator, nieco węższe słowo, sięga po rzeczy, które są prawdziwe dla pracy, a nie dla gatunku. I każdy z tych wyborów kosztuje model odrobinę więcej zaskoczenia. Zaskoczenie jest tym, co wynik ma sumować.

Wnioskowanie wykonuje tu więcej pracy, niż pomiar może uzasadnić. Perplexity mierzy przewidywalność bezpośrednio. Wnioskuje o autorstwie tylko na podstawie założenia, że przewidywalne pisanie jest rzadkie u ludzi i częste wśród modeli, założenia, które zwykle jest rozsądne, a czasem błędne w konkretny, możliwy do zidentyfikowania sposób, ponieważ przewidywalność jest cechą, którą tekst może mieć z powodów całkowicie niezwiązanych z tym, kto go wpisał.

Dlaczego ten sam fragment może otrzymać inny wynik

Wynik jest też mniej przenośny, niż się wydaje, ponieważ nigdy nie jest mierzony w próżni. Perplexity jest zawsze obliczane względem treningu jednego konkretnego modelu odniesienia, a ta zależność tworzy problemy, których żadna pojedyncza definicja nie może pokazać samodzielnie.

Czynnik	Co się zmienia	Dlaczego tak się dzieje
To, który model dokonuje odczytu	Ten sam akapit może uzyskać niski wynik w jednym modelu i wysoki w innym	Perplexity jest zawsze mierzone tylko względem danych treningowych jednego modelu, a różne modele były trenowane na różnych tekstach
To, czy fragment jest powszechnie reprodukowanym tekstem	Słynny dokument historyczny albo definicja z podręcznika może uzyskać niski wynik perplexity nawet wtedy, gdy człowiek wpisał do detektora każde jego słowo	Pangram Labs wskazuje Deklarację Niepodległości jako przykład, jest ona tak często cytowana w danych treningowych, że model uznaje każde jej zdanie za nieoczekiwane
To, czy detektor w ogóle może zobaczyć prawdopodobieństwa tokenów	Zamknięte modele komercyjne, takie jak ChatGPT, Gemini i Claude, nie ujawniają prawdopodobieństw dla poszczególnych słów, których potrzebuje perplexity	Detektory przybliżają wynik za pomocą zastępczego modelu otwartego zamiast obliczać perplexity względem modelu, który faktycznie wygenerował tekst

Nic z tego nie sprawia, że liczba staje się bez znaczenia, jedynie bardziej ryzykowna jako samodzielny werdykt. Własna dokumentacja GPTZero kiedyś opublikowała przybliżoną regułę, zgodnie z którą perplexity powyżej 85 odczytywano jako bardziej prawdopodobnie ludzkie, ale próg jednego dostawcy dla jednego modelu nie przenosi się na inne narzędzie mierzone względem innego modelu. Detektor podający pojedynczy wynik sprowadza wszystkie powyższe czynniki do jednej liczby, nie mówiąc, który z nich odegrał decydującą rolę.

Co właściwie mówi wynik perplexity

Komercyjne detektory łączą perplexity z wzorcami na poziomie zdań, trenowaniem klasyfikatora i kilkoma innymi sygnałami, zanim w ogóle wydrukują jedną liczbę w raporcie. Pełniejszy obraz tego, jak naprawdę działają detektory AI jest omówiony osobno i wyjaśnia, skąd bierze się reszta tej liczby.

Rytm zdanie po zdaniu jest sygnałem powiązanym, ale odrębnym, omawianym na własnych zasadach przez burstiness checker, i dotyczy tego, jak duża jest zmienność w obrębie fragmentu, a nie pojedynczego słowa.

Żadna z tych liczb nie może dowieść, kto napisał dokument, w tym szacowany Human Score, który TextPulse oblicza na podstawie przesłanego szkicu, a który opisuje tekst, zamiast wydawać o nim werdykt. Uproszczona wersja tej samej idei, różnorodność słownictwa zamiast pełnego prawdopodobieństwa modelu, napędza free perplexity checker na tej stronie, który warto przetestować na akapicie, którego pochodzenie jest już znane, zanim zaufa się temu, co raport mówi o cudzym.

perplexity checker znajduje się obok pozostałych free tools TextPulse, więc pełne przejście przez szkic, słownictwo, rytm i wszystko inne, nie wymaga otwierania naraz kilkunastu osobnych kart.

Perplexity jest jedną z dwóch statystyk, na których opierają się te systemy. Drugą jest burstiness, zmienność długości i struktury zdań w obrębie fragmentu, a pod obiema leży arytmetyka prawdopodobieństwa tokenów, która w pierwszej kolejności wytwarza wynik.

Liczba w raporcie jest końcem długiego łańcucha arytmetyki, a nie początkiem sporu o to, kto coś napisał. Bardziej interesujące pytanie, gdy arytmetyka przestaje być tajemnicza, brzmi, co konkretnie sprawiło, że dokument był zaskakujący albo przewidywalny, i jest to pytanie o samo pisanie.