Czy detektory AI nadal opierają się na perplexity i burstiness?

Szukając dziś informacji o tym, jak GPTZero wykrywa tekst pisany przez AI, najczęściej trafia się nadal na dwa wskaźniki, perplexity i burstiness, czyli parę, która uczyniła to narzędzie znanym w ciągu kilku tygodni od jego uruchomienia w styczniu 2023 roku. Własna dokumentacja pomocy GPTZero mówi jednak dziś coś innego: jesienią tego samego roku narzędzie przestało używać obu tych wskaźników.

Czy więc burstiness jest nadal używane przez detektory AI? Nie przez narzędzie, które sprawiło, że termin ten stał się powszechnie znany w środowisku akademickim. Centrum pomocy GPTZero stwierdza wprost, że nie używa już perplexity ani burstiness, ponieważ przeszło na architekturę opartą na deep learning. Turnitin, narzędzie, z którym większość studentów faktycznie się spotyka, nigdy zresztą nie opublikowało żadnego z tych terminów jako części swojej metody. Pojęcia te nie zniknęły z dyskusji. Zniknęły z produktów, które rzeczywiście dokonują wykrywania.

Czy burstiness jest nadal używane przez detektory AI?

Nie, nie przez GPTZero i nie pod tą nazwą. Własna dokumentacja pomocy GPTZero mówi to wprost: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Własne przewodniki Turnitin opisują jeszcze inną metodę, opartą na ocenianiu fragmentów przesłanego tekstu przez wytrenowany klasyfikator, i również tam nie pojawia się żaden z tych terminów. Dwa wskaźniki, które zdefiniowały pierwszą falę wykrywania AI, nie są tym, na czym obecnie działają wiodące narzędzia. To stwierdzenie jest węższe niż twierdzenie, że zostały porzucone: własne objaśnienie GPTZero nadal zalicza je do siedmiu wskaźników zasilających jego model. Przestały być metodą, nie przestając być miarą, a różnica między tymi dwoma twierdzeniami stanowi w dużej mierze sedno tego pytania.

Co zmieniło się jesienią 2023 roku

Oba terminy nigdy nie były niejasne. Własny wczesny materiał objaśniający GPTZero definiował perplexity jako "miarę tego, jak prawdopodobne byłoby, że model AI wybrałby dokładnie ten sam zestaw słów, jaki znajduje się w dokumencie", a burstiness jako "miarę tego, jak bardzo wzorce pisania i perplexities tekstu zmieniają się w całym dokumencie", czyli statystykę na poziomie dokumentu, a nie prosty licznik długości zdań. Obie definicje są nadal opublikowane na stronie GPTZero. Zmieniło się to, który z tych elementów detektor faktycznie uruchamia.

"Migrated to a deep-learning based architecture" to konkretne twierdzenie, a nie fraza marketingowa, i opisuje rzeczywistą zmianę rodzaju. Wynik perplexity jest obliczany bezpośrednio ze wzoru: tekst przepuszcza się przez referencyjny model językowy, uśrednia się logarytmiczne prawdopodobieństwa, a następnie potęguje się wynik. Zamiast tego trenuje się klasyfikator deep-learning, pokazując mu duże zbiory przykładów tekstów ludzkich i wygenerowanych przez AI, aż sam nauczy się dowolnej kombinacji cech, która rozdziela te dwie grupy w danych treningowych. W drugim podejściu nikt nie zapisuje reguły ręcznie. Model ją znajduje.

Oba wycofane terminy mają pełne omówienie w innym miejscu na tej stronie: what perplexity actually measures oraz what burstiness actually measures szczegółowo opisują własne mechanizmy, w tym stojące za nimi wzory. Ten tekst pozostaje ściśle przy pytaniu, czy którykolwiek z nich jest nadal tym, co detektor uruchamia dzisiaj.

Co GPTZero i Turnitin Faktycznie Dokumentują Dzisiaj

Aktualna strona technologii GPTZero, która opisuje to, co jest dostarczane w produkcie, stwierdza, że firma stosuje "an end-to-end deep learning approach, trained on text datasets from the web, education, and AI-generated from a range of LLMs", w którym "a sentence-by-sentence classification model determines the probability and confidence that a text was created by AI". Perplexity i burstiness nie pojawiają się na tej stronie w ogóle, ani jako składnik, ani jako funkcja dziedziczona, ani w przypisie.

Dokumentacja Turnitin od początku nie była zbudowana wokół żadnego z tych terminów. Jej przewodniki opisują zgłoszenie podzielone na fragmenty po kilkaset słów, każdy fragment oceniany przez wytrenowany model, a następnie wyniki fragmentów uśredniane do jednego procentu wyświetlanego w raporcie. Jest to nadzorowany klasyfikator działający na segmentach tekstu, należący do tej samej rodziny metod, do której przeszło GPTZero, a nie obliczanie perplexity ani obliczanie burstiness pod inną nazwą.

Najłatwiej zobaczyć tę zmianę obok siebie.

	Co opisywały wczesne wyjaśnienia (2023)	Co opisuje obecna dokumentacja
GPTZero	Perplexity i burstiness, oceniane względem modelu referencyjnego	Klasyfikator deep learning działający zdanie po zdaniu, zwracający prawdopodobieństwo i wynik pewności
Turnitin	Nigdy nie opublikowano, terminy nie pojawiają się w żadnych materiałach Turnitin	Fragmenty po kilkaset słów oceniane przez wytrenowany klasyfikator, uśredniane do jednego procentu

Dlaczego te pojęcia nadal wyjaśniają wykrywalność

Nic z tego nie oznacza, że perplexity i burstiness są błędne, jedynie że są już nieaktualne jako opis obecnego mechanizmu. Oba pojęcia zawsze opisywały coś rzeczywistego: tekst generowany przez próbkowanie w kierunku najbardziej prawdopodobnych kontynuacji modelu ma tendencję do bycia bardziej przewidywalnym, słowo po słowie, niż tekst pisany od podstaw przez człowieka, a także do mniejszej zmienności z jednego zdania na drugie. Leżąca u podstaw regularność nie zmieniła się tylko dlatego, że dostawca zmienił architekturę swojego detektora. Zmienił się sposób, w jaki detektor jej szuka.

Wytrenowany klasyfikator nie jest wprost proszony o szukanie perplexity ani burstiness. Raczej jest trenowany na tym samym podstawowym rozróżnieniu między tekstem ludzkim a maszynowym, które te dwie statystyki miały uchwycić. I wydaje się bardzo mało prawdopodobne, aby klasyfikator trenowany do odróżniania tych dwóch zbiorów nie opierał się również właśnie na tej regularności, jednej z najbardziej niezawodnych różnic między nimi. Jest to wnioskowanie o tym, dlaczego klasyfikator prawdopodobnie działa, a nie twierdzenie o jego opublikowanej liście cech, i tych dwóch rzeczy nie należy ze sobą mieszać.

Niezależne badania potwierdzają tezę, że leżąca u podstaw statystyka nadal ma znaczenie, nawet poza produktem pojedynczego dostawcy. DetectGPT, akademicka metoda zero-shot opublikowana w 2023, analizuje bliską krewną perplexity, czyli to, jak stromo funkcja log-prawdopodobieństwa modelu zakrzywia się wokół fragmentu tekstu, i osiąga 0.95 AUROC na jednym benchmarku wobec 0.81 dla najlepszego wcześniejszego punktu odniesienia zero-shot, bez trenowania klasyfikatora na oznaczonych przykładach. Główna idea, że tekst generowany przez maszynę znajduje się w statystycznie odrębnym regionie własnej przestrzeni prawdopodobieństwa modelu, nadal pozostaje aktywnym obszarem badań. Po prostu nie jest tym, co GPTZero dostarcza użytkownikom.

Dlaczego tak wiele osób w internecie nadal się w tym myli

Większość opublikowanych wyjaśnień tego, jak działa wykrywanie AI, została napisana w czasie lub krótko po uruchomieniu GPTZero w styczniu 2023, kiedy perplexity i burstiness były jedynym publicznym ujęciem, jakie sama firma oferowała. Te pierwotne strony wyjaśniające są nadal dostępne. Ogłoszenie o wycofaniu z jesieni 2023 znajduje się na osobnej stronie pomocy, a nie zostało włączone do nich, więc autor, który przeczytał pierwszą stronę i przestał dalej szukać, nie miałby powodu wiedzieć, że metoda zmieniła się mniej niż rok później.

Recenzja detektora strony trzeciej krążąca w 2026 roku twierdzi, że GPTZero nadal wykorzystuje perplexity i burstiness jako jedną warstwę spośród kilku w większym systemie. To twierdzenie pozostaje w bezpośredniej sprzeczności z aktualną stroną technologiczną GPTZero oraz z jego własną dokumentacją pomocy, a nic na stronie GPTZero nie potwierdza tej tezy. Firma opisująca własny dostarczony produkt ma większą wiarygodność niż niepotwierdzone twierdzenie strony trzeciej o tym samym produkcie, choć dokumentacja dostawcy również może być błędna. Niniejszy tekst opiera się na własnych stronach GPTZero, a nie na recenzji powtarzającej starszą wersję tej historii.

Co to oznacza dla sposobu, w jaki piszesz

Praktyczne wskazówki oparte na burstiness nie stały się bezużyteczne tylko dlatego, że to słowo zniknęło z własnych materiałów GPTZero. Świadome zróżnicowanie długości zdań nadal jest, w sensie mechanicznym, argumentem za unikaniem tej samej statystycznej jednorodności, którą klasyfikator bardzo prawdopodobnie został wytrenowany rozpoznawać, niezależnie od tego, jak wewnętrznie nazywa ten sygnał. Podstawowa rada przetrwała zmianę architektury dostawcy, mimo że słownictwo, które ją opisywało, nie przetrwało.

Nic z tego nie wymaga przyjmowania niczyjego słowa, w tym tego wpisu. Darmowy sprawdzacz perplexity TextPulse oraz szersza kolekcja darmowych narzędzi pozwalają sprawdzić, gdzie znajduje się własny szkic, zanim zrobi to jakikolwiek detektor, niezależnie od generacji.

Jeśli odpowiedź odsyła Cię z powrotem do własnego tekstu, praktyczne dalsze kroki to świadome zwiększanie burstiness oraz zróżnicowanie długości zdań w akapicie akademickim, co jest tym samym zadaniem opisanym bez użycia metryki.

Mechanizm, który uruchamia detektor, będzie się nadal zmieniał, GPTZero już raz go zmienił. Stałe pozostaje rzeczywiste pytanie, omówione w całości w przewodniku po tym, jak naprawdę działają detektory AI na tej stronie, czyli to, czy przewidywalne pisanie jest tym samym co pisanie wygenerowane przez maszynę, niezależnie od tego, która formuła akurat jest modna w danym roku.