Jak działają detektory AI? Perplexity, burstiness i prawdopodobieństwo tokenów

Twoja uczelnia zaczęła przepuszczać zgłoszenia przez detektor AI, a raport zwrócił liczbę, której się nie spodziewałeś. Zanim spróbujesz ją zakwestionować, warto wiedzieć, co ta liczba oznacza. Jak działają detektory AI? Nie czytają tekstu maszynowego tak, jak robi to człowiek. Mierzą, jak przewidywalny jest twój tekst dla modelu językowego, a następnie zamieniają tę przewidywalność na wynik. W tym procesie nic nie odnosi się do tego, co masz na myśli, do twojego argumentu ani do tego, czy faktycznie sam napisałeś ten tekst.

Od lat buduję narzędzia, które rozkładają tekst na czynniki statystyczne, i najważniejsza rzecz, jaką trzeba zrozumieć w odniesieniu do wykrywania, jest taka: jest to pomiar typowości, a nie pochodzenia. Gdy to się zrozumie, zarówno technologia, jak i jej ograniczenia stają się znacznie bardziej zrozumiałe.

Co detektor faktycznie mierzy

Detektor nie wie, kto cokolwiek napisał. Ma natomiast model językowy i funkcję punktacji. Model czyta twój tekst od lewej do prawej i w każdym punkcie tworzy rozkład prawdopodobieństwa tego, jakie słowo powinno pojawić się jako następne. Jeśli podasz mu słowa "the results of the", najwyżej oceni "study", nieco niżej "experiment", a "marmalade" gdzieś blisko zera.

Detektor zadaje więc twojemu dokumentowi jedno pytanie: jak często ten tekst wybierał słowo, którego oczekiwał model? Pisanie, które stale trafia w słowa o wysokim prawdopodobieństwie, wygląda na wytworzone przez maszynę, ponieważ dokładnie tak działa generator tekstu. Model wielokrotnie próbuje z górnej części własnego rozkładu, przez tysiące tokenów.

Dlatego cała ta kategoria jest na bardziej chwiejnych podstawach, niż sugeruje marketing. Detektor nie znajduje znaku wodnego ani odcisku palca. Zauważa jedynie, że twoja proza jest statystycznie mało zaskakująca, a proza mało zaskakująca może mieć wiele przyczyn poza chatbotem.

Perplexity: jak bardzo model jest zaskoczony

Główna miara nazywa się perplexity, co jest prostsze, niż brzmi. Weź prawdopodobieństwo, jakie model przypisał każdemu słowu, które rzeczywiście się pojawiło, uśrednij logarytmy tych prawdopodobieństw i podnieś wynik do potęgi. Otrzymujesz jedną liczbę opisującą, jak bardzo model był zaskoczony Twoim dokumentem. Możesz sprawdzić perplexity własnego szkicu zamiast zgadywać.

Niskie perplexity oznacza, że tekst podążał tam, gdzie model się spodziewał. Wysokie perplexity oznacza, że stale skręcał w kierunkach, których model się nie spodziewał. Pisanie ludzkie zwykle plasuje się wyżej, ponieważ ludzie sięgają po osobliwy, konkretny rzeczownik, nietypową konstrukcję, zdanie zaczynające się w nieoczekiwanym miejscu. Tekst generowany zwykle plasuje się niżej, ponieważ proces dekodowania jest zbudowany tak, aby unikać dokładnie takich ruchów.

Porównaj dwa sposoby rozpoczęcia sekcji metod. "The results of the study were statistically significant" to sekwencja, którą prawie każdy model przewidziałby z dużą pewnością, ponieważ nie niesie ona żadnej nieoczekiwanej informacji. "Two of the three cohorts drifted before week six, which we had not planned for" jest znacznie mniej przewidywalne, ponieważ niesie konkretną, niezręczną informację, której nie dałoby się odgadnąć z reszty pracy. Drugie zdanie kosztuje detektor rzeczywiste zaskoczenie, a to zaskoczenie jest tym, co rejestruje się jako ludzkie.

Burstiness: wariancja, nie średnia

Perplexity samo w sobie nie wystarcza, ponieważ dokument może dawać po uśrednieniu całkiem rozsądną liczbę, a jednocześnie pod spodem być podejrzanie jednolity. Liczy się zmienność w całym tekście i właśnie to mierzy burstiness: jak bardzo długość zdań i perplexity na poziomie zdania wahają się wraz z postępem pisania. burstiness checker pokaże Ci ten rozrzut bezpośrednio.

Przyspieszamy, gdy jesteśmy pewni, i zwalniamy, gdy się asekurujemy, a ten rytm przenosi się do prozy. Ludzie piszą skokami. Akapit może zacząć się krótkim zdaniem oznajmującym z ośmiu słów, przejść w trzydziestoczterowyrazowe zdanie zawierające trzy zdania składowe i wtrącenie, a potem wrócić do czegoś zwięzłego.

Wyjście modelu nie robi tego niezawodnie. Zdania skupiają się wokół średniej długości. Akapity pojawiają się w równych pakietach. Każda sekcja zaczyna się od powtórzenia własnego nagłówka. Czyta się to płynnie i uzyskuje słaby wynik, ponieważ niska wariancja między zdaniami jest jednym z najsilniejszych sygnałów, jakie ma detektor. Nie chodzi o jedno konkretne zdanie, które to zdradza. Chodzi o jednorodność.

Sygnał	Co mierzy	Dlaczego tekst maszynowy uzyskuje niski wynik
Perplexity	Jak bardzo model jest zaskoczony Twoimi wyborami słów, uśrednione dla całego dokumentu	Dekodowanie z założenia próbuje tokeny o wysokim prawdopodobieństwie
Burstiness	Jak bardzo długość zdań i przewidywalność różnią się w całym tekście	Wyjście skupia się wokół średniej zamiast się wahać
Prawdopodobieństwo tokenu	Prawdopodobieństwo dla pojedynczych słów, z którego oblicza się pozostałe dwa	Długie ciągi pojedynczo niepozornych wyborów

Prawdopodobieństwo tokenu i skąd bierze się wynik

Obie te liczby są zbudowane z trzeciej, logarytmicznego prawdopodobieństwa dla pojedynczego tokenu, czyli surowego materiału, z którego oblicza się wszystko inne. Niektóre narzędzia pokazują je bezpośrednio, podświetlając fragmenty, w których Twój tekst był najbardziej przewidywalny. Te podświetlenia nie są oskarżeniem o konkretne zdania, niezależnie od tego, co sugeruje interfejs. Są to części, które w największym stopniu przyczyniły się do liczby na poziomie całego dokumentu.

Podejścia badawcze wyszły poza proste progi. DetectGPT i jego następcy analizują krzywiznę, lekko zaburzają Twój tekst i sprawdzają, czy prawdopodobieństwo spada w wzorcu, który zwykle wykazuje tekst generowany. Inne porównują ten sam fragment w dwóch różnych modelach i wykorzystują rozbieżność jako sygnał.

Jedna konsekwencja ma znaczenie dla każdej osoby poddawanej ocenie. Ponieważ metryki są obliczane względem określonego modelu odniesienia, wynik jest zawsze względny wobec tego modelu. Dwa detektory mogą odczytać ten sam akapit i całkowicie się nie zgodzić, a żaden z nich nie działa nieprawidłowo. Odpowiadają na to samo pytanie, lecz z różnych punktów odniesienia.

Druga konsekwencja jest rzadziej zauważana. Model może uznać fragment za przewidywalny tylko wtedy, gdy ten fragment przypomina to, na czym był trenowany, więc jakość wykrywania pogarsza się wraz ze wzrostem luki między modelem odniesienia a tym, co wygenerowało tekst. Nowsze generatory, nietypowe dyscypliny oraz języki inne niż angielski wszystkie tę lukę powiększają. To częściowo wyjaśnia, dlaczego dokładność mierzona w kontrolowanym benchmarku rzadko utrzymuje się w zetknięciu z rzeczywistym zbiorem zgłoszeń.

Dlaczego tekst AI w ogóle jest wykrywany

Jak model językowy wybiera następne słowo

Pozostawiony sam sobie model językowy po prostu zwróciłby pełną uporządkowaną listę możliwych następnych słów i pozwoliłby, by coś innego dokonało wyboru. W praktyce strategia dekodowania dokonuje tego wyboru automatycznie, słowo po słowie, a to, która strategia jest używana, zmienia wygląd wyniku nawet wtedy, gdy sam model bazowy nigdy się nie zmienia.

Dekodowanie zachłanne zawsze wybiera pojedyncze najbardziej prawdopodobne słowo. W artykule, który wprowadził nucleus sampling jako rozwiązanie, Ari Holtzman i współautorzy zauważyli, że stosowanie tej strategii prowadzi do tekstu, który, ich własnymi słowami, jest „mdły i dziwnie powtarzalny”. Beam search, który śledzi jednocześnie kilka prawdopodobnych kontynuacji, zanim zatrzyma się na jednej, napotyka podobną odmianę tego samego problemu.

Strategie próbkowania przywracają pewną losowość, ale w kontrolowany sposób. Temperatura reguluje, jak silnie model faworyzuje własne najlepsze wybory przed wylosowaniem słowa. Nucleus sampling, czasem nazywane top-p, obcina rozkład do najmniejszego zbioru słów, których łączna prawdopodobieństwo przekracza próg, i losuje wyłącznie z tego zbioru, opisanego w oryginalnym artykule jako próbkowanie z dynamicznego jądra rozkładu, a nie z jego zawodnego ogona.

Nawet najmniej deterministyczne z tych ustawień nadal czerpią z krótkiej listy zbudowanej wokół tego, co model już uznaje za prawdopodobne. Ludzkie pisanie nigdy nie powstawało przez rangowanie słownictwa i losowanie z jego czoła, więc stale wykracza poza tę krótką listę. Znaczenie czasem mieszka w słowie, którego nigdy nie było na liście.

Spłaszczenie słownictwa: mniej, bezpieczniejsze słowa

Spłaszczenie słownictwa jest odpowiednikiem tego samego nawyku na poziomie słowa. W każdym punkcie zdania dziesiątki słów mogłyby je wiarygodnie kontynuować, lecz kilka znajduje się znacznie wyżej od reszty w rankingu modelu, a dekodowanie ciągle trafia właśnie na tę garstkę. Pomnóż ten wybór przez każde zdanie w dokumencie, a zakres rzeczywiście użytych słów zauważalnie się zawęża w porównaniu z tekstem ludzkim o podobnej długości.

Efekt ten narasta, zamiast pozostawać stały. Model, który sięga po najwyżej sklasyfikowane słowo w pierwszym zdaniu, z większym prawdopodobieństwem tworzy kontekst, w którym najwyżej sklasyfikowane słowo w drugim zdaniu również jest częste, ponieważ częste słowa mają tendencję do występowania po innych częstych słowach. Ludzki autor stale przerywa ten dryf, sięgając po konkretny termin techniczny, nieco nietypowy czasownik, słowo, które nazywa rzeczywistą rzecz, a nie jej bezpieczne przybliżenie. Ta różnica ujawnia się jako mierzalnie mniejsze słownictwo robocze w wersji wygenerowanej, nawet wtedy, gdy obie wersje opisują te same podstawowe fakty.

Jest to właściwość całego fragmentu, a nie pojedynczego wyboru słowa. Jedno bezpieczne słowo niczego nie dowodzi. Strona pełna takich słów, zdanie po zdaniu sięgająca po ten sam poziom częstego słownictwa, jest tym, co sygnał na poziomie słowa w detektorze ma rzeczywiście wykrywać.

Jednorodność składniowa: te same formy, powtarzane

Jednorodność składniowa jest odpowiednikiem na poziomie zdania. Nie chodzi o to, jak długie jest zdanie. Chodzi o to, ile odrębnych form gramatycznych wykorzystuje fragment: jak zdania się rozpoczynają, jak zdania podrzędne łączą się ze sobą, jak często słowo przejściowe wykonuje pracę łączenia jednej myśli z następną. Model, który wciąż przewiduje statystycznie najbardziej prawdopodobną następną strukturę, osiada w niewielkiej rotacji form i ją powtarza.

Akapit może różnicować długość zdań i nadal brzmieć składniowo płasko, jeśli każde zdanie ma tę samą strukturę podmiot, orzeczenie, dopełnienie, zaczyna się od tego samego rodzaju przejścia albo kończy się w ten sam sposób. Przewidywalność tkwi w schemacie, nie w liczbie słów, a to rozróżnienie omówiono szerzej w przewodniku po tym, co burstiness rzeczywiście mierzy.

Co zawęża	Co zwykle robi tekst zoptymalizowany pod dekodowanie	Co zwykle robi pisanie ludzkie
Dobór słów	Wybiera najbardziej prawdopodobne, powszechne słowo na każdym kroku	Sięga po słowo bardziej konkretne albo rzadsze, które nazywa rzeczywistą rzecz
Początek zdania	Powtarza niewielki zestaw bezpiecznych, przejściowych otwarć	Różnicuje sposób rozpoczęcia zdania, w tym otwarcia, które model uznałby za mniej prawdopodobne
Struktura zdania podrzędnego	Powtarza jedną lub dwie preferowane formy gramatyczne w całym fragmencie	Miesza struktury proste i złożone zależnie od tego, czego wymaga zdanie

Wybory, które zwykle podejmuje tylko człowiek

Drugą stroną wąskiego zakresu jest to, co wypada poza nim. Osoba opisująca rzeczywiste wydarzenia sięga po dokładną liczbę zamiast zaokrąglonej, przyznaje się do elementu, który nie zadziałał, przerywa zdanie, by poprawić je w trakcie myśli, albo wybiera słowo, które jest trafne, a nie typowe. Z punktu widzenia modelu językowego każdy z tych wyborów jest tokenem o niskim prawdopodobieństwie, dokładnie takim, którego dekodowanie ma unikać.

Nic z tego nie oznacza, że konkretne lub nietypowe pisanie jest bezpieczne wobec każdego oznaczenia, ani że płynne, poprawne pisanie jest z definicji podejrzane. Sekcja metod, klauzula prawna albo mocno zredagowany finalny szkic mogą trafić do wąskiego zakresu z powodów, które nie mają nic wspólnego z modelem, dlatego pojedynczy wynik jest opisem wzorca, a nie werdyktem o tym, kto to napisał.

Widzenie, gdzie własny szkic mieści się na tej skali, jest bardziej użyteczne niż zgadywanie. Bezpłatny sprawdzacz perplexity i sprawdzacz burstiness TextPulse mierzą osobno przewidywalność na poziomie słów oraz rytm między zdaniami, więc płaskie słownictwo i powtarzalna budowa zdań pojawiają się jako dwa różne sygnały, a nie jedna połączona liczba.

Z tego wynikają dwie węższe strony. Jak Turnitin wykrywa AI w sposób szczegółowy jest jedną z nich, a różnica między jego wynikiem podobieństwa a wynikiem AI jest drugą, ponieważ te dwa wskaźniki są regularnie mylone ze sobą.

Obie mieszczą się w szerszej kolekcji bezpłatnych narzędzi, dla każdego, kto chce sam zobaczyć ten wzorzec, zamiast ślepo ufać pojedynczej liczbie.

Jaka część sieci jest obecnie generowana przez AI?

Według kilku miar tekst wytwarzany przez maszyny przewyższa obecnie tekst pisany przez ludzi w internecie. Zespół w Amazon Web Services przeanalizował 6.4 miliarda zdań z sieci i stwierdził, że 57.1% istniało jako tłumaczenia maszynowe w trzech lub większej liczbie języków, w dużej mierze niskiej jakości. Analiza firmy SEO Graphite z 2025 roku wykazała, że nieco ponad połowa nowo publikowanych artykułów internetowych była generowana przez AI. Wikipedia nie jest wyjątkiem: badanie Princeton dotyczące stron utworzonych w sierpniu 2024 roku oszacowało, że około jedna na dwadzieścia nowych anglojęzycznych artykułów była w znacznym stopniu generowana przez AI.

Ten udział rośnie, ponieważ koszt generowania przez model jest o rzędy wielkości niższy niż pisania przez człowieka, a każdy bodziec komercyjny prowadzi w tym samym kierunku. Całe platformy działają już bez udziału ludzkich autorów: Chirper jest siecią społecznościową zapełnioną wyłącznie kontami AI, gdzie ludzie mogą jedynie obserwować, a SocialAI sprzedaje strumień, w którym każda odpowiedź na użytkownika pochodzi od bota. Fora, sekcje recenzji i wątki komentarzy pokazują ten sam wzorzec w mniejszej skali.

W przypadku wykrywania zmienia to częstość bazową. Klasyfikator czytający dowolny tekst internetowy w 2023 mógł zakładać, że większość z niego napisał człowiek, klasyfikator w 2026 nie może już tego zakładać. To także sprzęga się zwrotnie z samymi modelami, ponieważ każde nowe pokolenie trenuje się na sieci, do której jego poprzednicy już coś wpisali, co jest jednym z powodów, dla których nawyki słownikowe, na które zwracają uwagę detektory, rozprzestrzeniają się zamiast zanikać.

W przypadku własnego pisania konsekwencja jest bezpośrednia: proza napisana przez człowieka staje się klasą mniejszościową, a prowadzący zajęcia, redaktorzy i czytelnicy to wiedzą. Podwyższone podejrzenie jest teraz domyślnym stanem, i właśnie dlatego warto rozumieć, co detektor może, a czego nie może mierzyć.

Co dodają komercyjne detektory ponad to

Narzędzia, które instytucje rzeczywiście kupują, nie uruchamiają podręcznikowej perplexity. Turnitin, GPTZero, Originality i pozostałe trenują klasyfikatory nadzorowane na dużych oznaczonych zbiorach tekstów ludzkich i maszynowych, wykorzystując cechy statystyczne obok cech stylistycznych. To, czego uczy się klasyfikator, to wszystko, co odróżnia te dwa stosy w danych treningowych, a więc coś węższego i bardziej historycznego niż "AI writing" w ogóle.

Zależność od treningu jest cichym problemem. Klasyfikator trenowany głównie na wyjściu jednej generacji modelu musi uogólniać na nowsze modele, na nieznane dyscypliny i na autorów, których angielski nie przypomina rozkładu danych treningowych. Dostawcy publikują wskaźniki trafności z własnych ocen, a niezależne benchmarki regularnie wypadają znacznie poniżej tych liczb dla tych samych narzędzi.

Jak czytać wynik bez nadmiernego interpretowania go

Raport detektora zwykle pojawia się jako procent i ten procent jest regularnie błędnie odczytywany. Nie jest to odsetek dokumentu napisany przez maszynę. Zależnie od narzędzia jest to pewność klasyfikatora albo udział zdań, które przekroczyły jakiś wewnętrzny próg, a dostawcy często niejasno mówią, o które z tych znaczeń chodzi. Dwa raporty pokazujące po sześćdziesiąt procent mogą oznaczać bardzo różne rzeczy.

Warto również wiedzieć, co powoduje zmianę wyniku z powodów, które nie mają nic wspólnego z tym, kto go napisał. Krótkie dokumenty są bardziej zaszumione, ponieważ jest mniej tekstu, na którym średnie mogą się ustabilizować, a esej liczący pięćset słów może zmienić się bardzo wyraźnie pod wpływem dwóch lub trzech nietypowych zdań. Cytowany materiał również się liczy, chyba że narzędzie go usuwa, więc przegląd literatury wypełniony cytatami blokowymi dziedziczy przewidywalność tego, co cytuje. Podobnie zachowuje się fragment techniczny nasycony standardową terminologią.

Jeśli otrzymasz oznaczenie, użyteczna odpowiedź polega na przedstawieniu dowodów, a nie na sporze o samą metrykę. Historia wersji, szkice, notatki i zapisy wyszukiwań odnoszą się do procesu, a to właśnie proces może rzeczywiście ocenić komisja ds. naruszeń. Nie istnieje żaden próg, na który można by wskazać, a który oddziela ostrożnego autora od modelu.

Dlaczego detektory oznaczają tekst, którego żaden model nie wygenerował

Fałszywe pozytywy nie są rzadką awarią. Wynikają bezpośrednio z mierzenia typowości. Każdy tekst, który rzeczywiście jest przewidywalny, otrzyma wynik wskazujący na przewidywalność, niezależnie od tego, kto go stworzył.

Autorzy piszący po angielsku jako w języku obcym są dotknięci tym najbardziej. Badacze ze Stanfordu stwierdzili, że detektory błędnie klasyfikowały dużą część esejów napisanych przez osoby niebędące rodzimymi użytkownikami języka jako wygenerowane maszynowo, podczas gdy eseje rodzimych użytkowników klasyfikowały poprawnie. Przyczyna jest mechaniczna, a nie złośliwa, autorzy pracujący w drugim języku mają tendencję do opierania się na utartych konstrukcjach i bardziej powszechnym słownictwie. To dokładnie odpowiada profilowi niskiej perplexity, dlatego autorzy ESL są oznaczani za ostrożne pisanie.

Tak samo działają konwencje akademickie. Sekcja metod ma być schematyczna. Pisanie prawnicze, dokumentacja techniczna i raportowanie kliniczne wszystkie premiują standardowe sformułowania zamiast tych bardziej pomysłowych. Intensywna redakcja dodatkowo to wzmacnia, ponieważ dopracowanie szkicu zwykle oznacza usunięcie nieregularności, które niosły Twój podpis statystyczny.

Instytucje to zauważyły. Vanderbilt wyłączył funkcję wykrywania AI w Turnitin zamiast opierać się na wynikach, których nie mógł zweryfikować, a inne uniwersytety ograniczyły sposób, w jaki liczby te mogą być używane w postępowaniach dotyczących naruszeń. Traktuj wynik detektora jako jeden słaby dowód, a nie jako werdykt.

Co to oznacza dla własnego pisania

Praktyczna rada wynikająca z mechanizmu nie jest niczym niezwykłym i żadna z niej nie polega na manipulowaniu czymkolwiek. Celowo zróżnicuj długość zdań, ponieważ to właśnie jednolitość zostaje odnotowana. Zachowaj konkretny szczegół, rzeczywistą liczbę, rzeczywiste ograniczenie, to, co poszło nie tak w szóstym tygodniu. Ogólna poprawność jest tym, co uzyskuje wynik jako wytworzone przez maszynę, a konkretność jest zarazem lepszym pisaniem i silniejszym sygnałem.

Zachowaj też własny idiom. Jeśli masz swój sposób wyrażania myśli, pozostaw go. Odruch wygładzania szkicu tak długo, aż zacznie brzmieć jak każdy inny tekst w danej dziedzinie, jest odruchem, który obniża twoją perplexity.

Jednej rzeczy należy unikać, niektóre narzędzia celowo wprowadzają błędy gramatyczne, aby podnieść perplexity. Działa to na poziomie metryki i jest to bardzo zły pomysł w przypadku czegokolwiek ocenianego lub recenzowanego przez ekspertów, ponieważ zamieniasz podejrzenie na pewność. Celem jest tekst, który brzmi jak twój, a nie tekst, który został celowo uszkodzony. Na tym właśnie polega cała różnica między przepisywaniem z myślą o ludzkim czytelniku a psuciem tekstu, aby oszukać oceniający go system.

Jeśli chcesz zobaczyć te liczby dla własnego szkicu, zamiast przyjmować na wiarę to, co mówi czarna skrzynka, podstawowe pomiary nie są tajemnicą. Bezpłatne narzędzia do analizy tekstu pokażą ci, gdzie znajduje się twój tekst, a ty sam możesz zdecydować, czy płaskie fragmenty stanowią problem stylistyczny wart poprawy.