Jak fungují detektory AI? Perplexita, burstiness a pravděpodobnost tokenů

Vaše univerzita začala procházet odevzdané práce pomocí detektoru AI a vrátila se zpráva s číslem, které jste nečekali. Než se pokusíte toto číslo zpochybnit, je užitečné vědět, co znamená. Jak fungují detektory AI? Nečtou strojově psaný text tak, jak ho čte člověk. Měří, jak předvídatelný je váš text pro jazykový model, a tuto předvídatelnost pak převádějí na skóre. Nic v tomto procesu se nezabývá tím, co máte na mysli, vaším argumentem ani tím, zda jste ten text skutečně napsali vy.

Strávil jsem roky vývojem nástrojů, které statisticky rozkládají text, a jediná nejužitečnější věc, kterou je třeba o detekci pochopit, je tato: jde o měření typičnosti, nikoli původu. Jakmile vám to dojde, dávají jak technologie, tak její selhání mnohem větší smysl.

Co detektor ve skutečnosti měří

Detektor neví, kdo cokoli napsal. Má k dispozici jazykový model a hodnoticí funkci. Model čte váš text zleva doprava a v každém bodě vytváří pravděpodobnostní rozdělení nad tím, které slovo by mělo následovat. Dejte mu slova "the results of the" a nejvýše zařadí "study", o něco níže "experiment" a "marmalade" někde blízko nuly.

Detektor si tedy nad vaším dokumentem klade jednu otázku: jak často tento text zvolil slovo, které model očekával? Psaní, které opakovaně končí u slov s vysokou pravděpodobností, působí strojově, protože přesně to dělá generátor textu. Model opakovaně vzorkuje z horní části vlastního rozdělení, a to po tisíce tokenů.

Proto je celá tato kategorie na nejistější půdě, než naznačuje marketing. Detektor nenachází vodoznak ani otisk prstu. Všímá si toho, že vaše próza je statisticky nepřekvapivá, a nepřekvapivá próza má vedle chatbotu mnoho dalších příčin.

Perplexita: jak moc je model překvapen

Hlavní metrika se nazývá perplexity, což je jednodušší, než to zní. Vezměte pravděpodobnost, kterou model přiřadil každému slovu, jež se skutečně objevilo, zprůměrujte logaritmy těchto pravděpodobností a výsledek umocněte. Výsledkem je jediné číslo popisující, jak moc byl model vaším dokumentem překvapen. Můžete si zkontrolovat perplexity vlastního návrhu místo toho, abyste ji odhadovali.

Nízká perplexity znamená, že text šel tam, kam model očekával. Vysoká perplexity znamená, že stále volil obraty, které model neočekával. Lidské psaní má tendenci být výše, protože lidé sahají po neobvyklém konkrétním podstatném jménu, po nezvyklé konstrukci, po větě, která začíná někde nečekaně. Generovaný text má tendenci být níže, protože dekódovací proces je navržen tak, aby se právě těmto krokům vyhýbal.

Porovnejte dva způsoby, jak začít část o metodách. "The results of the study were statistically significant" je posloupnost, kterou by téměř každý model předpověděl s vysokou jistotou, protože nenese žádnou neočekávanou informaci. "Two of the three cohorts drifted before week six, which we had not planned for" je mnohem méně předvídatelné, protože nese konkrétní, neobratnou informaci, kterou by nebylo možné odhadnout ze zbytku článku. Druhá věta pro detektor představuje skutečné překvapení a právě toto překvapení se registruje jako lidské.

Burstiness: rozptyl, ne průměr

Perplexity sama o sobě nestačí, protože dokument může v průměru vycházet na zcela rozumné číslo, a přitom být pod povrchem podezřele jednotný. Důležitá je variace napříč textem, a právě tu měří burstiness: nakolik se délka vět a perplexity na úrovni vět při psaní proměňují. burstiness checker vám tento rozptyl ukáže přímo.

Zrychlujeme, když si jsme jistí, a zpomalujeme, když se vyhýbáme jednoznačnosti, a tento rytmus se přenáší i do prózy. Lidé píší v dávkách. Odstavec může začít krátkou oznamovací větou o osmi slovech, přejít do čtyřiatřicetislovné věty, která nese tři vedlejší věty a vsuvku v závorkách, a pak se vrátit k něčemu svižnému.

Výstup modelu to spolehlivě nedělá. Věty se shlukují kolem průměrné délky. Odstavce přicházejí v úhledných blocích. Každá sekce začíná zopakováním vlastního nadpisu. Čte se to plynule a získává to špatné skóre, protože nízká variabilita napříč větami je jedním z nejsilnějších signálů, které detektor má. Neprozrazuje to žádná jednotlivá věta. Prozrazuje to uniformita.

Signál	Co měří	Proč strojový text získává nízké skóre
Perplexity	Jak moc je model překvapen vašimi volbami slov, zprůměrováno přes celý dokument	Dekódování záměrně vzorkuje z tokenů s vysokou pravděpodobností
Burstiness	Jak moc se délka vět a předvídatelnost v textu liší	Výstup se shlukuje kolem průměru místo toho, aby kolísal
Token probability	Pravděpodobnost na úrovni jednotlivých slov, z níž se vypočítávají další dvě	Dlouhé úseky jednotlivě nevýrazných voleb

Pravděpodobnost tokenu a odkud skóre pochází

Obě tato čísla jsou postavena na třetím, na log-likelihood na úrovni tokenu, což je surový materiál, z něhož se vše ostatní počítá. Některé nástroje vám jej zobrazují přímo a zvýrazňují úseky, kde byl váš text nejpředvídatelnější. Tato zvýraznění nejsou obviněním konkrétních vět, ať už rozhraní naznačuje cokoli. Jsou to části, které nejvíce přispěly k číslu na úrovni dokumentu.

Výzkumné přístupy se posunuly za jednoduché prahy. DetectGPT a jeho následovníci zkoumají zakřivení, mírně perturbují váš text a kontrolují, zda pravděpodobnost klesá způsobem, který má tendenci vykazovat generovaný text. Jiné přístupy porovnávají stejný úryvek pod dvěma různými modely a jako signál používají nesoulad.

Jeden důsledek je důležitý pro každého, kdo je posuzován. Protože se metriky počítají vůči určitému referenčnímu modelu, je skóre vždy relativní k tomuto modelu. Dva detektory mohou číst stejný odstavec a zcela se neshodnout, a ani jeden z nich nefunguje chybně. Odpovídají na tutéž otázku s různými referenčními body.

Druhý důsledek se uvádí méně často. Model může určit pasáž jako předvídatelnou pouze tehdy, pokud se tato pasáž podobá tomu, na čem byl trénován, takže kvalita detekce se zhoršuje, jak se zvětšuje rozdíl mezi referenčním modelem a tím, co text vytvořilo. Novější generátory, neobvyklé obory a jazyky jiné než angličtina tento rozdíl všechny zvětšují. I proto přesnost měřená v kontrolovaném benchmarku jen zřídka obstojí při kontaktu se skutečným balíkem odevzdaných prací.

Proč je text AI vůbec detekován

Jak jazykový model vybírá své další slovo

Kdyby byl ponechán sám sobě, jazykový model by jednoduše uvedl celý svůj seřazený seznam možných dalších slov a nechal by výběr na něčem jiném. V praxi tento výběr automaticky provádí dekódovací strategie, slovo po slově, a to, která strategie právě běží, mění podobu výstupu, i když se samotný model nikdy nezmění.

Chamtivé dekódování vždy vybere jediné nejpravděpodobnější slovo. V článku, který představil nucleus sampling jako řešení, Ari Holtzman a spoluautoři poznamenali, že dodržování této strategie vede k textu, který je, jejich vlastními slovy, 'nevýrazný a podivně repetitivní.' Beam search, který sleduje několik pravděpodobných pokračování najednou, než se ustálí na jednom, naráží na podobnou verzi téhož problému.

Vzorkovací strategie znovu zavádějí určitou náhodnost, ale kontrolovaným způsobem. Teplota upravuje, jak ostře model upřednostňuje své vlastní nejvyšší volby před tím, než je vybráno slovo. Nucleus sampling, někdy nazývaný top-p, ořezává rozdělení na nejmenší množinu slov, jejichž souhrnná pravděpodobnost překročí práh, a vybírá pouze z této množiny, v původním článku popsané jako vzorkování z dynamického jádra rozdělení, nikoli z jeho nespolehlivého ocasu.

I ten nejméně deterministický z těchto nastavení stále čerpá z užšího seznamu vytvořeného kolem toho, co model už považuje za pravděpodobné. Lidské psaní nikdy nevznikalo tak, že by se seřadila slovní zásoba a vybíralo se z jejích nejvýše hodnocených položek, takže se k tomuto užšímu seznamu neustále dostává za jeho hranice. Význam někdy sídlí ve slově, které na seznamu nikdy nebylo.

Rovinnost slovní zásoby: méně, bezpečnějších slov

Rovinnost slovní zásoby je verze téhož zvyku na úrovni slov. V každém bodě věty by v ní mohly věrohodně pokračovat desítky slov, ale několik z nich je v hodnocení modelu daleko nad ostatními a dekódování stále končí právě u této hrstky. Když se tato volba vynásobí každou větou v dokumentu, rozsah skutečně použitých slov se ve srovnání s lidským psaním podobné délky měřitelně zúží.

Účinek se spíše kumuluje, než aby zůstával konstantní. Model, který v první větě sahá po nejvýše hodnoceném slově, s větší pravděpodobností vytvoří kontext, v němž je nejvýše hodnocené slovo ve druhé větě také běžné, protože běžná slova mají tendenci následovat po běžných slovech. Lidský autor tento posun neustále přerušuje, sahá po konkrétním technickém termínu, po mírně neobvyklém slovese, po slově, které pojmenuje skutečnou věc, nikoli jen její bezpečný přibližek. Tento rozdíl se projeví jako měřitelně menší pracovní slovní zásoba v generované verzi, i když obě verze popisují tytéž základní skutečnosti.

Je to vlastnost celého úseku, nikoli jediného výběru slova. Jedno bezpečné slovo nic nedokazuje. Stránka plná takových slov, věta za větou sahající po stejném stupni běžné slovní zásoby, je to, co je skutečným cílem signálu na úrovni slov, který detektor sleduje.

Syntaktická uniformita: stejné tvary, opakované

Syntaktická uniformita je verze na úrovni vět. Nejde o to, jak dlouhá věta je. Jde o to, kolik odlišných gramatických tvarů úsek používá, jak věty začínají, jak se vedlejší věty připojují jedna k druhé, jak často spojovací slovo vykonává práci propojení jedné myšlenky s další. Model, který stále předpovídá statisticky pravděpodobnou další strukturu, se ustálí v malé rotaci tvarů a opakuje ji.

Odstavec může měnit délky svých vět a přesto působit syntakticky ploše, pokud každá věta sleduje stejnou strukturu podmět sloveso doplněk, začíná stejným druhem přechodu nebo se uzavírá stejným způsobem. Předvídatelnost spočívá ve vzorci, nikoli v počtu slov, což je rozdíl podrobněji rozebraný v průvodci k tomu, co burstiness ve skutečnosti měří.

Co zužuje	Co má tendenci dělat text optimalizovaný pro dekódování	Co má tendenci dělat lidské psaní
Volba slov	U každého kroku se přiklání k nejpravděpodobnějšímu běžnému slovu	Sahá po konkrétním nebo méně běžném slově, které pojmenuje skutečnou věc
Začátek věty	Opakuje malou rotaci bezpečných přechodových začátků	Obměňuje, jak věta začíná, včetně začátků, které by model hodnotil jako méně pravděpodobné
Struktura klauzí	Opakuje jednu nebo dvě preferované gramatické podoby napříč pasáží	Střídá jednoduché a složité struktury podle toho, co věta potřebuje

Volby, které má tendenci dělat jen člověk

Odvrácenou stranou úzkého pásma je to, co z něj vybočuje. Člověk popisující skutečné události sáhne po přesném údaji místo zaokrouhleného, přizná část, která nefungovala, přeruší větu, aby ji uprostřed myšlenky opravil, nebo zvolí slovo, které je správné, nikoli typické. Každá z těchto voleb je z hlediska jazykového modelu token s nízkou pravděpodobností, přesně ten druh, kterému se dekódování snaží vyhnout.

Nic z toho neznamená, že konkrétní nebo neobvyklé psaní je bezpečné před každým označením, ani že plynulé a správné psaní je ve výchozím nastavení podezřelé. Sekce metod, právní klauzule nebo silně upravený finální návrh mohou spadnout do úzkého pásma z důvodů, které s modelem nijak nesouvisejí, a právě proto je jedno skóre popisem vzoru, nikoli verdiktem o tom, kdo jej napsal.

Vidět, kde se váš vlastní návrh na této škále nachází, je užitečnější než hádání. Bezplatný kontrolor perplexity a kontrolor burstiness od TextPulse měří předvídatelnost na úrovni slov a rytmus mezi větami odděleně, takže plochá slovní zásoba a opakující se stavba vět se projeví jako dva různé signály místo jednoho smíšeného čísla.

Z toho vyplývají dvě užší stránky. Jak Turnitin konkrétně detekuje AI je jedna a rozdíl mezi jeho skóre podobnosti a jeho AI skóre je druhá, protože tyto dvě věci se běžně zaměňují.

Obě spadají do širší sbírky bezplatných nástrojů, pro každého, kdo chce vidět tento vzorec na vlastní oči, místo aby slepě důvěřoval jedinému číslu.

Kolik webu je nyní generováno AI?

Podle několika měřítek nyní na internetu text vytvořený strojem převyšuje text napsaný lidmi. Tým v Amazon Web Services analyzoval 6,4 miliardy vět z webu a zjistil, že 57.1% existovalo jako strojové překlady ve třech nebo více jazycích, přičemž velká část byla nízké kvality. Analýza firmy Graphite z roku 2025 zjistila, že něco málo přes polovinu nově publikovaných webových článků bylo generováno AI. Výjimkou není ani Wikipedia: studie Princeton o stránkách vytvořených v srpnu 2024 zjistila, že zhruba jeden z dvaceti nových anglických článků byl podstatně generován AI.

Podíl roste, protože výstup modelů stojí řádově méně než lidské psaní a každý obchodní podnět směřuje stejným směrem. Celé platformy nyní fungují bez lidských autorů vůbec: Chirper je sociální síť tvořená výhradně účty AI, kde se lidé mohou jen dívat, a SocialAI prodává feed, v němž je každá odpověď na vás od bota. Fóra, sekce recenzí a diskusní vlákna nesou tentýž vzorec v menším měřítku.

Pro detekci to mění základní míru. Klasifikátor čtoucí libovolný webový text v roce 2023 mohl předpokládat, že většina z něj byla lidská, klasifikátor v roce 2026 už nemůže. Zpětně to také vstupuje do samotných modelů, protože každá nová generace se trénuje na webu, do něhož její předchůdci už sami psali, což je jeden z důvodů, proč se slovní návyky, na které detektory cílí, šíří spíše než mizí.

Pro vlastní psaní je důsledek přímočarý, lidsky psaná próza se stává menšinovou třídou a vyučující, editoři i čtenáři to vědí. Zvýšené podezření je nyní výchozí stav, a právě proto se vyplatí rozumět tomu, co detektor může a nemůže měřit.

Co komerční detektory přidávají navíc

Nástroje, které instituce skutečně kupují, nespouštějí učebnicovou perplexity. Turnitin, GPTZero, Originality a další trénují řízené klasifikátory na velkých označených souborech lidského a strojového textu, přičemž používají statistické rysy spolu se stylistickými. To, co se klasifikátor naučí, je cokoli, co v jeho trénovacích datech tyto dvě hromady odlišuje, což je užší a více historická věc než "AI writing" obecně.

Závislost na tréninku je tichý problém. Klasifikátor trénovaný převážně na jedné generaci výstupů modelu se musí zobecnit na novější modely, na neznámé disciplíny a na autory, jejichž angličtina nepřipomíná jeho trénovací distribuci. Dodavatelé zveřejňují údaje o přesnosti ze svých vlastních evaluací a nezávislé benchmarky se u stejných nástrojů pravidelně pohybují výrazně pod těmito čísly.

Jak číst skóre, aniž bychom ho přeceňovali

Zpráva detektoru obvykle přichází jako procento a toto procento je běžně chybně interpretováno. Není to podíl vašeho dokumentu napsaný strojem. Podle nástroje jde o míru jistoty klasifikátoru, nebo o podíl vět, které překročily nějaký interní práh, a dodavatelé jsou v tom často nejasní. Dvě zprávy, které obě ukazují šedesát procent, mohou znamenat velmi odlišné věci.

Je také užitečné vědět, co posouvá skóre z důvodů, které nemají nic společného s tím, kdo text napsal. Krátké dokumenty jsou šumovější, protože je v nich méně textu, na němž by se průměry mohly ustálit, a esej o pěti stech slovech se může výrazně změnit vlivem dvou nebo tří neobvyklých vět. Počítá se i citovaný materiál, pokud jej nástroj neodstraní, takže literární přehled nabitý blokovými citacemi přebírá předvídatelnost toho, co cituje. Stejně se chová i technický úsek zatížený standardní terminologií.

Pokud se na vás vztahuje označení, užitečnou reakcí jsou důkazy, nikoli spor o metriku. Historie verzí, koncepty, poznámky a záznamy vyhledávání vypovídají o procesu, a právě proces může komise pro posuzování pochybení skutečně hodnotit. Neexistuje žádná hranice, na kterou by bylo možné ukázat a která by oddělovala pečlivého autora od modelu.

Proč detektory označují text, který žádný model nevytvořil

Falešně pozitivní výsledky nejsou vzácnou poruchou. Přímo vyplývají z měření typičnosti. Jakýkoli text, který je skutečně předvídatelný, bude hodnocen jako předvídatelný, bez ohledu na to, kdo jej vytvořil.

Autoři, pro něž angličtina není rodným jazykem, jsou zasaženi nejvíce. Výzkumníci ze Stanfordu zjistili, že detektory nesprávně klasifikovaly velkou část esejí od nerodilých mluvčích jako strojově generované, zatímco eseje rodilých mluvčích klasifikovaly správně. Důvod je mechanický, nikoli škodlivý, autoři pracující v druhém jazyce mají tendenci spoléhat na otřelé konstrukce a běžnější slovní zásobu. To je přesně profil nízké perplexity, a proto jsou ESL writers get flagged for writing carefully.

Stejný problém způsobují i akademické konvence. Sekce metod má být formulaická. Právní psaní, technická dokumentace a klinické zprávy všechny odměňují standardní formulaci spíše než vynalézavou. Silné redigování to dále zesiluje, protože vyleštění konceptu obvykle znamená odstranění nepravidelností, které nesly váš statistický podpis.

Instituce si toho všimly. Vanderbilt deaktivoval funkci detekce AI v Turnitin místo toho, aby jednal na základě skóre, která nemohl ověřit, a jiné univerzity omezily, jak mohou být tato čísla používána v řízeních o pochybení. Berte skóre detektoru jako jeden slabý důkaz, ne jako verdikt.

Co to znamená pro vaše vlastní psaní

Praktická rada, která z mechaniky vyplývá, není nijak exotická a nic z ní neznamená podvádění systému. Záměrně střídejte délku vět, protože právě uniformita se zaznamenává. Zachovejte konkrétní detail, skutečné číslo, skutečné omezení, věc, která se pokazila v šestém týdnu. Obecná kompetence je to, co vychází jako strojově vytvořené, a konkrétnost je zároveň lepší psaní i silnější signál.

Zachovejte si také vlastní idiom. Pokud máte svůj způsob vyjadřování, ponechte ho. Pud uhladit návrh tak, aby zněl jako každý jiný text v oboru, je právě ten pud, který snižuje vaši perplexity.

Jedna věc, které se vyhnout, některé nástroje záměrně zavádějí gramatické chyby, aby zvýšily perplexity. Na metrice to funguje a je to velmi špatný nápad pro cokoli hodnoceného nebo recenzovaného, protože vyměňujete podezření za jistotu. Cílem je text, který zní jako váš, ne text, který byl záměrně poškozen. To je celý rozdíl mezi přepisem pro lidského čtenáře a rozbitím textu, aby oklamal hodnotitele.

Pokud chcete tato čísla vidět pro svůj vlastní návrh, místo abyste brali tvrzení černé skříňky za bernou minci, základní měření nejsou tajná. Bezplatné nástroje pro analýzu textu vám ukážou, kde se váš text nachází, a sami se můžete rozhodnout, zda jsou rovné pasáže stylistickým problémem, který stojí za opravu.