Jak funguje GPTZero

Zadejte do vyhledávacího pole „how gptzero works“ a většina výsledků stále popisuje perplexity a burstiness, tedy dvě statistiky, které proslavil sám zakladatel v prvních týdnech po vydání ChatGPT. Tento popis byl přesný v lednu 2023. Od podzimu téhož roku už přesný není, protože podle vlastní dokumentace GPTZero společnost tuto metodu nahradila něčím zcela jiným. Rozdíl mezi tím, co nástroj dělal při spuštění, a tím, co dělá nyní, je tak velký, že většina vysvětlení, která kolují dodnes, popisuje produkt, který už neexistuje.

Dnes GPTZero spouští klasifikátor po jednotlivých větách nad rozsáhlým smíšeným korpusem textů vytvořených lidmi a textů vytvořených AI, nikoli výpočet perplexity. Současný GPTZero stále poskytuje jedno hlavní číslo, ale aritmetika je jiná. Zvýraznění na úrovni vět pod tímto hlavním číslem má také jiný význam než v roce 2023. Obě verze příběhu stojí za to znát, tu, která proslavila tyto pojmy, i tu, která skutečně funguje dnes.

Historie: Jak perplexity a burstiness proslavily GPTZero

Dne 2. ledna 2023 zveřejnil tehdejší student Princetonu Edward Tian veřejnou ukázku GPTZero, jen několik týdnů po vydání ChatGPT. Jeho původní vysvětlující stránka popisuje, jak použil dvě statistiky převzaté z jazykového modelování k odhalení, kdy jazykový model něco napsal. Perplexity je skóre toho, jak moc byl referenční model překvapen volbou slov v textu. Burstiness je název, který GPTZero používá pro to, jak moc se toto překvapení v průběhu dokumentu mění. Právě tyto vysvětlující stránky jsou důvodem, proč se obě slova vůbec dostala do běžné konverzace o psaní pomocí AI. Většina lidí, kteří dnes umějí definovat perplexity nebo burstiness, se tyto pojmy naučila od GPTZero, ne z učebnice.

Samotný mechanismus se dal popsat poměrně jednoduše. Projděte pasáž referenčním jazykovým modelem a próza, kterou model vyhodnotí jako vysoce předvídatelnou, s nízkou perplexitou, působí jako typická pro stroj, protože generování má tendenci upřednostňovat pravděpodobné další slovo před překvapivým. Vlastní vyřazená dokumentace GPTZero dokonce zveřejnila orientační pravidlo, že skóre perplexity nad 85 působí spíše jako lidské než strojové. Tato hranice pocházela od jednoho dodavatele, pro jeden model, v jednom časovém okamžiku, a samotný GPTZero se k ní už nehlásí.

Jak GPTZero funguje nyní, klasifikátor na úrovni vět

Podpůrné centrum GPTZero výslovně uvádí, že společnost přestala používat perplexitu a burstiness pro detekci od podzimu 2023, po přechodu na architekturu hlubokého učení. Její aktuální stránka o technologii, zkontrolovaná pro tento text, potvrzuje, že změna je úplná, popisuje end-to-end přístup hlubokého učení trénovaný na textech z webu, vzdělávání a řady jazykových modelů, který provozuje klasifikační model po jednotlivých větách a vrací pravděpodobnost a skóre jistoty. Perplexita ani burstiness se na této stránce nikde neobjevují.

Od té doby přidala také obrannou vrstvu, Paraphraser Shield, navrženou k zachycení textu AI, který prošel nástrojem pro přepisování, aby se vyhnul detekci. Můžete vložit text, nahrát dokumenty Word, PDF a obrazové soubory a až padesát souborů najednou. Nic z této infrastruktury nijak nesouvisí s počítáním toho, jak často by referenční model uhodl stejné slovo.

Co vám ve skutečnosti ukazuje zpráva GPTZero

Výsledek GPTZero obsahuje tři části, klasifikaci jako AI, člověk nebo smíšené, procento vyjadřující pravděpodobnost modelu, že dokument byl napsán AI, a štítek jistoty popisující, jak spolehlivá je daná predikce. Na štítku záleží víc, než by se mohlo zdát. GPTZero spojuje označení "highly confident" s chybovostí pod 2 percent a "low confidence" s chybovostí 14 percent nebo vyšší, což je dost široké rozpětí na to, aby stejné hlavní procento mohlo mít v jednotlivých zprávách velmi odlišnou váhu.

Placené skeny přidávají zvýrazňování na úrovni vět, a je důležité je správně číst. GPTZero popisuje zvýrazněné věty jako ty, které neúměrně ovlivňují celkové skóre, nikoli jako seznam obvinění proti jednotlivým řádkům. Věta může zůstat nezvýrazněná a přesto mohla utvářet výsledek, protože klasifikátor čte dokument jako celek, nikoli tak, že by hlasoval po jednotlivých větách.

Prvek reportu	Co vám říká
Klasifikace	Jedno označení: AI, člověk nebo smíšené
Skóre pravděpodobnosti AI	Procento odrážející, jak pravděpodobně model usuzuje, že dokument byl napsán AI
Označení důvěry	Rozsah od velmi vysoké důvěry, pod 2 procentní chybovostí, po nízkou důvěru, 14 procent nebo více
Zvýrazňování vět	Označuje věty, které na Advanced Scan přispívají ke skóre nejvíce, nikoli každou větu s ním spojenou

Žádný z těchto prvků reportu v jejich současné podobě neexistoval v době, kdy bylo vysvětlení perplexity a burstiness ještě veřejným popisem GPTZero o sobě samém. Rozhraní se změnilo spolu s metodou.

Proč se popis perplexity a burstiness stále šíří

Původní vysvětlení GPTZero je stále online, stále indexované a stále patří k přehlednějším obecným popisům toho, jak jako koncepty fungují perplexity a burstiness. Vyhledávače a další weby je nadále citují a některé odkazují na široce sdílenou recenzi z roku 2026, která tvrdí, že nástroj stále potichu provozuje vrstvu perplexity a burstiness vedle svého klasifikátoru. Současné stránky GPTZero, stránka o technologii i oba podpůrné články, tvrdí opak, tyto termíny byly vyřazeny, nikoli pouze skryty v pozadí. Stránka popisující koncept v abstraktní rovině není totéž co stránka popisující současnou metodu tohoto nástroje a právě považování těchto dvou věcí za zaměnitelné je hlavním důvodem, proč tento zmatek přetrval tři roky po svém datu expirace.

To má význam i mimo drobnosti. Studentovi nebo kolegovi, který má snížit perplexity nebo rozprostřít délku vět výslovně proto, aby porazil GPTZero, se předává rada mířící na verzi produktu, která přestala fungovat v roce 2023. To, co ovlivňuje klasifikátor vět, je související, ale odlišná otázka, blíže k širšímu výkladu jak AI detektory ve skutečnosti fungují než k oběma statistikám samostatně. GPTZero nepřestalo tyto ukazatele měřit, podle vlastního tvrzení patří mezi sedm indikátorů, které napájejí současný model, ale přestaly být tím, co rozhoduje o odpovědi.

Co GPTZero tvrdí, že nemůže dělat

GPTZero uvádí přesnost, která je zhruba tak vysoká, jakou je dodavatel pravděpodobně ochoten zveřejnit o vlastním produktu: 96.5 percent accuracy u smíšených dokumentů, celkovou míru falešně pozitivních výsledků, kterou společnost omezuje na 1 percent, a 1.1 percent konkrétně u TOEFL esejí, což je běžná náhrada za psaní v angličtině u nerodilých mluvčích. Tato čísla pocházejí z vlastního hodnocení GPTZero, na stránce, která je uvádí, není citována žádná nezávislá replikace.

Vlastní stránka omezení GPTZero je konkrétnější než marketingové údaje. Společnost uvádí, že přesnost se zlepšuje, když je předloženo více textu, a klesá na úrovni věty a odstavce ve srovnání s celým dokumentem. Uvádí, že její trénovací data jsou převážně dospělá anglická próza, takže text, který se od tohoto vzorce odchyluje, je obtížnější spolehlivě klasifikovat. Uvádí, že klasifikátor není trénován na zachycení AI textu, který byl po vygenerování výrazně upraven. A výslovně uvádí, že i jiné strojově generované nebo vysoce procedurální psaní, nejen výstup chatbotu, může být označeno stejným způsobem.

Nic z toho není důvod považovat číslo GPTZero za nepochybné a není to ani jediný detektor, který stojí za to chápat na jeho vlastních podmínkách. Čtenáři, které zajímá, na co přesně se takový klasifikátor skutečně zaměřuje, si mohou podobný vzorec vyzkoušet sami pomocí bezplatného kontroloru perplexity nebo bezplatného kontroloru burstiness, což jsou dvě části širší sbírky bezplatných nástrojů pokrývající další statistické vrstvy, z nichž se taková zpráva opírá.

Dvě hlavní statistiky GPTZero mají vlastní stránky: co perplexity měří v detekci AI a aritmetika pravděpodobnosti tokenů, která vytváří obě čísla.

Nástroj, který je ochoten takto přesně pojmenovat své vlastní slepé skvrny, si zaslouží větší důvěru než ten, který tvrdí, že žádné nemá, a další nevysvětlené procento ve zprávě je dobrým místem, kde začít zjišťovat, jaký typ nástroje ho vytvořil.