Používají AI detektory stále perplexity a burstiness?

Vyhledávání toho, jak GPTZero dnes detekuje text psaný AI, stále z velké části vrací dvě statistiky, perplexity a burstiness, dvojici, která učinila tento nástroj během několika týdnů od jeho spuštění v lednu 2023 známým. Vlastní dokumentace podpory GPTZero nyní uvádí něco jiného: na podzim téhož roku přestala používat obě.

Je tedy burstiness stále používána detektory AI? Ne u nástroje, který tento pojem učinil v akademickém prostředí běžně známým. Centrum podpory GPTZero výslovně uvádí, že již nepoužívá perplexity ani burstiness, protože přešlo na architekturu hlubokého učení. Turnitin, nástroj, se kterým se většina studentů skutečně setkává, nikdy ani jeden z těchto termínů jako součást své metody nezveřejnil. Tyto pojmy z konverzace nezmizely. Zmizely z produktů, které skutečně detekují.

Je burstiness stále používána detektory AI?

Ne, ne u GPTZero, a ne pod tímto názvem. Vlastní dokumentace podpory GPTZero to říká přímo: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Vlastní průvodce Turnitin popisují opět jinou metodu, založenou na bodování úseků odevzdaného textu pomocí natrénovaného klasifikátoru, a ani v této dokumentaci se neobjevuje ani jeden z těchto termínů. Dvě statistiky, které vymezily první vlnu detekce AI, nejsou tím, co dnes používají přední nástroje. To je užší tvrzení než říci, že byly odloženy stranou: vlastní vysvětlení GPTZero je stále řadí mezi sedm ukazatelů, které vstupují do jeho modelu. Přestaly být metodou, aniž přestaly být měřením, a rozdíl mezi těmito dvěma tvrzeními je z velké části jádrem této otázky.

Co se změnilo na podzim 2023

Dva pojmy nikdy nebyly nejasné. Vlastní rané vysvětlení GPTZero definovalo perplexity jako „míru toho, jak pravděpodobné by bylo, že model AI zvolí přesně stejnou sadu slov, jaká se nachází v dokumentu“, a burstiness jako „míru toho, jak moc se v celém dokumentu liší vzorce psaní a textové perplexity“, tedy statistiku na úrovni dokumentu, nikoli prostý počet délek vět. Obě definice jsou stále zveřejněny na webu GPTZero. To, co se změnilo, je, který z nich detektor skutečně používá.

„Migrated to a deep-learning based architecture“ je konkrétní tvrzení, nikoli marketingová fráze, a popisuje skutečnou změnu druhu. Skóre perplexity se vypočítává přímo ze vzorce, text se prožene referenčním jazykovým modelem, zprůměrují se logaritmické pravděpodobnosti, výsledek se umocní. Naproti tomu se trénuje klasifikátor založený na deep learning, ukážou se mu velká množství příkladů lidského a AI napsaného textu, dokud se sám nenaučí jakoukoli kombinaci rysů, která v těchto trénovacích datech odděluje obě skupiny. V druhém přístupu nikdo pravidlo ručně nepsal. Model ho najde.

Oba vyřazené pojmy mají na tomto webu samostatné vysvětlení: co perplexity ve skutečnosti měří a co burstiness ve skutečnosti měří podrobně popisují vlastní mechanismy, včetně vzorců, které za nimi stojí. Tento text se úzce soustředí na to, zda některý z nich je stále tím, co detektor dnes používá.

Co GPTZero a Turnitin dnes skutečně dokumentují

aktuální stránka technologie GPTZero, která popisuje, co je součástí produktu, uvádí, že společnost používá „end-to-end deep learning přístup, trénovaný na textových datových sadách z webu, vzdělávání a AI generovaných z řady LLMs“, v němž „klasifikační model po větách určuje pravděpodobnost a míru jistoty, že text vytvořila AI“. Perplexity ani burstiness se na této stránce nikde neobjevují, ani jako součást, ani jako starší funkce, ani v poznámce pod čarou.

Dokumentace Turnitin nebyla od počátku postavena ani kolem jednoho z těchto termínů. Její průvodce popisují odevzdání rozdělené do úseků po několika stech slovech, přičemž každý úsek je ohodnocen natrénovaným modelem a skóre úseků se zprůměrují do jediného procenta, které zobrazuje zpráva. To je řízený klasifikátor pracující s úseky textu, tedy stejná rodina metody, ke které přešel GPTZero, nikoli výpočet perplexity a nikoli výpočet burstiness pod jiným názvem.

Posun je nejsnáze vidět vedle sebe.

	Co popisovaly rané výklady (2023)	Co popisuje současná dokumentace
GPTZero	Perplexity a burstiness, hodnocené vůči referenčnímu modelu	Klasifikátor hlubokého učení po větách, který vrací pravděpodobnost a skóre jistoty
Turnitin	Nikdy nebylo zveřejněno, tyto termíny se v materiálech Turnitin v žádném okamžiku neobjevují	Úseky po několika stech slovech hodnocené natrénovaným klasifikátorem, zprůměrované do jednoho procenta

Proč tyto pojmy stále vysvětlují zjistitelnost

Nic z toho neznamená, že perplexity a burstiness jsou nesprávné, pouze že jsou jako popis současného mechanismu zastaralé. Oba pojmy vždy popisovaly něco skutečného: Text generovaný vzorkováním směrem k nejpravděpodobnějším pokračováním vlastního modelu bývá předvídatelnější, slovo po slově, než text, který člověk píše od nuly, a má tendenci se méně měnit z jedné věty na druhou. Základní pravidelnost se nezměnila jen proto, že dodavatel změnil architekturu svého detektoru. Změnilo se to, jak ji detektor vyhledává.

Trénovaný klasifikátor není výslovně vyzván, aby hledal perplexitu nebo burstiness. Místo toho je trénován na stejném základním rozlišení mezi lidským a strojovým textem, které měly tyto dvě statistiky zachytit. A zdá se vysoce nepravděpodobné, že by klasifikátor trénovaný k rozlišení těchto dvou skupin neskončil tím, že se zaměří právě na tuto pravidelnost, jednu z nejspolehlivějších odlišností mezi nimi. Jde o odvození toho, proč klasifikátor pravděpodobně funguje, nikoli o tvrzení o jeho zveřejněném seznamu příznaků, a tyto dvě věci je třeba držet odděleně.

Nezávislý výzkum podporuje myšlenku, že základní statistika má stále význam, a to i mimo produkt jediného dodavatele. DetectGPT, akademická metoda zero-shot publikovaná v roce 2023, zkoumá blízkého příbuzného perplexity, tedy to, jak strmě se funkce log-pravděpodobnosti modelu zakřivuje kolem pasáže, a dosahuje 0.95 AUROC na jednom benchmarku oproti 0.81 u nejlepšího předchozího zero-shot baseline, aniž by vůbec trénovala klasifikátor na označených příkladech. Jádrová myšlenka, že strojově generovaný text leží ve statisticky odlišném regionu vlastního pravděpodobnostního prostoru modelu, je stále aktivním předmětem výzkumu. Prostě to není to, co GPTZero dodává uživatelům.

Proč to stále tolik lidí na internetu chápe špatně

Většina zveřejněných vysvětlení toho, jak funguje detekce AI, byla napsána během spuštění GPTZero v lednu 2023 nebo krátce po něm, kdy perplexita a burstiness byly jediným veřejným rámcem, který sama společnost nabízela. Tyto původní vysvětlující stránky jsou dodnes dostupné. Oznámení o ukončení z podzimu 2023 je na samostatné stránce podpory, nikoli začleněné do nich, takže autor, který si přečetl první stránku a přestal pátrat, by neměl důvod vědět, že se metoda o méně než rok později změnila.

Recenze detektoru od třetí strany, která koluje v roce 2026, tvrdí, že GPTZero stále používá perplexity a burstiness jako jednu vrstvu mezi několika v rámci většího systému. Toto tvrzení je v přímém rozporu s aktuální vlastní technologickou stránkou GPTZero i s jeho vlastní dokumentací podpory a nic na vlastním webu GPTZero je nepotvrzuje. Společnost, která popisuje svůj vlastní dodaný produkt, má stále přednost před nepodloženým tvrzením třetí strany o témže produktu, i když i dokumentace dodavatele může být chybná. Tento text se řídí vlastními stránkami GPTZero, nikoli recenzí, která opakuje starší verzi příběhu.

Co to znamená pro to, jak píšete

Praktické doporučení postavené kolem burstiness se nestalo zbytečným jen proto, že toto slovo zmizelo z vlastních materiálů GPTZero. Záměrné střídání délky vět je stále, mechanicky vzato, argumentem proti stejné statistické uniformitě, kterou je klasifikátor velmi pravděpodobně trénován rozpoznávat, ať už tento signál interně nazývá jakkoli. Základní doporučení přežilo změnu architektury dodavatele, i když slovník, který je popisuje, nikoli.

Nic z toho nevyžaduje, abyste někomu věřili na slovo, včetně tohoto příspěvku. Bezplatný perplexity checker od TextPulse a širší sbírka bezplatných nástrojů vám umožní podívat se, kde se váš vlastní návrh nachází, dříve než to kdy udělá detektor jakékoli generace.

Pokud vás odpověď vrátí k vlastnímu psaní, praktické navazující kroky jsou záměrně zvyšovat burstiness a střídat délku vět v rámci akademického odstavce, což je tatáž úloha popsaná bez metriky.

Mechanismus, který detektor používá, se bude dál měnit, GPTZero jej už jednou změnil. Co zůstává konstantní, je skutečná otázka, plně rozebraná v průvodci tohoto webu, jak AI detektory skutečně fungují: zda je předvídatelné psaní totéž co psaní vytvořené strojem, bez ohledu na to, která formule je v daném roce zrovna módní.