Je ZeroGPT přesný?

Podle aktuálního tvrzení společnosti je přesnost ZeroGPT míra „směřující k >98% v interních evaluacích“, což je údaj, o němž společnost přiznává, že pochází z testování, které provedla sama na sobě, nikoli z externí laboratoře. Toto jediné upřesnění, interní, je z velké části vše, co čtenář potřebuje, než začne považovat jakékoli procento u bezplatného detektoru za uzavřený fakt.

ZeroGPT je jedním z nejpoužívanějších bezplatných AI detektorů, z velké části proto, že nic nestojí a vrací odpověď během několika sekund. Stejná mezera mezi tvrzeními dodavatelů a nezávislým testováním, která se obecně objevuje u AI detektorů se objevuje i zde. Následující text uvádí, co společnost v současnosti tvrdí o své vlastní přesnosti a metodě, co tato metoda zřejmě ve skutečnosti měří, a proč má nástroj tohoto typu tendenci selhávat specifickými, předvídatelnými způsoby u druhu psaní, který akademičtí čtenáři předkládají.

Co je přesnost ZeroGPT podle společnosti?

Vlastní FAQ ZeroGPT uvádí, že společnost „poskytuje špičkovou přesnost v oboru a je průběžně vylepšována, aby si udržela výkon na úrovni nejlepší ve své třídě, směřující k >98% v interních evaluacích“. Jde o tvrzení dodavatele o vlastním produktu, testovaném samotnou společností, formulované s reálným zdržením přímo ve znění: „směřující k“ určitému číslu není totéž co tvrzení, že bylo dosaženo a udrženo, a „interní evaluace“ znamená, že žádná externí strana nezveřejnila srovnatelné číslo. Na stránce není uvedeno, jak velká byla tato interní testovací sada, co obsahovala ani kdo mimo společnost metodiku posoudil.

Společnost doporučuje alespoň 150 až 200 slov textu pro stabilní výsledek, přičemž 500 až 1,000 slov nebo více dále zlepšuje spolehlivost, a přímo uvádí, že velmi krátké nebo silně upravené úryvky „carry fewer signals.“ Toto jediné sdělení je důležitější než hlavní procentuální údaj. Jde o vlastní přiznání poskytovatele, že skóre je důvěryhodné jen natolik, nakolik je vstup dlouhý a nezměněný, což podání v reálném provozu ne vždy splňuje.

Jakou metodu ZeroGPT vlastně používá?

ZeroGPT nazývá svůj základní systém DeepAnalyse, který na svých vlastních stránkách popisuje jako „multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives“, jež čte text „from the macro level to the micro one.“ Jeho FAQ pod značkou popisuje něco konkrétnějšího: analýzu „token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets.“

Burstiness a entropy nejsou pro ZeroGPT jedinečné. Jsou to tytéž statistické vlastnosti, tedy míra toho, jak moc se liší délka a rytmus vět, a jak předvídatelné je každé další slovo, které vlastní vysvětlení TextPulse k how AI detectors work uvádí jako obecný mechanismus za celou touto kategorií nástrojů. free perplexity checker ukazuje tutéž základní hodnotu přímo, aniž by po autorovi nejprve žádal důvěru v procentuální údaj jediného poskytovatele.

Proč akademické psaní tyto detektory mate?

FAQ ZeroGPT to vyjadřuje takto: „highly polished, formulaic, or low-entropy writing can resemble AI.“ Akademický projev je navržen pro vysoce uhlazené, formulaické, nízkoentropické psaní. Sekce metod, literární přehled i formální průvodní dopis odměňují konvenční obrat spíše než vynalézavý, protože právě konvence činí dokument pro jeho čtenáře použitelným, a tato konvence je přesně ten nízkoentropický vzorec, který vlastní sdělení poskytovatele označuje za riziko.

Nezávislé, recenzované testování ukazuje, proč tento způsob selhání dopadá na některé autory tvrději než na jiné. Studie Stanfordu z roku 2023 spustila sedm široce používaných detektorů, mezi nimi i ZeroGPT, na 91 skutečných esejích TOEFL napsaných nerodilými mluvčími angličtiny a na 88 esejích napsaných žáky osmého ročníku v USA. ZeroGPT označil 48 procent esejí TOEFL jako vygenerované AI, oproti 0 procentům esejí žáků osmého ročníku, tedy stejný směr chyby, který ukázal každý detektor v této studii, jen v jiné míře.

Na této mezeře není nic jedinečného pro ZeroGPT a nic z toho nepředstavuje novou informaci. Jde o tentýž vzorec zaujatosti vůči nerodilým autorům, který je doložen napříč odvětvím detektorů a podrobněji rozebrán na stránce TextPulse o tom, proč jsou detektory AI zaujaté vůči nerodilým mluvčím. To, co tato mezera konkrétně ukazuje o bezplatném spotřebitelském nástroji, je, že vlastní zveřejněné omezení dodavatele, podle něhož nízkoentropické psaní působí strojově, není hypotetické. Recenzovaný test zachytil, že se to děje právě u tohoto produktu, a to roky předtím, než současné FAQ společnosti pojmenovalo tento mechanismus vlastními slovy.

Může skóre bezplatného detektoru něco prokázat o jednom dokumentu?

Samo o sobě ne. Procento ZeroGPT není důkazem ničeho o konkrétním dokumentu, ani v jednom směru. Jde o odhad jednoho modelu, vytvořený na základě interního testování, které společnost nezveřejnila ve formě, již by mohl kdokoli mimo společnost ověřit, a aplikovaný na text, jehož délka, historie úprav i žánr mění způsob čtení tak, jak to už uznává vlastní FAQ dodavatele. Považovat jediné bezplatné skóre za verdikt vyžaduje od tohoto skóre víc, než pro něj tvrdí společnost, která je vydává.

To, k čemu je skóre skutečně užitečné, je užší a všednější, jde o rychlý, bezplatný přehled toho, kde se návrh právě nachází na stejném typu statistického měření, které provádí i placený institucionální nástroj, dříve než jej uvidí kdokoli další. Bezplatné nástroje TextPulse pokrývají tutéž oblast přímo, aniž by po autorovi žádaly, aby hádal, kterému z několika skóre bezplatných detektorů má nejprve důvěřovat.

Údaje o přesnosti zakrývají, na koho dopadají chyby a co je spouští. Vědět, kdy použít a, an a the, odstraňuje jeden z vzorců, který vyvolává označení, a co false positive ve skutečnosti znamená, je vyloženo samostatně.

Nic z toho nedělá číslo ZeroGPT bezvýznamným a nic z toho nedělá toto číslo samo o sobě dostačujícím. Skóre je počáteční odhad, vytvořený metodou, kterou společnost popisuje jen v obrysech a neotevřela ji externímu testování, u textu, jehož samotný žánr může výsledek posunout ještě předtím, než kdokoli zúčastněný udělal cokoli špatně. Dvě slova, která na té stránce FAQ nesou nejvíce informací, nejsou procento. Jsou to opatrné formulace hned vedle něj: internal a pushing toward. Bezplatné skóre je výchozí bod pro rozhovor o návrhu, ne závěrečný argument v něm.

Co zjistil náš vlastní výzkum

Ve studii shody detektorů od TextPulse Research hodnotilo devět komerčních AI detektorů stejných 90 akademických textů. Jedním z nich byl hybridní text o 455 slovech: lidsky psaný začátek a závěr kolem AI generované střední části o 168 slovech. ZeroGPT ohodnotil tento text na 7.6% AI, zatímco verdikty ostatních nástrojů nad stejnými slovy sahaly od 0% do 95.7% AI. Celá studie, korpus i matice skóre všech nástrojů jsou volně dostupné na TextPulse Research.