Falešně pozitivní výsledky detektoru AI: proč je lidské psaní označováno

V roce 1982 publikoval New England Journal of Medicine článek o cytomegaloviru u pacientů po transplantaci kostní dřeně. Prošel recenzním řízením a čtyři desetiletí ležel v archivu. V roce 2023 jej výzkumníci vložili do detektoru psaní pomocí AI, který OpenAI zveřejnil, a nástroj jej ohodnotil jako 99.96 percent pravděpodobně generovaný AI, třicet sedm let předtím, než model, jímž měl být údajně napsán, vůbec existoval. To je falešně pozitivní nález detektoru AI v jeho nejčistší podobě, dokument označený jako strojově napsaný, který strojově napsaný být nemůže.

Tento příklad je extrémní pouze svým načasováním. Základní vzorec, kdy detektor čte formulační, předvídatelnou prózu jako strojově vytvořenou bez ohledu na to, kdo ji napsal nebo kdy, se objevuje neustále v běžných odevzdáních, esejích, motivačních dopisech, laboratorních zprávách, osobních prohlášeních. Tento text se zabývá tím, co způsobuje falešně pozitivní nález, které druhy psaní jsou nejvíce vystaveny riziku a proč jeden označený výsledek není tím důkazem, za který se vydává.

Co je falešně pozitivní nález detektoru AI?

Falešně pozitivní nález detektoru AI je text napsaný člověkem, který detekční nástroj ohodnotí jako generovaný AI. Neměří se nic o procesu psaní, poctivosti ani dovednosti autora. Nástroj porovnává statistický tvar věty, tedy jak předvídatelné jsou volby slov a struktura, s tvarem, který se naučil spojovat se strojovým výstupem.

Dodavatelé uvádějí míru falešně pozitivních nálezů jako jediné malé procento, obvykle pod jedním nebo dvěma procenty. Toto číslo popisuje kontrolovaný test na benchmarku, který dodavatel vytvořil, nikoli záruku pro jakýkoli jednotlivý dokument. Širší otázka zda jsou detektory AI vůbec přesné už byla testována nezávisle a výsledky vycházejí zcela jinde, někdy mnohem výše než jakékoli číslo uváděné dodavatelem. Tento text zůstává užší, tedy které druhy psaní toto riziko zvyšují a co může a nemůže jeden označený výsledek komukoli říci.

Které rysy psaní způsobují, že lidský text působí strojově vytvořeně

Čtyři druhy běžného psaní nesou nejvyšší riziko a žádný z nich nezahrnuje, že by člověk dělal něco špatně. Krátké dokumenty, silně formulaické psaní, citovaný nebo šablonovitý materiál a psaní, které bylo důkladně korekturováno, mají všechny tendenci vycházet jako předvídatelnější než volně komponovaná próza, což je jediná vlastnost, kterou ve skutečnosti měří každý detektor. Bezplatný checker burstiness měří tutéž variaci přímo, což je rychlejší způsob, jak tento vzorec vidět, než číst jeho popis.

Některé žánry jsou formulaické záměrně. Sekce metod, laboratorní zpráva, standardní motivační dopis a literární přehled všechny zvýhodňují konvenční obrat před vynalézavým, protože právě konvence činí dokument použitelným pro jeho čtenáře. Výzkumníci to přímo otestovali na skutečném psaní, když nechali 14,400 abstraktů z časopisů publikovaných mezi lety 1980 a 2023, tedy roky předtím, než existoval jakýkoli velký jazykový model, projít veřejně dostupným detektorem. Až 8 procent bylo označeno jako generované AI bez ohledu na rok publikace a abstrakty z New England Journal of Medicine byly označeny v 10.24 procenta, což byla nejvyšší míra falešně pozitivních výsledků z pěti testovaných časopisů.

Test nemohl detekovat nic o ChatGPT, protože ChatGPT po většinu let, z nichž vzorkoval, neexistoval. Detekoval žánr. Formálněji, jak by to popsala statistická analýza problému detekce z roku 2026, neexistuje způsob, jak vytvořit detektor, který by rozlišil mezi větou, která je předvídatelná proto, že byla napsána softwarem, a větou, která je předvídatelná proto, že je to druh věci, kterou v daném žánru píšete. Zvenčí vypadají naprosto stejně.

Těžká redakční úprava tlačí podobným směrem. První verze nese specifické nepravidelnosti autora, neobvyklé pořadí slov, větu, která se táhne příliš dlouho, protože se táhla i myšlenka. Důkladná korektura, zejména pokud proběhne ještě v jiném nástroji, má tendenci právě tyto nepravidelnosti vyhlazovat. Dosud největší nezávislé srovnání detekčních nástrojů testovalo 14 z nich a zjistilo, že přesnost u každého nástroje dále klesla, jakmile byl vzorový text parafrázován nebo strojově přeložen.

Vlastnost psaní	Proč snižuje zdánlivou nepředvídatelnost dokumentu	Co ukazují důkazy
Krátké odevzdávané texty	Méně textu ponechává méně prostoru pro přirozenou variaci, která odlišuje lidský rytmus od strojového rytmu	Skóre u krátkých dokumentů kolísají více pod vlivem několika neobvyklých vět
Formulové nebo oborově specifické psaní	Konvence žánru zvýhodňuje očekávané spojení před vynalézavým	14,400 abstraktů z časopisů před ChatGPT (1980 až 2023) stále vyvolalo až 8% falešně pozitivních výsledků, abstrakty jednoho časopisu dosáhly 10.24%
Silně upravené nebo parafrázované návrhy	Lešticí průchod vyhlazuje individuální nepravidelnosti, které detektor čte jako lidské	Nezávislé srovnání 14 nástrojů zjistilo, že přesnost po parafrázování nebo strojovém překladu dále klesla
Citovaný nebo šablonový materiál	Citovaný úryvek nese statistický podpis svého zdroje, nikoli autora, který jej cituje	Detektory, které nevylučují citace, hodnotí okolní dokument podle vypůjčeného textu

Proč se publikované míry a míry v reálném světě neshodují

Každý hlavní detektor zveřejňuje míru falešně pozitivních výsledků blízkou jednomu procentu nebo nižší. Nezávislé testy stejných nástrojů, provedené na různých dokumentech za různých podmínek, běžně uvádějí něco mnohem vyššího, někdy i desetinásobně nebo více. Obě čísla mohou být přesná a přesto popisovat téměř nic společného, protože neměří totéž.

Turnitin je užitečný příklad právě proto, že zveřejňuje více podrobností než většina konkurentů: míru falešně pozitivních výsledků pod 1 procento na úrovni dokumentu, pokud je více než 20 procent odevzdané práce označeno jako napsané AI, spolu s prohlášením společnosti, že výsledky v reálném provozu se liší od jejích vlastních laboratorních testů. Washington Post v roce 2023 provedl 16 skutečných dokumentů stejným nástrojem a zjistil, že více než polovina se vrátila alespoň částečně chybně identifikovaná, včetně jednoho zcela lidsky napsaného eseje označeného jako částečně generovaný AI. Ani jedno číslo není vymyšlené. Pocházejí z různých vzorků, různých prahů a různých definic toho, co se počítá jako označení.

Stejná mezera se objevuje napříč odvětvím, nejen u jedné společnosti. Toto srovnání 14 nástrojů ukázalo, že všechny zaostaly celkově za 80 procenty přesnosti a že šest ze čtrnácti vyprodukovalo falešně pozitivní výsledek na neupraveném lidském textu ještě předtím, než do hry vstoupilo parafrázování. Zveřejněné číslo popisuje benchmark. Nepopisuje dokument, který právě leží před profesorem.

Proč jisté skóre není jisté obvinění

Míra falešně pozitivních výsledků zní, jako by odkazovala na pravděpodobnost, že jeden student označený jako problém je nevinný. Ale ne. Popisuje, jak test funguje pro všechny, kdo jej absolvují. A to jsou různé otázky s různými odpověďmi, stejně jako u každého screeningového testu v medicíně nebo bezpečnosti.

Statistická analýza z března 2026 od výzkumníka z Griffith University výslovně ukazuje základní matematiku. Pokud se detekce AI chápe jako test aplikovaný na populaci studentských autorů, nikoli na jeden izolovaný dokument, objeví se kompromis, kdykoli nějaká část této populace píše způsobem, který se přirozeně překrývá s typickým výstupem AI, blízko žánrové konvence, blízko rozsahu studenta píšícího v druhém jazyce, každý detektor se skutečnou schopností zachytit práci napsanou AI musí u některé části tohoto překrývajícího se podílu selhat. To není tvrzení o tom, že by konkrétní detektor byl špatně navržen. Je to vlastnost testování rozmanité populace pomocí jediného dokumentu a bez dalších důkazů.

Vlastní názorný příklad v článku ukazuje, jak velký je tento problém. Předpokládejme, že 10 percent studentské populace píše dostatečně podobně typickému výstupu AI a že detektor je nastaven tak, aby zachytil 80 percent skutečně AI napsané práce. Matematika pak vyžaduje průměrnou míru falešně pozitivních výsledků alespoň 7.5 percent napříč touto populací. To není chyba v konstrukci detektoru, je to přímý důsledek toho, jak silně se psaní této skupiny statisticky překrývá s tím, co je detekováno.

Převedeno na univerzitu s 10,000 studenty, už jen tato dolní hranice znamená přibližně 750 falešných označení napříč populací, což je matematický důsledek testování rozmanité populace proti jedinému dokumentu bez jakýchkoli dalších důkazů, které by bylo možné zvážit. Autor článku výslovně uvádí, že tyto konkrétní hodnoty jsou ilustrativní, nikoli naměřené na skutečné instituci. Příklad ukazuje podobu problému, nikoli konkrétní předpověď pro kterýkoli jednotlivý kampus.

Nic z toho neznamená, že označené skóre je bezvýznamné. Znamená to, že skóre je jeden slabý signál na úrovni populace, od něhož se žádá, aby odpověděl na otázku o jediném jednotlivci, což je nesoulad, který sám o sobě nedokáže plně odstranit žádná míra úprav ze strany dodavatele. Zodpovědné čtení chápe toto číslo jako podnět k získání lepších důkazů, konceptů, historie verzí, běžné papírové stopy člověka, který skutečně něco psal. TextPulse's free tools umožňují autorovi zkontrolovat, kde se koncept v tuto chvíli nachází podle těchto stejných měření, ještě než to udělá kdokoli jiný, což je jiné využití této technologie než snaha obejít konkrétní detektor.

Kteří autoři čelí nejvyššímu riziku

Výzkum ukazuje dvě skupiny, které vyčnívají více než kterékoli jiné, lidé, kteří píší v druhém jazyce, a lidé, kteří jsou přirozeně velmi strukturovaní nebo opakující se autoři z důvodů nesouvisejících s tím, jak napsali svou esej. Oba tyto typy autorů se objevují na stejném statistickém podpisu, který je detektor navržen k zachycení.

Největší doložené riziko nesou nerodilí mluvčí angličtiny. Nezávislé testování opakovaně zjistilo, že detektory chybně vyhodnocují plynulý akademický text psaný v druhém jazyce jako strojově generovaný mnohem častěji než text psaný rodilými mluvčími. Stránka TextPulse pro akademické autory ESL podrobněji vysvětluje mechanismus tohoto rizika, včetně toho, které vzorce formulace za ním stojí.

Druhá, méně diskutovaná skupina čelí souvisejícímu problému. Výzkumníci porovnali přibližně 60,000 příspěvků na Redditu, rozdělených mezi podmnožinu označenou jako pravděpodobně napsanou autistickými autory a obecný vzorek, a oba soubory prošli detektorem založeným na GPT-2. Obě skupiny zůstaly celkově pod 2 percenty označených textů, ale pravděpodobně autistická podmnožina byla označena výrazně častěji než obecný vzorek. Psaní, které se přiklání k doslovné, opakující se, těsně strukturované formulaci, což je doložený rys některých autistických komunikačních stylů, vytváří právě ten text s nízkou variabilitou, který je detektor navržen k zachycení.

Dva dodavatelé zveřejňují dostatek informací, aby bylo možné toto tvrzení ověřit. vlastní míra falešně pozitivních výsledků Turnitin je uvedena samostatně a přesnost ZeroGPT je posouzena na vlastní stránce. Na koho tyto chyby dopadají nejtvrději, je opět samostatná otázka a proč jsou nerodilí autoři angličtiny označováni častěji má vlastní odpověď.

Nic z toho se v dohledné době pravděpodobně nestane jednodušším. Detektory budou dál zlepšovat schopnost zachycovat skutečně strojově psaný text a populační rozmanitost bude dál vytvářet určitou míru falešných obvinění, kterou samotné lepší technické řešení nemůže zcela odstranit. U některých institucí už probíhá užitečnější posun, totiž chápat skóre jako začátek rozhovoru, nikoli jeho konec, a před důvěrou v to, že se vztahuje na dokument před nimi, se ptát, na jaké populaci byla zveřejněná míra skutečně testována.