Proč je text AI detekován? Skutečné důvody

Pokud požádáte jazykový model, aby doplnil větu „The weather today is,“ nebude se snažit vybrat barvu jako „cerulean“ nebo „apocalyptic.“ Místo toho se bude snažit říci „sunny,“ „cloudy,“ nebo „nice,“ protože právě tato slova po této frázi následovala v tom, na čem byl model nejčastěji trénován. Software, který vybírá další slovo ve větě, byl navržen tak, aby upřednostňoval právě tento typ odpovědi.

Proč je text od AI detekován? Protože stejná preference, která vybírá „sunny“ před „cerulean“, se táhne celým dokumentem, slovo po slově, a výsledek se pohybuje v užším pásmu možných způsobů psaní, než v jakém se skutečně pohybuje člověk. Detektor nemusí zachytit lež. Stačí mu všimnout si, že se úryvek stále vrací do tohoto úzkého pásma.

Nic z toho, co následuje, nepotřebuje vzorec. Mechanika spočívá v jedné myšlence, opakované ve třech různých měřítkách, volba slov, stavba vět a konkrétní detail, po kterém autor sáhne bez přemýšlení. Každé z těchto měřítek vstupuje do širší otázky jak AI detektory ve skutečnosti fungují, a každé je snazší vidět, jakmile je pojmenována základní příčina.

Proč je text od AI detekován? Stručná odpověď

Text od AI je detekován proto, že dekódovací proces, který převádí predikce modelu do hotových vět, je konstruován tak, aby v každém kroku upřednostňoval pravděpodobná slova, a když se to důsledně děje po tisíce slov za sebou, vzniká psaní, které zabírá užší výsek jazyka, než obvykle zabírá člověk. Statistický nástroj dokáže tuto úzkost odhalit, i když je každá věta gramaticky správná a fakticky přesná.

Z této jediné příčiny vyplývají tři příznaky. Slovní zásoba se zužuje směrem k nejbezpečnějšímu běžnému slovu. Stavba vět se zužuje směrem k několika preferovaným podobám. A konkrétní, mírně nepravděpodobná volba, kterou člověk učiní téměř reflexivně, zvláštní slovo, vsuvka, detail, jehož přidání nic nestojí a jehož předpovězení stojí vše, se obvykle vůbec neobjevuje.

Jak jazykový model vybírá své další slovo

Pokud by byl jazykový model ponechán sám sobě, jednoduše by uvedl svůj úplný seřazený seznam možných dalších slov a nechal by něco jiného, aby vybralo. V praxi tuto volbu automaticky provádí dekódovací strategie, slovo po slově, a to, která strategie právě běží, mění podobu výstupu, i když se samotný model nikdy nezmění.

Chamtivé dekódování vždy vybírá jediné nejpravděpodobnější slovo. V článku, který představil nucleus sampling jako řešení, Ari Holtzman a spoluautoři poznamenali, že dodržování této strategie vede k textu, který je podle jejich vlastních slov „mdlý a podivně repetitivní“. Beam search, který sleduje několik pravděpodobných pokračování najednou, než se ustálí na jednom, naráží na podobnou verzi téhož problému.

Vzorkovací strategie znovu zavádějí určitou náhodnost, ale řízeným způsobem. Teplota upravuje, jak ostře model upřednostňuje své vlastní nejvyšší volby před tím, než je vybráno slovo. Nucleus sampling, někdy nazývaný top-p, ořezává rozdělení na nejmenší množinu slov, jejichž souhrnná pravděpodobnost překročí práh, a vybírá pouze z této množiny, která je v původním článku popsána jako vzorkování z dynamického jádra rozdělení namísto z jeho nespolehlivého ocasu.

I nejméně deterministické z těchto nastavení stále vybírá z užšího seznamu vytvořeného kolem toho, co model už považuje za pravděpodobné. Lidské psaní nikdy nevznikalo tak, že by se seřadila slovní zásoba a vybíralo se z jejích nejvýše postavených položek, takže se neustále dostává za hranice tohoto užšího seznamu. Význam někdy sídlí ve slově, které na seznamu nikdy nebylo.

Plochost slovní zásoby, méně slov, bezpečnější slova

Plochost slovní zásoby je verze téhož zvyku na úrovni slov. V každém bodě věty by ji mohly věrohodně pokračovat desítky slov, ale několik jich v žebříčku modelu výrazně převyšuje ostatní a dekódování stále končí u této hrstky. Když se tato volba vynásobí každou větou v dokumentu, rozsah skutečně použitých slov se měřitelně zúží ve srovnání s lidským psaním podobné délky.

Efekt se kumuluje, místo aby zůstával konstantní. Model, který v první větě sahá po nejvýše hodnoceném slově, s větší pravděpodobností vytvoří kontext, v němž je i nejvýše hodnocené slovo ve druhé větě běžné, protože běžná slova mají tendenci následovat po běžných slovech. Lidský autor tento drift neustále přerušuje, sahá po konkrétním technickém termínu, po mírně neobvyklém slovese, po slově, které pojmenovává skutečnou věc, nikoli její bezpečný přibližek. Tento rozdíl se projeví jako měřitelně menší pracovní slovní zásoba v generované verzi, i když obě verze popisují tytéž základní skutečnosti.

Jde o vlastnost celého úseku, nikoli o volbu jediného slova. Jedno bezpečné slovo nic nedokazuje. Stránka plná takových slov, věta za větou sahající po stejné úrovni běžné slovní zásoby, je to, co je signál na úrovni slov skutečně navržen tak, aby detektor zaznamenal.

Syntaktická uniformita: stejné tvary, opakované

Syntaktická uniformita je verze na úrovni věty. Nejde o to, jak dlouhá věta je. Jde o to, kolik odlišných gramatických tvarů úsek používá: jak věty začínají, jak se klauze připojují jedna k druhé, jak často přechodové slovo vykonává práci spojení jedné myšlenky s další. Model, který dál předpovídá statisticky pravděpodobnou následující strukturu, se ustálí v malé rotaci tvarů a opakuje ji.

Odstavec může měnit délku vět a přesto působit syntakticky ploše, pokud každá věta sleduje stejný tvar podmět sloveso doplněk, začíná stejným druhem přechodu nebo se uzavírá stejným způsobem. Předvídatelnost spočívá ve vzorci, nikoli v počtu slov, což je rozdíl podrobněji rozebrán v průvodci k tomu, co burstiness ve skutečnosti měří.

Co zužuje	Co má tendenci dělat text optimalizovaný pro dekódování	Co má tendenci dělat lidské psaní
Volba slov	U každého kroku se přiklání k nejpravděpodobnějšímu běžnému slovu	Sahá po konkrétním nebo méně běžném slově, které pojmenovává skutečnou věc
Začátek věty	Opakuje malou rotaci bezpečných přechodových začátků	Obměňuje, jak věta začíná, včetně začátků, které by model hodnotil jako méně pravděpodobné
Struktura klauzí	Opakuje v celém úseku jednu nebo dvě preferované gramatické podoby	Střídá jednoduché a složité struktury podle toho, co věta potřebuje

Volby, které má tendenci dělat jen člověk

Druhá strana úzkého pásma je to, co leží mimo něj. Člověk popisující skutečné události sáhne po přesném údaji místo zaokrouhleného, přizná část, která nefungovala, přeruší větu, aby ji uprostřed myšlenky opravil, nebo zvolí slovo, které je správné, nikoli typické. Každá z těchto voleb je z pohledu jazykového modelu token s nízkou pravděpodobností, přesně ten druh, kterému se dekódování snaží vyhnout.

Nic z toho neznamená, že konkrétní nebo neobvyklé psaní je bezpečné před každým označením, ani že plynulé a správné psaní je ve výchozím stavu podezřelé. Metodická část, právní klauzule nebo silně upravený finální návrh se mohou ocitnout v úzkém pásmu z důvodů, které nemají nic společného s modelem, a proto je jedno skóre popisem vzorce, nikoli verdiktem o tom, kdo jej napsal.

Je užitečnější vidět, kde se váš vlastní návrh v tomto pásmu nachází, než hádat. Bezplatný kontrolor perplexity od TextPulse free perplexity checker a burstiness checker měří předvídatelnost na úrovni slov a rytmus mezi větami odděleně, takže plochá slovní zásoba a opakovaná stavba vět se projeví jako dva různé signály místo jednoho smíšeného čísla.

Z toho vyplývají dvě užší stránky. Jak Turnitin konkrétně detekuje AI je jedna z nich a rozdíl mezi jeho skóre podobnosti a jeho AI skóre je druhá, protože tyto dvě hodnoty jsou si běžně zaměňovány.

Obě spadají do širší sbírky bezplatných nástrojů, pro každého, kdo chce vidět vzorec na vlastní oči, místo aby slepě důvěřoval jedinému číslu.