Jak snížit své skóre detekce AI

Student vloží odstavec do detektoru, uvidí skóre 82 procent, nahradí tucet slov synonymy, aniž by se dotkl tvaru jediné věty, a zkontroluje to znovu. Číslo se téměř nepohne. Celý příběh je tento, některé úpravy nezmění téměř nic a jedna změní více než všechny ostatní dohromady, a to z důvodů, které nemají nic společného s přechytračením softwaru.

Tento text vysvětluje, jak snížit AI score v pořadí, na kterém skutečně záleží, které úpravy se téměř neprojeví, které číslo posunou podstatně a která ho posune nejvíce, a proč. Zároveň objasňuje, co toto číslo ve skutečnosti měří, protože nižší skóre má smysl chtít z opravdového důvodu, tedy kvůli jasnějšímu a konkrétnějšímu psaní, a je špatným cílem, pokud se sleduje samo o sobě.

Co AI Score ve skutečnosti měří

Jazykový model píše tak, že opakovaně předpovídá další pravděpodobné slovo, což vytváří specifický statistický otisk, větné délky, které se shlukují, přechody čerpané z malé sady bezpečných možností, volby slov, které leží blízko středu toho, co se v daném kontextu očekává. Skóre detekce AI je odhad toho, jak těsně daný úsek tomuto otisku odpovídá, vytvořený klasifikátorem natrénovaným, aby si ho všiml, nikoli fakt o tom, kdo větu napsal.

Detektory nedefinují toto číslo všechny stejným způsobem. Turnitin uvádí výslovně, že jeho procento „udává množství kvalifikovaného textu v rámci odevzdané práce, které model detekce psaní pomocí AI společnosti Turnitin určí jako pravděpodobně vygenerované AI“, a jasně říká, že jde o podíl označeného textu, nikoli o pravděpodobnost nebo skóre důvěry. Jiné detektory vracejí něco bližšího hodnotě důvěry u samotné věty. V každém případě stojí za přečtení úplné vysvětlení mechanismů, které za těmito čísly stojí, v článku jak fungují detektory AI. Zde je podstatné něco jednoduššího, číslo je vždy statistický odhad a každá úprava níže funguje tak, že mění statistiky, které má číst, nikoli tak, že by skrývala skutečnost, že byl zapojen model.

Výměny synonym stěží pohnou skóre AI

Nahrazení slova méně běžným synonymem téměř nic nemění na vzorci, který klasifikátor hodnotí, protože tím zůstává nedotčena délka věty, struktura vět a rytmus. Model trénovaný k rozpoznávání jednotné podoby vět nezajímá, zda věta říká enables nebo allows. Zajímá ho, že tři věty za sebou mají téměř stejnou délku a začínají stejným způsobem.

Plochá věta zní: "The platform enables users to efficiently accomplish routine tasks without additional training." Po nahrazení slova za slovo se změní na: "The platform allows users to efficiently complete routine tasks without extra training." Stejná délka, stejné pořadí vět, stejný rytmus. Čtenář si může všimnout mírně odlišného slova. Klasifikátor, který hodnotí vzorce na úrovni vět napříč odstavcem, má téměř nic nového, s čím by mohl pracovat.

To není argument proti opravě zásoby slov. Slova jako facilitate, robust a myriad stojí za odstranění, protože si jich pozorný čtenář všimne, a bezplatný AI word cleaner je zachytí během několika sekund. Je to argument proti očekávání, že právě tento krok odvede hlavní práci. Pokud se skóre po úpravě slovní zásoby sotva změní, je to očekávaný výsledek, nikoli známka toho, že úprava selhala.

Rozmanitost vět to posouvá dál

Model předpovídá jeden token po druhém a nemá žádný vnitřní důvod, aby byla třetí věta kratší než druhá, takže pokud se nechá bez zásahu, odstavec se ustálí v úzkém pásmu délky a podoby. Právě tato pravidelnost, nikoli jediné slovo, je silnějším signálem, protože klasifikátor trénovaný na strojovém výstupu viděl tento vzorec tisíckrát.

Tři ploché věty znějí takto: "The results were significant. The findings supported the hypothesis. The data was analyzed using standard methods." Po přepracování pro větší rozmanitost zní tentýž obsah takto: "The results were significant, and they supported the hypothesis, though the standard analysis needed a second pass once two of the outlying cases were removed." Jedna věta nyní nese tvrzení i jeho komplikaci dohromady, s reálnou proměnlivostí v délce a ve struktuře vět napříč odstavcem. To je to, co burstiness checker měří, když hodnotí nerovnoměrnost, a proto tato úprava posune skóre více než úprava slovní zásoby.

Nic z toho není obtížné udělat ručně na jedné nebo dvou stránkách. Přečtěte si odstavec nahlas, označte jakoukoli řadu dvou nebo tří vět, které znějí stejně dlouhé a stejně vystavěné, a jednu z nich rozdělte, nebo dvě spojte do jedné s čárkou, která skutečně plní svou funkci. Úpravy na úrovni vět, které stojí za touto částí, jsou krok za krokem, s dalšími rozpracovanými příklady, popsány v full walkthrough of how to humanize AI text.

Vaše vlastní důkazy posunou AI skóre nejvíce

Jazykový model nemá přístup k tomu, co se ve vašem projektu skutečně stalo. Když je požádán, aby napsal o studii, sáhne po nejbezpečnější formulaci, která se hodí téměř ke každé studii na stejné téma, protože to je jediný materiál, který má k dispozici. Věta nesoucí konkrétní tvrzení z konkrétního zdroje není věta, kterou by model vytvořil pouze z promptu, a právě tato mezera posouvá skóre nejvíce.

Obecná věta: "The intervention had a positive effect on outcomes for participants." To by mohlo popisovat stovky studií. Přeformulováno pomocí vlastního materiálu autora: "Attendance records showed the effect held only for students who came to more than six sessions, a threshold the original design had not anticipated." Delší, konkrétnější a mohlo by popisovat pouze tuto studii. Referenční model požádaný, aby pokračoval ve stejném promptu, by detail o šesti sezeních neuhodl, protože nic v promptu nenaznačovalo, že existuje.

To je také ta úprava, která nejvíce zlepšuje text bez ohledu na to, co uvádí kterýkoli detektor, a to je pointa, nad níž stojí za to se zamyslet. Konkrétní číslo, pojmenované omezení, zdroj citovaný přímo místo parafráze do vágního tvrzení, to vše činí odstavec přesvědčivějším pro člověka, který jej čte, a skutečnost, že zároveň posouvá skóre, je spíše vedlejším účinkem než cílem.

Úprava	Typický dopad na skóre	Proč
Vyměnit slova za synonyma	Malý až žádný	Délka vět, struktura i rytmus zůstávají stejné
Obměňovat délku a strukturu vět	Střední až velký	Narušuje jednotný vzorec, kterého si klasifikátor učí všímat
Přidat vlastní důkazy nebo tvrzení	Největší	Zavádí obsah, který model neměl jak vytvořit pouze z promptu

Jak snížit AI Score, aniž byste se honili za nesprávným cílem

Každé číslo výše je odhad, nikoli verdikt. Turnitin to výslovně uvádí ve své dokumentaci, kde říká, že jeho detekce AI psaní "may not always be accurate" a "should not be used as the sole basis for adverse actions against a student." Skóre se může měnit z důvodů, které nemají s autorstvím nic společného, a může zůstat beze změny i u textu, který člověk napsal od začátku. Právě z toho, že se s číslem zachází jako s faktem o tom, kdo napsal větu, pramení většina úzkosti kolem tohoto tématu, a to není to, za co se číslo vydává.

Také proto je samo o sobě špatným cílem skóre snižovat. Honba za číslem může autora vést k úpravám, které se automatizují nejsnáze, k úpravě slovní zásoby, k několika přeuspořádaným větám, zatímco se vynechá to nejdůležitější, přidání konkrétního materiálu, který má skutečně jen autor. Nižší skóre získané tímto způsobem má svou hodnotu.

Honba za nižším skóre může také stylisticky posunout odstavec špatným směrem, každé tvrzení se začne zajišťovat, vrství se omezující výrazy, přidávají se výplňové věty, které existují jen proto, aby rozbily rytmus, nikoli aby něco sdělily. Nic z toho neřeší základní vzorec a všechno to zhoršuje čitelnost odstavce. Úpravy, které skutečně posouvají skóre, rozmanitost vět a konkrétní důkazy, jsou zároveň úpravami, které zlepšují text samy o sobě, což je užitečná kontrola ve chvíli, kdy úprava začne působit spíše jako vycpávka než jako zlepšení.

AI humanizer od TextPulse AI humanizer aplikuje výše uvedené úpravy na úrovni vět i struktury na celý dokument najednou a uvádí odhadované Human Score vypočtené ze stejných signálů, nikoli tvrzení, že jím projde kterýkoli pojmenovaný detektor. Při správném použití jde o rychlý první průchod dlouhým dokumentem. Stále však nemůže přidat tu jednu věc, která skóre posouvá nejvíce, protože nikdy nebyl přítomen ve chvíli, kdy se skutečná práce odehrávala. Tato část zůstává na autorovi.

Dříve je vhodné vyjasnit dvě otázky: zda AI humanizers vůbec fungují a zda je bezpečné je používat na práci, kterou hodláte odevzdat.

Výše uvedené pořadí je zároveň seznam priorit pro to, kam věnovat omezený čas před termínem. Pokud je času málo, vynechte průchod se synonymy. Nevynechávejte odstavec, v němž doplníte zpět detail, který nikdo jiný nemohl napsat, protože právě tuto úpravu za vás žádný software na přepisování nemůže provést.