Minimální počet slov pro detekci AI: Kolik slov potřebují Turnitin, GPTZero a další
Co uvádějí Turnitin, GPTZero, ZeroGPT, Pangram a Sapling o délce textu, co zjistila studie TextPulse na 25,561 dvojicích akademických textů a co dělat, když je text příliš krátký na skórování.
Minimální počet slov pro AI detektor závisí na nástroji. Některé nástroje, například Turnitin, potřebují alespoň 300 slov způsobilého souvislého textu, jiné, například ZeroGPT, doporučují napsat alespoň 150 až 200 slov, aby byl výsledek konzistentní. Ať už váš detektor ukazuje cokoli pod několika stovkami slov, váš výsledek je méně spolehlivý.
Některé stále poskytují procento pro každý odstavec a skóre bývají u krátkých textů méně přesná. Výzkumníci z TextPulse Research to testovali na 25,561 dvojicích akademických textů napsaných lidmi a jejich přepisů pomocí AI. Při 300 slovech vyladili klasifikátor tak, aby zachytil 95% přepisů pomocí AI. Zároveň označil 33.9% lidských textů. Při 25 slovech označil 67.6%.
Kolik slov potřebuje detekce AI?
Detekce AI vyžaduje několik stovek slov, aby byla spolehlivá, tedy aby poskytovala stabilní výsledek. Spolehlivost klesá nejrychleji pod zhruba 100 slov. Většina spolehlivosti byla v studii TextPulse stanovena kolem 150 slov. Poté přesnost rostla pomaleji, z 84.0% při 150 slovech na 86.8% při 300 slovech.
Jiný výzkum ukazuje podobné prahy. Přehled z roku 2025 v Journal of Artificial Intelligence Research, citovaný v článku TextPulse, shrnuje dosud uvedené údaje. Statistické a jemně doladěné klasifikátory potřebují k přesné práci řádově 100 slov. Několik standardních detektorů potřebuje přibližně 120 slov, aby dosáhlo plného výkonu, a detekce nejsilnějších modelů vyžaduje asi 200 slov.
Jak detektor vidí více tokenů, tedy slovních částí, se kterými jazykový model pracuje, je snazší rozlišit lidský text od textu AI. Když detektor viděl v krátké odpovědi jen několik tokenů, není pro žádný závěr mnoho důkazů. Perplexity, burstiness a další používané míry jsou vysvětleny v průvodci jak fungují AI detektory.
Minimální počet slov pro AI detektor podle nástroje: Turnitin, GPTZero a další
Každý dodavatel stanovuje vlastní minimum nebo doporučení a ne všichni používají stejnou jednotku. Turnitin počítá slova způsobilého souvislého textu. Jiní dodavatelé doporučují délku nebo popisují, jak se přesnost mění s tím, jak se text prodlužuje.
| Detektor | Co dodavatel uvádí o délce textu |
|---|---|
| Turnitin | Alespoň 300 slov způsobilého souvislého textu před vygenerováním AI skóre, což bylo zvýšeno z dřívějšího minima 150 slov, protože přesnost roste s delším textem |
| GPTZero | Přesnost se zlepšuje s tím, jak je odesláno více textu. Celé dokumenty jsou klasifikovány přesněji než odstavce a odstavce přesněji než jednotlivé věty |
| ZeroGPT | Pro stabilní výsledek se doporučuje alespoň 150 až 200 slov, přičemž 500 až 1,000 slov nebo více dále zlepšuje spolehlivost. Velmi krátké nebo silně upravené úryvky "nesou méně signálů" |
| Pangram | Nejlépe funguje na delším textu psaném v úplných větách. Společnost nedoporučuje kontrolovat krátké odrážkové seznamy ani vysoce formulový text |
| Sapling | Jeho zveřejněné údaje o detekci a falešně pozitivních výsledcích se vztahují na delší texty. Kratší texty "mohou mít odlišné míry přesnosti" |
To je spodní hranice, se kterou se setká většina studentů, protože Turnitin je vestavěný detektor v mnoha univerzitních výukových platformách. V reportu AI psaní se pod 300 slov způsobilého souvislého textu žádné skóre neuděluje. Úsek s hodnocením pod touto hranicí a hvězdička, kterou Turnitin zobrazuje pro skóre pod 20%, jsou popsány v průvodci jak Turnitin detekuje AI.
Procento na obrazovce neznamená, že text splnil vlastní doporučenou délku nástroje, protože mnoho spotřebitelských kontrolorů ohodnotí jediný odstavec. V roce 2023 potřeboval klasifikátor AI textu od OpenAI minimální vstup 1,000 znaků. OpenAI uvedla, že u krátkých textů byl velmi nespolehlivý, a o šest měsíců později jej odstranila kvůli nízké míře přesnosti.
Přesnost AI detektoru podle délky textu: co zjistil výzkum TextPulse
Pracovní studie TextPulse o délce textu a spolehlivosti detekce AI se zabývá pouze délkou, odděleně od všech ostatních charakteristik textů. Datový soubor zahrnuje 25,561 dvojic textů, v nichž jsou jak lidský text, tak jeho přepis pomocí AI alespoň 300 slov dlouhé. Každý text byl zkrácen na 25, 50, 100, 150, 200, 250 a 300 slov. Pro každou délku slov byl klasifikátor natrénován a otestován.
Tytéž texty se objevují v každé délce, tedy téma, obor i model AI zůstávají konstantní. Přepisy pocházejí z osmi různých kombinací modelů AI napříč šesti rodinami modelů. Klasifikátor hodnotí 45 stylových rysů, například délku slov a rozmanitost slovní zásoby. Toto je výzkumný nástroj, studie nečiní žádná tvrzení o tom, jak by komerční detektory mohly tyto rysy nebo prahové hodnoty používat. Viz průvodce zda jsou detektory AI přesné pro testy komerčních nástrojů.
| Délka textu | Přesnost | Lidské texty chybně označené, když je zachyceno 95% přepisů AI | Přepisy AI zachycené, když je chybně označeno 1% lidských textů |
|---|---|---|---|
| 25 words | 73.9% | 67.6% | 17.2% |
| 50 words | 78.2% | 58.8% | 28.0% |
| 100 words | 82.3% | 49.4% | 40.5% |
| 150 words | 84.0% | 44.1% | 47.9% |
| 200 words | 85.2% | 40.1% | 50.5% |
| 250 words | 86.1% | 36.7% | 54.2% |
| 300 words | 86.8% | 33.9% | 56.5% |
| Full text | 88.4% | 28.6% | 60.6% |
Pro detekci AI je přesnost u krátkého textu v každém sloupci tabulky horší a sloupec přesnosti tuto ztrátu podhodnocuje. Použitelný verdikt vyžaduje skóre blízko obou konců škály a kratší texty posouvají jak lidské, tak AI skóre směrem ke středu. Při prahu nastaveném tak, aby zachytil 95 % přepisů AI, klasifikátor mylně označí asi polovinu lidských textů při 100 slovech. Při prahu nastaveném tak, aby označil pouze 1 % lidských textů, zachytí 17.2 % přepisů AI při 25 slovech.
AUC, hlavní míra článku pro to, jak dobře klasifikátor odděluje obě skupiny, vzrostla z 0.817 při 25 slovech na 0.940 při 300 slovech. U plných textů, které na straně lidských textů průměrně měly 466 slov, dosáhla 0.950. Nejstrmější část tohoto nárůstu nastala pod 100 slovy a každý krok nad 150 slov přidal méně.
Proč u krátkého textu roste počet falešně pozitivních výsledků
Detektor postavený na dlouhých dokumentech má u krátkých textů mnohem vyšší míru falešně pozitivních výsledků. Článek představil klasifikátor, který byl natrénován na texty v plné délce a pro klasifikaci krátkých textů byl použit s výchozím prahem. Míra falešně pozitivních výsledků systému pro lidské texty se pohybovala od 16.1 % při 300 slovech do 39.1 % při 100 slovech a 69.8 % při 25 slovech.
Jeho detekce přepisů AI se ve stejném rozsahu téměř nezměnila, od 88.4 % při 300 slovech do 92.4 % při 25 slovech. Dodatečné chyby byly falešná označení lidského psaní. Článek popisuje klasifikátor u krátkých vstupů jako systematicky zkreslený směrem k tomu, že je označuje za AI.
Příčina je mechanická. Poměr typů a tokenů, podíl odlišných slov v textu, roste s tím, jak se text zkracuje, protože krátký vzorek nabízí méně příležitostí zopakovat slovo. Lidské texty ve studii měly v průměru poměr 0.47 v plné délce a 0.87 při 25 slovech. Přepisy AI v plné délce měly v průměru 0.55.
Tento klasifikátor, natrénovaný na plných textech, se naučí, že poměr kolem 0.55 dělí AI od lidského psaní. Každý text o 25 slovech, bez ohledu na to, kdo jej napsal, je výrazně nad tímto poměrem a je posouván směrem k AI straně. Článek upozorňuje, že nasazený detektor se při každé změně délky vstupu znovu netrénuje. Průvodce k Turnitin's published false positive rate popisuje, co tato hodnota zahrnuje a co nezahrnuje.
Zlidštit vlastní práci
Proměňte svůj text s pomocí AI a nechte ho znít lidsky, aniž byste zasahovali do důležitých slov nebo citací.
Proč se krátké texty obtížně klasifikují
Krátké texty dávají detektoru méně ze všeho, co měří. Méně slov znamená méně tokenů k porovnání a méně vět znamená méně rytmu k měření. Ve studii měl text o 25 slovech v průměru 1.6 věty, text o 50 slovech 2.7 věty a text o 300 slovech 13.4 věty.
Proměnlivost délky vět, často nazývaná burstiness, závisí na porovnávání vět mezi sebou. Ve studii oddělovala lidské a AI texty o 0.71 směrodatné odchylky u plných textů a o 0.31 u 100 slov. U 50 slov byl rozdíl fakticky nulový. Detektor, který se opírá o burstiness, potřebuje k jejímu spolehlivému měření několik vět.
Více této síly se zachovává na úrovni slov. Průměrná délka slov a míra dlouhých slov si při 25 slovech zachovaly asi dvě třetiny své rozlišovací síly. Zároveň však došlo k většímu překryvu, při 50 slovech mají skóre obou skupin tendenci shlukovat se směrem ke středu. Velká část každé skupiny končí v překryvu.
Citované nebo ustálené formulace mají v krátkém textu také větší váhu. Odpověď o 50 slovech má asi tři věty, takže každá věta představuje zhruba třetinu toho, co detektor vidí. Citovaná definice v jedné z nich má mnohem větší váhu než tatáž věta uvnitř eseje o 2,000 slovech.
Diskusní příspěvky, abstrakty, zkoušky s krátkou odpovědí a motivační dopisy
Příspěvky na diskusní nástěnce
Příspěvek napsaný na požadavek 200 slov je pod 300slovním minimem Turnitin, takže Turnitin mu nepřiřadí žádné AI skóre. Jiné nástroje jej však mohou stále skórovat. Při 200 slovech klasifikátor ve studii chybně označil 40.1% lidských textů, když byl nastaven tak, aby zachytil 95% AI přepracování, oproti 28.6% u plných textů.
Abstrakty
Abstrakt časopiseckého článku o délce 250 slov je na spodní hranici a abstrakty jsou hutné, formální texty. Dřívější studie TextPulse zjistila, že lidské texty, které klasifikátor chybně zařadí, jsou právě ty nejformálnější. Studie o délce přidává délku textu jako druhou, samostatnou příčinu falešných označení a krátký, formální abstrakt je vystaven oběma. Je-li abstrakt zpochybněn, kontrola celého článku poskytne detektoru délku, kterou doporučuje jeho dodavatel.
Krátké odpovědi u zkoušek
Odpovědi o délce 50 až 100 slov spadají do rozmezí, kde čísla ve studii klesají nejrychleji. Při 50 slovech klasifikátor nastavený tak, aby zachytil 95 % přepisů od AI, chybně označil 58,8 % lidských textů. Studie uzavírá, že pod 50 slov žádný praktický práh neposkytuje použitelné výsledky. Dodává, že neudělit verdikt nad krátkým textem je spolehlivější než jej bodově hodnotit.
Motivační dopisy
Motivační dopis na jednu stránku pro pracovní místo nebo pro odevzdání do časopisu má několik set slov a velká část z něj vychází ze zavedených formulací. Pangram nedoporučuje prověřovat vysoce formulaický text. Je-li motivační dopis kontrolován, považujte jakékoli skóre za odhad s širokou odchylkou.
Co dělat, když je váš text pod spodní hranicí
Nechte text tak, jak jste jej napsali, a místo toho uveďte skóre do kontextu. Tyto kroky platí pro autora i pro osobu, která skóre posuzuje.
- Text neprodlužujte uměle. Dodatečná slova napsaná jen proto, aby bylo dosaženo spodní hranice, mění text, který jste měli napsat, a skóre pak popisuje tuto uměle prodlouženou verzi.
- Kde je to možné, zkontrolujte celý dokument. Celá esej nebo kapitola dává detektoru délku, kterou doporučuje, a krátká část je hodnocena jako součást delšího textu.
- Podívejte se na zobrazení po větách. Detektory, které hodnotí věty, ukazují, které řádky určují výsledek, a v krátkém textu je to často jedna nebo dvě věty, například citovaná definice.
- Uchovávejte své návrhy a historii verzí. Ukazují, jak se text vyvíjel, a skóre na krátkém úseku to ukázat nemůže.
- Zeptejte se, jak bude skóre použito. Výsledek u textu pod vlastní doporučenou délkou dodavatele je slabý signál a hodnotitel by jej měl takto posuzovat.
Pro pracovníky platí jednoduché pravidlo: vyžadujte více textu, nebo nevydávejte žádný verdikt pod stanovenou délkou. Turnitinův limit 300 slov je právě takovým pravidlem. Jakmile existuje úplná zpráva, průvodce co je dobré skóre Turnitin vysvětluje, jak jej interpretovat.
Jak TextPulse zachází s krátkým textem
TextPulse nepoužívá AI detektor a neprodává skeny detektoru. TextPulse po každé humanizaci zobrazuje Human Score (0 až 100). Toto skóre je odhad vytvořený v aplikaci na základě hloubky přepsání, rozmanitosti slovní zásoby, rozložení tokenů a variace délky vět vašeho textu. K výpočtu tohoto skóre nebyl použit žádný detektor.
AI Humanizer vyžaduje při každé humanizaci alespoň 50 slov a na Pro zpracuje až 500 slov na jeden průchod a na Plus 1,000. Document Humanizer může pracovat s celým anglickým souborem .docx o délce až 15,000 slov. Vyžaduje alespoň 50 slov hlavního textu a ponechává nadpisy, seznamy, tabulky, popisky a odkazy v podobě, v jaké jsou napsány. Oba jsou navrženy tak, aby snižovaly AI score u návrhů, kde váš kurz nebo časopis umožňuje pomoc AI.
Před vložením textu do detektoru zkontrolujte jeho délku pomocí bezplatného Word Counter. Tento nástroj počítá slova, znaky s mezerami i bez mezer, věty a jedinečná slova, takže můžete porovnat text s limitem stanoveným v kterékoli z těchto jednotek. Veškeré podrobnosti o studii délky, skóre pro jednotlivé texty a analytický kód, jsou volně dostupné na Zenodo a výzkumné centrum uvádí tuto studii spolu s dalšími pracemi TextPulse.
Často kladené otázky
Turnitin potřebuje alespoň 300 slov způsobilé prózy, než vygeneruje skóre AI, přičemž tuto hranici zvýšil ze 150 slov. Pod touto hranicí zpráva o AI psaní nezobrazuje žádné skóre. Minimální počet slov pro detekci AI se liší podle nástroje, proto si před důvěrou ve výsledek u krátkého textu ověřte vlastní pokyny daného poskytovatele.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.