AI detektor minimális szószáma: hány szót igényel a Turnitin, a GPTZero és mások
Mit állít a Turnitin, a GPTZero, a ZeroGPT, a Pangram és a Sapling a szöveghosszról, mit talált a TextPulse 25,561 akadémiai szövegpáron végzett vizsgálata, és mit tegyen, ha egy szöveg túl rövid a pontszámhoz.
Az AI detektor minimális szószáma az eszköztől függ. Egyes eszközök, például a Turnitin, legalább 300 szónyi, a feltételeknek megfelelő prózát igényelnek, mások, például a ZeroGPT, legalább 150 és 200 szó közötti terjedelem megírását javasolják ahhoz, hogy következetes eredmény szülessen. Függetlenül attól, hogy a detektor néhány száz szó alatt mutat-e eredményt, az eredmény kevésbé megbízható.
Vannak olyanok is, amelyek továbbra is százalékos értéket adnak meg minden bekezdéshez, és a pontszámok rövid szövegek esetében általában kevésbé pontosak. A TextPulse Research kutatói ezt 25,561 ember által írt akadémiai szöveg és azok AI által átírt változatának párosán tesztelték. 300 szónál egy osztályozót úgy hangoltak, hogy az AI által átírt szövegek 95%-át felismerje. Ugyanakkor az emberi szövegek 33.9%-át is megjelölte. 25 szónál 67.6%-ot jelölt meg.
Hány szóra van szüksége az AI-észlelésnek?
Az AI-észlelés megbízhatóságához, vagyis stabil eredményhez, néhány száz szóra van szükség. A megbízhatóság leggyorsabban körülbelül 100 szó alatt csökken. A megbízhatóság nagy részét a TextPulse vizsgálatban körülbelül 150 szónál állapították meg. Ezt követően a pontosság lassabban nőtt, 84.0%-ról 150 szónál 86.8%-ra 300 szónál.
Más kutatások hasonló küszöbértékekre utalnak. A Journal of Artificial Intelligence Research 2025-ös áttekintése, amelyre a TextPulse tanulmány is hivatkozik, összegyűjti az eddig közölt adatokat. A statisztikai és finomhangolt osztályozóknak nagyjából 100 szóra van szükségük a pontos működéshez. Több szabványos detektornak körülbelül 120 szóra van szüksége a teljes teljesítmény eléréséhez, a legerősebb modellek észleléséhez pedig körülbelül 200 szó kell.
Ahogy a detektor több tokent lát, vagyis azokat a szóelemeket, amelyekkel egy nyelvi modell dolgozik, egyre könnyebb megkülönböztetni az emberi és az AI által írt szöveget. Amikor egy detektor egy rövid válaszban csak néhány tokent látott, egyik ítélet mellett sincs sok bizonyíték. A perplexity, a burstiness és a többi érintett mérőszám magyarázata az hogyan működnek az AI detektorok útmutatóban található.
Az AI detektor minimális szószáma eszközönként: Turnitin, GPTZero és mások
Minden szolgáltató saját alsó határt vagy iránymutatást állapít meg, és nem mind ugyanazt a mértékegységet használja. A Turnitin a feltételeknek megfelelő próza szavait számolja. Más szolgáltatók terjedelmet javasolnak, vagy azt írják le, hogyan változik a pontosság, ahogy egy szöveg hosszabb lesz.
| Detektor | Mit állít a szolgáltató a szöveghosszról |
|---|---|
| Turnitin | Legalább 300 szónyi minősülő próza szükséges ahhoz, hogy AI pontszám keletkezzen, ez egy korábbi 150 szavas minimumról emelkedett, mert a pontosság több szöveggel nő |
| GPTZero | A pontosság javul, ahogy több szöveget küldenek be. A teljes dokumentumokat pontosabban osztályozza, mint a bekezdéseket, a bekezdéseket pedig pontosabban, mint az egyes mondatokat |
| ZeroGPT | Stabil eredményhez legalább 150 és 200 szó közötti terjedelem ajánlott, 500 és 1,000 szó vagy több pedig tovább javítja a megbízhatóságot. A nagyon rövid vagy erősen szerkesztett részletek "kevesebb jelet hordoznak" |
| Pangram | Hosszabb, teljes mondatokból álló szövegen működik a legjobban. A vállalat nem javasolja rövid felsorolások vagy erősen formulaikus szöveg ellenőrzését |
| Sapling | A közzétett detektálási és téves pozitív arányai hosszabb szövegekre vonatkoznak. A rövidebb szövegek "eltérő pontossági arányokkal rendelkezhetnek" |
Ez az a küszöb, amellyel a legtöbb hallgató találkozik, mivel a Turnitin sok egyetem tanulási platformjában beépített detektor. Az AI írásjelentésben 300 szónyi minősülő próza alatt nem adnak pontszámot. Az e küszöb alatti szegmens pontozásáról és a Turnitin által 20% alatti pontszámoknál megjelenített csillagról a hogyan észleli a Turnitin az AI-t útmutatóban olvashat.
A képernyőn megjelenő százalék nem jelenti azt, hogy a szöveg megfelelt az eszköz saját ajánlott hosszának, mert sok fogyasztói ellenőrző egyetlen bekezdést is pontoz. 2023-ban az OpenAI AI szövegosztályozójának legalább 1,000 karakter bemenetre volt szüksége. Az OpenAI közölte, hogy rövid szövegeken nagyon megbízhatatlan volt, és hat hónappal később alacsony pontossági aránya miatt eltávolította.
AI detektor pontossága szöveghossz szerint: mit talált a TextPulse kutatása
A TextPulse a szöveghossz és az AI detektálás megbízhatósága című tanulmány kizárólag a hosszúságot vizsgálja, minden más szövegjellemzőtől elvonatkoztatva. Az adathalmaz 25,561 szövegpárt tartalmaz, amelyekben mind az emberi szöveg, mind annak AI által készített átírása legalább 300 szavas. Minden szöveget 25, 50, 100, 150, 200, 250 és 300 szóra vágtak. Minden szószámnál a klasszifikátort betanították és tesztelték.
Ugyanezek a szövegek minden hosszúságnál megjelennek, vagyis a téma, a diszciplína és az AI modell változatlan. Az átírások hat modellcsaládon belül nyolc különböző AI modellkombinációból származnak. A klasszifikátor 45 stílusjellemzőt értékel, például a szavak hosszát és a szókincs változatosságát. Ez kutatási eszköz, a tanulmány nem állít semmit arról, hogy a kereskedelmi detektorok miként használhatják ezeket a jellemzőket vagy küszöbértékeket. A kereskedelmi eszközök tesztjeihez lásd az az AI detektorok pontosságáról szóló útmutatót.
| Szöveghossz | Pontosság | Az emberi szövegek tévesen megjelölve, amikor az AI átírások 95%-át elkapják | Az AI átírások elkapva, amikor az emberi szövegek 1%-át tévesen megjelölik |
|---|---|---|---|
| 25 words | 73.9% | 67.6% | 17.2% |
| 50 words | 78.2% | 58.8% | 28.0% |
| 100 words | 82.3% | 49.4% | 40.5% |
| 150 words | 84.0% | 44.1% | 47.9% |
| 200 words | 85.2% | 40.1% | 50.5% |
| 250 words | 86.1% | 36.7% | 54.2% |
| 300 words | 86.8% | 33.9% | 56.5% |
| Full text | 88.4% | 28.6% | 60.6% |
Az AI-észlelés esetében a rövid szövegek pontossága a táblázat minden oszlopában rosszabb, és a pontosság oszlopa alábecsüli a veszteséget. Használható ítélethez a pontszámnak a skála egyik vagy másik végéhez közel kell lennie, a rövidebb szövegek pedig mind a humán, mind az AI-pontszámokat a közép felé tolják. Amikor a küszöböt úgy állították be, hogy az AI-átírások 95%-át elkapja, az osztályozó 100 szónál a humán szövegek körülbelül felét tévesen AI-nak jelölte. Amikor a küszöböt úgy állították be, hogy a humán szövegeknek csak 1%-át jelölje, 25 szónál az AI-átírások 17,2%-át fogta el.
Az AUC, a tanulmány fő mérőszáma arra, hogy az osztályozó mennyire jól választja szét a két csoportot, 0,817-ről 25 szónál 0,940-re emelkedett 300 szónál. A teljes szövegeken, amelyek a humán oldalon átlagosan 466 szóból álltak, elérte a 0,950-et. Ennek az emelkedésnek a legmeredekebb része 100 szó alatt jelentkezett, és minden 150 szó feletti lépés kisebb növekedést hozott.
Miért nőnek a hamis pozitív eredmények rövid szövegeknél
Egy hosszú dokumentumokra épülő detektor sokkal magasabb hamis pozitív arányt mutat rövid szövegeknél. A tanulmány egy olyan osztályozót mutatott be, amelyet teljes terjedelmű szövegeken tanítottak, és rövid szövegek osztályozására az alapértelmezett küszöbön használtak. A rendszer hamis pozitív aránya a humán szövegeknél 300 szónál 16,1%-tól 100 szónál 39,1%-ig, 25 szónál pedig 69,8%-ig terjedt.
Az AI-átírások észlelése ugyanezen a tartományon alig változott, 300 szónál 88,4%-ról 25 szónál 92,4%-ra. A további hibák a humán írásra adott téves jelzések voltak. A tanulmány a rövid bemeneteken működő osztályozót úgy írja le, mint amely szisztematikusan az AI-nak való minősítés felé torzít.
Az ok mechanikus. A típus-token arány, vagyis a szövegben előforduló különböző szavak aránya, a szöveg rövidülésével nő, mert egy rövid minta kevesebb lehetőséget ad ugyanazon szó ismétlésére. A vizsgálatban a humán szövegek aránya teljes terjedelemben átlagosan 0,47 volt, 25 szónál pedig 0,87. A teljes terjedelmű AI-átírások átlaga 0,55 volt.
Ez a teljes hosszúságú szövegeken betanított osztályozó megtanulja, hogy körülbelül 0.55 arány választja el az AI által írt szöveget az emberi írástól. Minden 25 szavas szöveg, bárki is írta, jóval e fölött az arány fölött van, és az AI oldal felé tolódik. A tanulmány rámutat, hogy egy élesben használt detektort nem tanítanak újra minden alkalommal, amikor megváltoztatja a bemeneti hosszúságot. A Turnitin közzétett hamis pozitív arányáról szóló útmutató azt tárgyalja, hogy ez az érték mit foglal magában, és mit hagy ki.
Emberibbé tenni saját dolgozatát
Alakítsa át az AI által támogatott szövegét úgy, hogy emberinek hangozzon, anélkül hogy fontos szavakat vagy hivatkozásokat érintene.
Miért nehéz a rövid szövegeket osztályozni
A rövid szövegek mindenből kevesebbet adnak a detektornak abból, amit mér. A kevesebb szó kevesebb összehasonlítandó tokent jelent, a kevesebb mondat pedig kevesebb mérhető ritmust. A vizsgálatban egy 25 szavas szöveg átlagosan 1.6 mondatból, egy 50 szavas szöveg 2.7 mondatból, egy 300 szavas szöveg pedig 13.4 mondatból állt.
A mondathossz-változatosság, amelyet gyakran burstiness néven említenek, a mondatok egymással való összehasonlításától függ. A vizsgálatban teljes szövegeknél 0.71 szórással választotta el az emberi és az AI szövegeket, 100 szónál pedig 0.31-gyel. 50 szónál a különbség gyakorlatilag nulla volt. Egy olyan detektornak, amely a burstinessre támaszkodik, több mondatra van szüksége ahhoz, hogy azt megbízhatóan mérje.
A szó szintjén ennek a teljesítménynek nagyobb része megmarad. Az átlagos szóméret és a hosszú szavak aránya 25 szónál körülbelül a megkülönböztető erejük kétharmadát megtartotta. Ugyanakkor az átfedés is nőtt: 50 szónál mindkét csoport pontszámai hajlamosak a közép felé tömörülni. Mindkét csoport jelentős része az átfedésbe kerül.
Az idézett vagy sablonos megfogalmazás rövid szövegben szintén nagyobb súlyt kap. Egy 50 szavas válasz körülbelül három mondatból áll, így minden mondat nagyjából a detektor által látott tartalom harmadát teszi ki. Egy idézett definíció az egyik mondatban sokkal nagyobb súllyal bír, mint ugyanaz a mondat egy 2,000 szavas esszében.
Vitaindító bejegyzések, absztraktok, rövid válaszos vizsgák és kísérőlevelek
Vitaindító fórumbejegyzések
Egy 200 szavas követelményre írt bejegyzés Turnitin 300 szavas alsó határa alatt van, ezért Turnitin nem ad rá AI pontszámot. Más eszközök azonban még pontozhatják. 200 szónál a tanulmány osztályozója az emberi szövegek 40.1%-át tévesen AI-ként jelölte meg, amikor úgy állították be, hogy az AI átírások 95%-át elkapja, szemben a teljes szövegeknél mért 28.6%-kal.
Absztraktok
Egy 250 szavas folyóirat-absztrakt már közel van az alsó határhoz, az absztraktok pedig sűrű, formális szövegek. Egy korábbi TextPulse-tanulmány megállapította, hogy azok a humán szövegek, amelyeket egy osztályozó tévesen sorol be, a legformálisabbak. A hosszúságról szóló tanulmány a szöveghosszt második, különálló okként adja meg a téves jelzésekhez, és egy rövid, formális absztrakt mindkettőnek ki van téve. Ha egy absztraktot megkérdőjeleznek, a teljes tanulmány ellenőrzése megadja a detektornak azt a hosszt, amelyet a szolgáltatója ajánl.
Rövid válaszos vizsgák
Az 50 és 100 szó közötti válaszok abba a tartományba esnek, ahol a tanulmány számai a leggyorsabban csökkennek. 50 szónál egy olyan osztályozó, amelyet úgy állítottak be, hogy az AI átírások 95%-át elkapja, a humán szövegek 58,8%-át tévesen jelölte meg. A tanulmány arra a következtetésre jut, hogy 50 szó alatt nincs olyan gyakorlati küszöb, amely használható eredményeket adna. Hozzáteszi, hogy egy rövid szöveg esetében megbízhatóbb nem ítéletet mondani, mint pontszámot adni rá.
Kísérőlevelek
Egy álláspályázathoz vagy folyóirat-benyújtáshoz készült, egyoldalas kísérőlevél néhány száz szóból áll, és nagy része kötött fordulatokat követ. Pangram azt tanácsolja, hogy a nagyon formulaisztikus szöveget ne szűrjék. Ha egy kísérőlevelet ellenőriznek, minden pontszámot széles hibahatárral rendelkező becslésként kell kezelni.
Mit tegyen, ha a szöveg az alsó határ alatt van
Hagyja a szöveget úgy, ahogyan megírta, és inkább adjon kontextust a pontszámhoz. Ezek a lépések az íróra és arra a személyre is vonatkoznak, aki a pontszámot értékeli.
- Ne tömje ki a szöveget. Az alsó határ eléréséhez írt plusz szavak megváltoztatják azt a szöveget, amelyet meg kellett írnia, és a pontszám ekkor a kitömött változatot írja le.
- Amennyiben lehet, ellenőrizze a teljes dokumentumot. Egy teljes esszé vagy fejezet megadja a detektornak az ajánlott hosszúságot, és a rövid részletet egy hosszabb szöveg részeként pontozza.
- Nézze meg a mondatszintű nézetet. Azok a detektorok, amelyek mondatonként pontoznak, megmutatják, mely sorok mozgatják az eredményt, és egy rövid szövegben ez gyakran egy vagy két mondat, például egy idézett definíció.
- Őrizze meg a vázlatait és a verziótörténetet. Ezek megmutatják, hogyan fejlődött a szöveg, és egy rövid részletre adott pontszám ezt nem tudja megmutatni.
- Kérdezze meg, hogyan fogják használni a pontszámot. A szolgáltató saját ajánlott hosszánál rövidebb szövegre adott eredmény gyenge jel, és az értékelőnek így kell mérlegelnie.
A személyzet számára a tanulmány megvitatása egy egyszerű szabályra mutat rá: több szöveget kell kérni, vagy a megadott hossz alatt nem szabad döntést hozni. A Turnitin 300 szavas alsó határa ilyen szabály. Amint rendelkezésre áll egy teljes jelentés, a mi számít jó Turnitin pontszámnak című útmutató ismerteti, hogyan kell azt értelmezni.
Hogyan kezeli a TextPulse a rövid szöveget
A TextPulse nem használ AI detektort, és nem értékesít detektoros vizsgálatokat. A TextPulse minden humanizálás után egy Human Score-t (0-tól 100-ig) jelenít meg. Ez a pontszám az alkalmazáson belül készített becslés, amely az átírás mélységén, a szókincs változatosságán, a tokeneloszlásán és a mondathossz változatosságán alapul. A pontszám kiszámításához nem használtak detektort.
Az AI Humanizer humanizálásonként legalább 50 szót igényel, és a Pro csomagban legfeljebb 500 szót, a Plus csomagban pedig 1,000 szót dolgoz fel egy menetben. A Document Humanizer egy teljes angol .docx fájllal is képes dolgozni, amelynek hossza legfeljebb 15,000 szó lehet. Legalább 50 szónyi törzsszöveget igényel, és a címsorokat, listákat, táblázatokat, képaláírásokat és hivatkozásokat változatlanul hagyja. Mindkettőt úgy tervezték, hogy csökkentse az AI pontszámokat olyan vázlatok esetében, ahol a kurzus vagy a folyóirat megengedi az AI segítségét.
Mielőtt a szöveget egy detektorba illesztené, ellenőrizze a hosszát az ingyenes Word Counter segítségével. Ez az eszköz megszámolja a szavakat, a szóközökkel és szóközök nélkül vett karaktereket, a mondatokat és az egyedi szavakat, így össze tudja hasonlítani a szöveget azzal az alsó határral, amelyet bármelyik mértékegységben megadtak. A hosszvizsgálattal kapcsolatos minden részlet, vagyis az egyes szövegekre vonatkozó pontszámok és az elemzési kód, nyilvánosan elérhető a Zenodo-n, a kutatási központ pedig a tanulmányt a többi TextPulse tanulmány mellett sorolja fel.
Gyakran ismételt kérdések
A Turnitinnek legalább 300 szónyi jogosult prózára van szüksége, mielőtt AI pontszámot generál, ezt a küszöböt 150 szóról emelte fel. Ez alatt az AI írásról szóló jelentés nem mutat pontszámot. Az AI detektor minimális szószáma eszközönként eltér, ezért egy rövid szövegen kapott eredményben csak akkor bízzon, ha előbb ellenőrzi az adott szolgáltató saját útmutatását.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
