AI humanizer összehasonlító tanulmány: mi történt ugyanazokkal az akadémiai szövegekkel
TextPulse Research ugyanazt a 48 akadémiai szöveget futtatta át minden humanizálón, és minden kimenetet pontozott. Mit változtattak az eszközök, mit tartottak meg, és hogyan teljesített a TextPulse.
Az AI humanizer összehasonlító vizsgálatunkban minden humanizer ugyanazt a 48 tudományos szöveget vitte közelebb az emberi írásmódhoz, és az eszközök leginkább abban különböztek, hogy mit őriztek meg. Némelyik közel tartotta az eredetihez a jelentést, az idézeteket és a számokat. Mások kitalált számokat és neveket, illetve új nyelvtani hibákat adtak hozzá, és ezek a kimenetek gyakran azok voltak, amelyeket egy detektor emberinek jelölt.
TextPulse Research 2026 augusztusában végezte el az AI humanizer összehasonlító vizsgálatot, és 29 Augustán working paperként tette közzé. A TextPulse az egyik benne szereplő eszköz, ezért minden eszköz ugyanazokat a bemeneteket kapta, és minden mérőszám nyilvános szkript. A teljes working paper tartalmazza az összes táblázatot, ábrát és szkriptet, és mind a 432 átírt szöveg nyilvános.
Mit tesztelt az AI humanizer összehasonlító vizsgálat
A vizsgálat minden humanizernek ugyanazt a 48 szöveget adta. Mindegyik egy kitalált empirikus tanulmány Eredmények és vita szakasza volt, amelyet egy AI modell írt, és körülbelül 301 szóból állt. Négy modellcsalád 12 szöveget írt: OpenAI, Google, DeepSeek és Anthropic. A szövegek négy tudományterületet és három idézési stílust fedtek le, így minden eszköznek számokkal, szerzőnevekkel és hivatkozásjelölőkkel kellett megbirkóznia, amelyeket meg kellett őriznie.
| A tervezés része | Mit használt a vizsgálat |
|---|---|
| Forrásszövegek | 48 AI által írt Eredmények és vita szakasz, egyenként 264 és 344 szó között |
| Ki írta őket | 12 szöveg az OpenAI, Google, DeepSeek és Anthropic modellektől |
| Tudományterületek | Orvostudomány és egészség, fizikai és számítógépes tudományok, társadalomtudományok, bölcsészettudományok |
| Idézési stílusok | APA szerző év, numerikus szögletes zárójelek, idézetek nélkül |
| A szövegekben ellenőrzött tények | 404 szakkifejezés, 887 szám, 124 idézet |
| Hogyan futott minden eszköz | Egyszer beillesztve a weboldalára az alapértelmezett beállításon, a kimenet úgy megőrizve, ahogy visszaadta |
| Dátumok | 2026. augusztus 26. és 28. között |
| Detektorok | Turnitin, eszközönként egy dokumentum, és GPTZero, minden szöveg külön |
Egy humanizer feladata az AI-kimenet átírása, ezért a vizsgálat ellenőrzött ténylistával rendelkező AI-kimenettel indult. Bármilyen átírás előtt minden modell felsorolta az általa használt kifejezéseket, számokat és hivatkozásokat. Minden felsorolt elemet összevetettek a szöveggel, és minden olyan elemet, amely hiányzott belőle, elhagytak. Így minden szöveghez egy rögzített lista maradt, ezért a vizsgálat pontosan meg tudta számolni, hogy az egyes humanizer-ek mit tartottak meg, mit változtattak meg, és mit találtak ki.
Minden szöveget egyszer vittek be az egyes eszközök weboldalára, az eszköz alapértelmezett beállításán, és a kimenetet pontosan úgy mentették el, ahogyan visszaérkezett. Senki sem szerkesztett egyetlen kimenetet sem. Néhány eszköz 48-nál kevesebbet dolgozott fel, mert az ingyenes szintek korlátozzák, hogy egy eszköz hány szöveget fogad el. Egy 24 szövegből álló maghalmaz minden eszköznél ugyanaz volt, ugyanabban a sorrendben. TextPulse mind a 48-at feldolgozta.
Hogyan mérte a vizsgálat a humanizált szöveget
Egy detektorpontszám azt mutatja meg, hogy egy szöveg hogyan jelent meg egy detektor számára egy adott napon. Nem mond semmit arról, hogy az átírás továbbra is ugyanazokat az eredményeket közli-e. A vizsgálat először magán a szövegen pontozta az összes kimenetet, és csak másodszor a detektorokon. Hallgatók vagy kutatók számára fontos, hogy olyan dolgozatuk legyen, amely továbbra is azt mondja, amit az adatok mondanak, olyan prózában, amelyről az ember azt hinné, hogy ember írta.
| Mérték | Mit ellenőriz | Miért fontos egy tanulmányban |
|---|---|---|
| Jelentés | Mennyire közel áll az átírás a forráshoz, 0 és 1 közötti hasonlósági pontszámként | Az alacsonyabb pontszám azt jelenti, hogy a bekezdés most már valami mást mond |
| Megőrzött idézetek | A szövegközi idézetek aránya, amelyek továbbra is megvannak ugyanazzal a szerzővel és évvel | Az év megváltoztatása megszakítja az egyezést a hivatkozásjegyzékkel |
| Megőrzött számok | A vizsgált számok aránya, amelyek továbbra is szerepelnek a szövegben | Egy elveszett mintanagyság vagy p-érték megváltoztatja az eredményt |
| Kitalált elemek | Az eredményben szereplő számok és nevek, amelyek a forrásban soha nem voltak meg | Egy kitalált adat hamis állítás a vizsgálatról |
| Hozzáadott nyelvtani hibák | Új hibák 1,000 szóra vetítve, a LanguageTool segítségével számolva | A hibák pontlevonást és a bírálói bizalom csökkenését okozzák |
| Olvasási osztályzat | A Flesch-Kincaid osztályzati szint változása | Az AI szöveg magasabb osztályzati szintű, mint a publikált emberi próza |
| Stíluspozíció | A szöveg helyzete a tipikus emberi és a tipikus AI írás között | A stilometriai detektorok ezekre a jellemzőkre reagálnak |
| Hossz | A kimenet hossza a forráshoz viszonyítva, a 0.70 és 1.30 közötti érték számít megőrzöttnek | Egy eszköz, amely a felére csökkent egy szöveget, tartalmat hagyott el |
A stíluspozíció egy olyan skálából származik, amelyet a TextPulse 47 stílusjellemzőből és 121,092 tudományos szövegből fejlesztett ki, ahogyan azt a stilometriai osztályozási tanulmányunkban ismertetjük. A tipikus emberi tudományos szöveg 0-nál, a tipikus AI szöveg pedig 100-nál helyezkedik el. Az emberi szövegek középső felét (-36 és 33 között) nevezzük emberi tartománynak.
A szókincset egy 1,057 szóból álló listához viszonyítva pontoztuk, amely a AI szókincsről szóló tanulmányunkból származik. Ezek közül 581 olyan szó, amelyet az AI modellek gyakrabban használnak, mint az emberek, 476 pedig a másik irányba billen. A vizsgálat azt számolta, hogy az egyes eszközök hány AI felé hajló szót távolítottak el 1,000 szóra vetítve.
Mit tett minden humanizer a szöveggel
Minden eszköz a vizsgálatban a kimeneteit a stílus skála emberi végpontja felé mozdította. A kezeletlen AI szövegek átlaga 138 volt, ami túlmutatott a tipikus AI szöveg 100-as értékén. Az átírás után egyes eszközök elérték az emberi tartományt, mások pedig körülbelül félúton megálltak. Minden eszköz eltávolította az AI felé hajló szókincset is, és csökkentette az olvasási évfolyamot, így a változás iránya az egész területen azonos volt.
Kétféle jellemző mozgatja leginkább a szöveget a skálán. Az első pár az átlagos szóhossz és a hosszú szavak aránya. A "help" szóból "facilitate" szóra történő átírás AI-szerűbbé teszi a szöveget, mert növeli az átlagos szóhosszt és növeli a hosszú szavak arányát. A második a változatos mondathossz, amely az emberi irányba tol. Egy bekezdés, amelyben minden mondat 22 és 26 szó közötti, lapos, de egy olyan bekezdés, amely egy 9 szavas mondatot egy 31 szavas mondattal vegyít, változatos.
A cél az, hogy alacsonyabb olvasási évfolyamot érjünk el. Az AI által írt tudományos szövegnek magasabb a Flesch-Kincaid évfolyamszintje, mint a publikált emberi tudományos prózának. Tehát ha ez csökken, az a szöveget közelebb viszi ahhoz az egyszerű stílushoz, amelyben a kutatók írnak. Erre reagálnak a stilometriai detektorok. Ezek azok a változások is, amelyek könnyebben olvashatóvá tesznek egy vázlatot. A két cél összhangban van, amíg a tartalom sértetlen marad.
A hogyan változtatják meg a humanizálók a mondatot című bejegyzésünk ezeket a szerkesztéseket mondatról mondatra mutatja be. A vizsgálat ehhez hozzáadja a mérést, vagyis hogy az egyes változtatások milyen messzire mozdították el a szöveget, és ez milyen jelentésbeli és tényszerű költséggel járt.
Hol tértek el az eszközök: jelentés, hivatkozások és számok
Az eszközök megtartási aránya eltért egymástól. Például a vizsgálat során a hivatkozások 29 és 100 százaléka között maradt meg. Kimenetenként 0.06 és 4.44 közötti kitalált elem jelent meg. 1,000 szónként 0.65 és 4.91 közötti új nyelvtani hiba jelent meg. A kitalált elemek mintanagyságok, százalékok, konfidenciahatárok, szerzőnevek és intézmények voltak, amelyeket a forrás soha nem említett.
Nevek és mértékegységek csendesebb módon tűntek el. Amikor egy eszköz átfogalmazott egy statisztikai adatot, gyakran elhagyta a mértékegységet, így a "Cohen's d" hatásméretté vált, a "Celsius" pedig fokokká. A szerzők nevei a hivatkozásaikkal együtt tűntek el. Fajok, korszakok és műszerek neveit leírással helyettesítették. Annak az olvasónak, aki ellenőrizni akar egy eredményt, szüksége van ezekre a nevekre, ezért mindegyik ilyen veszteség számít.
Az átírás mélysége és a hűség ellentétes irányba hat. Az az eszköz, amely a szavak harmadát megváltoztatja, könnyebben megőrzi a jelentést. Az az eszköz, amely a legtöbbet megváltoztatja, nagyobb eséllyel veszít el valamit. A megváltoztatott szavak aránya 35 és 68 százalék között mozgott. Az az eredmény, amelyet egy kutató szeretne, egy mély átfogalmazás, amely mégis megőrzi a jelentést. Ez a kombináció ritka volt.
A tanulmány rejtett karaktereket is keresett, láthatatlan karaktereket, nem szabványos szóközöket és a cirill vagy görög ábécéből származó, egymásra hasonlító betűket. Egyes humanizálók ezeket azért adják hozzá, hogy megváltoztassák egy detektor eredményét. Ebben a tanulmányban egyetlen eszköz sem adott hozzá ilyet, ezért egyetlen kimenet sem bukott meg emiatt a minőségi kapun.
Emberibbé tenni saját dolgozatát
Alakítsa át az AI által támogatott szövegét úgy, hogy emberinek hangozzon, anélkül hogy fontos szavakat vagy hivatkozásokat érintene.
Miért gyenge humanizer-benchmark önmagában egy detektor eredménye
Önmagában egy detektor eredménye hiányos humanizer-benchmark. Az AI humanizer összehasonlító tanulmányban azok a kimenetek, amelyeket a GPTZero leggyakrabban emberinek jelölt, olyan eszközöktől származtak, amelyek több számot és nevet találtak ki, több hivatkozást hagytak el, vagy több nyelvtani hibát adtak hozzá. A detektor becslésének legegyszerűbb módja az, ha megváltoztatjuk, mit mond a szöveg. Egy ilyen átfogalmazás megbukik azon a dolgozaton, amelynek segítenie kellett volna.
Mindkét oldalt egyszerre mérendő, a tanulmány minőségi kaput állított fel. Az átjutáshoz egy kimenetnek legalább 0.95-ös jelentésértékre és a hivatkozásainak legalább 90 százalékára volt szüksége. Emellett nem tartalmazhatott kitalált számokat vagy neveket, rejtett karaktereket, és a hossza is tűrésen belül kellett maradjon. A GPTZero emberi címkéje ezután csak azokra a kimenetekre számított, amelyek átjutottak a kapun. A kapu minden eszköz esetében ugyanaz volt.
Minden eszköz kimenetét egyetlen dokumentumba gyűjtötték, oldalanként egy szöveggel. A vizsgálat a dokumentumra vonatkozó Turnitin egy AI százalékát használta. A Turnitin 20 százalék alatti érték esetén szám helyett csillagot használ. A detektorok eredményei a vizsgálat napjain használt egyetlen detektorverzió becslései. A Turnitin AI pontszámának értelmezéséről a mit jelent egy Turnitin AI pontszám című útmutatónkban írtunk.
Hogyan teljesített a TextPulse a humanizer összehasonlításban
A TextPulse végzett az első helyen a vizsgálat összetett indexében, amely egyenlő súlyt ad az átírás mélységének, a jelentésnek, a stíluspozíciónak, a nyelvtannak és a tartalmi integritásnak. A TextPulse pontszámai ezzel az öt mérőszámmal 0.811 voltak, és 0.843, amikor a kapuzott detektormérőszámot is hozzáadták. Azért teljesített jól, mert nem voltak gyenge mérőszámai. Több mint a szöveg felét átírta, és megőrizte azokat a tényeket, amelyektől egy tanulmány függ.
| Mérőszám | TextPulse eredménye |
|---|---|
| Megváltoztatott szavak | 52% |
| Megőrzött jelentés, a forrással való hasonlóság | 0.971, körülbelül 97% |
| Megőrzött hivatkozások | 99% |
| Megőrzött számok | 87% |
| Megőrzött névvel ellátott entitások | 95% |
| Hozzáadott nyelvtani hibák | 0.65 1,000 szónként, a legkevesebb a vizsgálatban |
| Kitalált elemek | 0.48 kimenetenként, egy kitalált név minden ötvenedik kimenetben |
| Olvasási évfolyam | 3.6 évfolyammal alacsonyabb, a legnagyobb csökkenés |
| AI-ra hajló szavak eltávolítva | 39 1,000 szónként, a legtöbb a vizsgálatban |
| Stíluspozíció | 29, az emberi tartományon belül |
| Kimenetek a hossz-tűrésen belül | 47 a 48-ból |
| A minőségi kaput teljesítő kimenetek | 67% |
| Turnitin AI pontszám, az összes kimenet egy dokumentumban | 24%, a legalacsonyabb a vizsgálatban (holtversenyben) |
| GPTZero emberi címke a kaput teljesítő kimeneteken | 10.4% (5 a 48-ból), a legmagasabb a vizsgálatban |
Két eredmény a legfontosabb az akadémiai használat szempontjából. Azok között az eszközök között, amelyek legalább a szavak felét megváltoztatták, a TextPulse őrizte meg legjobban a jelentést. Azok között az eszközök között, amelyeknél a jelentés pontszáma 0.97 vagy magasabb volt, ez változtatta meg a legtöbb szót. A vizsgálatban egyetlen más eszköz sem tartozott mindkét csoportba. Az akadémiai íráshoz készült humanizálónak erre a kombinációra van szüksége, mivel a könnyű átírás változatlanul hagyja az AI-stílust, a tényeket elhagyó mélyebb átírás pedig megváltoztatja az eredményeket.
A GPTZero a TextPulse kimeneteinek 48 közül 9-et emberinek jelölt, és ezek közül 5 a minőségi kaput is teljesítette, ami a vizsgálat legmagasabb kapuzott eredménye. A TextPulse kimeneteit tartalmazó Turnitin-dokumentum 24 százalékos AI-értéket kapott, ami holtversenyben a legalacsonyabb pontszám. A többi dokumentum 28 és 74 százalék között szerepelt. A detektorok eredményei becslések, és a vizsgálat ezért közli őket a szövegmérőszámok mellett.
Mit nem mond meg a vizsgálat
Az AI humanizer összehasonlító vizsgálat saját korlátait is felsorolja. A szövegeket AI modellek írták egy rögzített utasításra, a valós vázlatok pedig hosszabbak és kevésbé egységesek. Minden eszköz egyszer futott, az alapértelmezett beállításán, 2026. augusztus 26. és 28. között. A szolgáltatók frissítik az eszközeiket, ezért az eredmények ezeket a napokat írják le, és pillanatfelvételként kell őket olvasni.
A különböző eszközök eltérő számú szöveggel rendelkeznek, mivel korlátozva vannak egy bizonyos mennyiségű ingyenes szövegre, amelyet az eszköz feldolgoz. Ez nagyobb konfidenciaintervallumokat is eredményez a kevesebb szöveggel rendelkező eszközöknél. A Turnitin egy pontszámot generál dokumentumonként, ezért nem rendelkezik szövegenkénti pontszámeloszlással. A GPTZero egy detektor, egy modellverzió (2026-08-09-base).
A TextPulse készítette a vizsgálatot, és maga is az egyik benne szereplő eszköz. Minden eszköz ugyanazokat a bemeneteket kapta. Az eljárás szerint minden mérőszám nyilvánosan elérhető szkript, és minden nyers eredmény meg van osztva. Ez azt jelenti, hogy bárki újra lefuttathatja a számításokat, vagy eltérő súlyozással végezheti el őket. A forrásszövegek, mind a 432 kimenet, a detektorok válaszai és a szkriptek nyilvánosak.
Hogyan használja az eredményeket a saját vázlatán
Az eredmények egy rövid ellenőrzéssé alakíthatók, amelyet bármely humanizer után lefuttathat, a miénk után is. Hasonlítsa össze a kimenetet a vázlatával azoknál a dolgoknál, amelyeket a vizsgálat számolt. Egyetlen szakaszon ez néhány percet vesz igénybe.
- Ellenőrizze minden számot a vázlatával szemben: mintanagyságokat, százalékokat, p-értékeket és konfidenciaintervallumokat.
- Ellenőrizze minden szövegközi hivatkozásnál, hogy ugyanaz-e a szerző és az év, majd egyeztesse a hivatkozásjegyzékével.
- Keressen olyan neveket, amelyek megváltoztak: műszerek, fajok, adathalmazok, mértékegységek és szerzőnevek.
- Olvassa át azokat az állításokat, amelyek erősebbé váltak, például amikor a "may indicate" kifejezést "shows" formára írták át.
- Hasonlítsa össze a terjedelmet. A forrásnál jóval rövidebb kimenet valószínűleg tartalmat hagyott ki.
- Olvassa fel hangosan a szöveget, hogy észrevegye az átírás által hozzáadott nyelvtani hibákat.
A terjedelem a leggyorsabb ezek közül az ellenőrzések közül. A vizsgálatban a forrás terjedelmének 0.70 és 1.30-szorosa közé eső kimenet megtartottnak számított. TextPulse 48 kimenetből 47-et megtartott ezen a sávon belül, átlagosan a forrás 1.14-szeresén, így a kimenetei valamivel hosszabbak voltak a vázlatoknál.
A hivatkozásokat a leghosszabb kézzel ellenőrizni. A vizsgálatban TextPulse ezek 99 százalékát megtartotta, és a változtatások a megjelenítésre vonatkoztak, például egy zárójeles hivatkozás elbeszélő hivatkozássá alakult. Az a hivatkozásokat megőrző AI humanizer című bejegyzésünk elmagyarázza, mire érdemes figyelni a saját hivatkozásjelölőiben.
A ingyenes burstiness-ellenőrző azt méri, mennyire változatosak a vázlatában a mondathosszak. A változatos mondathossz a vizsgálat skálájának egyik olyan jellemzője, amely a humán írás felé billenti a mérleget. Az árakkal együtt rangsorolt útmutatóért lásd a legjobb AI humanizer akadémiai íráshoz című útmutatónkat. Amikor készen áll az átírásra, a TextPulse AI humanizer úgy készült, hogy megőrizze a számait, neveit és hivatkozásait, és becsült Human Score-t is jelent az eredményhez.
Gyakran ismételt kérdések
Az AI humanizer összehasonlító tanulmány egy munkatanulmány, amelyet a TextPulse Research 2026 augusztusában tett közzé. Ugyanazt a 48 AI által írt akadémiai szöveget futtatta át minden humanizálón az alapértelmezett setting mellett, és 432 kimenetet pontozott jelentés, hivatkozások, számok, kitalált tények, nyelvtan, stílus és két detektor alapján. A szövegek, a kimenetek és a szkriptek nyilvánosak.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
