Miért elfogultak az AI detektorok a nem anyanyelvi angol írókkal szemben

Az AI detektorok nem anyanyelvi beszélőkkel szembeni torzítása nem szubjektív panasz. Egy szakmailag lektorált, 2023-as Stanford-tanulmány ezt közvetlenül mérte. A kutatók hét széles körben használt GPT detektort futtattak 91 valódi TOEFL esszén, amelyeket nem anyanyelvi angol beszélők írtak, valamint 88, amerikai nyolcadikosok által írt esszén, majd összehasonlították, hogy az egyes csoportok milyen pontszámot kaptak.

A detektorok a nyolcadikos esszéket szinte minden alkalommal helyesen olvasták. A TOEFL esszéken, amelyeket olyan felnőttek írtak, akik már teljesítettek egy mesterképzés szintű angol nyelvi jártassági vizsgát, ugyanaz a hét eszköz átlagosan 61.22 percentos hamis pozitív arányt adott. A kilencvenegy esszéből nyolcvankilencet, vagyis csaknem 98 percentot, legalább az egyik hét eszköz AI által generáltnak jelölt.

TextPulse áttekintése a az AI detektorok pontosságára vonatkozó szélesebb körű bizonyítékokról tárgyalja ezt a fő megállapítást és azokat a pereket, amelyekbe azóta beépült. Ami szinte mindenütt kimarad, amikor a tanulmányra hivatkoznak, az a mechanizmus, vagyis hogy miért olvasható egy mesterképzés szintű angol beszélő prózája eleve gépi eredetűnek, és mi változik, amikor már nem így olvasható.

Az AI detektorok nem anyanyelvi beszélőkkel szembeni torzítása, a mechanizmus

Egy detektor soha nem a jelentés alapján olvas. Azt vizsgálja, hogy az egyes szavak mennyire kiszámíthatók az előttük álló szavak alapján, és alacsony pontszámot ad egy szövegrésznek, ha a modell a legtöbbet előre meg tudta volna jósolni. A lexikai változatosság, vagyis hogy az író milyen széles szókincsből merít, ahelyett hogy egy kisebb, biztonságos szócsoportot ismételne, valamint a szintaktikai kiszámíthatóság, vagyis hogy a mondatszerkezet mennyire követi a nyelv leggyakoribb mintáját ahelyett, hogy változtatná azt, két olyan nyelvi előállítási tulajdonság, amely lefelé húzza ezt a pontszámot.

A különbség azért számít, mert a kettő eltérően jelenik meg az oldalon. A lexikai változatosság magukra a szavakra vonatkozik: az a szerző, aki három különböző mondatban az „obtain”, „acquire” és „secure” szavakat választja, változatosabbnak hat, mint az, aki háromszor a „get” szót írja, még akkor is, ha a mondatok egyébként azonosak. A szintaktikai kiszámíthatóság a szerkezetre vonatkozik: alany, ige, tárgy, újra és újra ismételve, szemben azzal a mondattal, amely alárendelt mellékmondattal kezdődik, vagy váratlan szóval zárul. Egy második nyelven író szerzőnek vizsgahelyzetben minden oka megvan arra, hogy mindkettőnél a biztonságosabb változatot válassza.

A második nyelven írt szöveg megbízhatóan kevesebbet mutat mindkettőből, és ez nem hiányosság. Az a szerző, aki egy további nyelven dolgozik, arra a szókincsre és mondatmintákra támaszkodik, amelyek a legnagyobb valószínűséggel helyesek, mert a rossz tippelés nagyobb költséggel jár, amikor a nyelv még nem teljesen automatikus. A Stanford tanulmány, amely dokumentálta az detektorok torzítását, pontosan erre a mintázatra vonatkozó alkalmazott nyelvészeti kutatások egész sorára hivatkozik, olyan eredményekre, amelyek jóval az AI detektorok megjelenése előtt már rögzítettek voltak: a csökkent lexikai gazdagság, a csökkent lexikai változatosság és az egyszerűbb mondatszerkezet a második nyelven írt szöveg dokumentált, mérhető jellemzői, nem pedig bármi más jelei.

Az anyanyelvi és a nem anyanyelvi írás közötti rés perplexity különbségként jelenik meg, ugyanazzal a méréssel, amelyet egy detektor futtat annak eldöntésére, hogy egy részlet gép által generált volt-e. Az alacsonyabb perplexity gépszerűbbnek hat, függetlenül attól, hogy ki állította elő, és a nem anyanyelvi írás ezen a skálán alacsonyabban helyezkedik el olyan okokból, amelyeknek semmi közük egy chatbothoz. Az, hogy ez a rés valóban a detektorok működését mozgatja-e, nem pedig puszta egybeesés, vizsgálható kérdés. A Stanford csapata ezt közvetlenül tesztelte.

Mi történt, amikor ugyanazokat az esszéket gazdagabb szókészlettel írták át

A kutatók ugyanazt a 91 TOEFL esszét vették elő, amelyek korábban 61.22 százalékos átlagos téves pozitív arányt váltottak ki, és megkérték ChatGPT-t, hogy egyetlen utasítással javítsa át őket: "Enhance the word choices to sound more like that of a native speaker." A tartalom, az érvelés vagy a nyelvtan megváltoztatására semmilyen utasítást nem adtak. Ezt az egy szerkesztést követően ugyanazon hét detektor átlagos téves pozitív aránya 11.77 százalékra esett vissza, ami csaknem ötven százalékpontos csökkenés, és azoknak az esszéknek a száma, amelyeket mindegyik detektor egyhangúlag jelölt meg, tizennyolcról egyre csökkent.

A kutatók ezután visszafelé futtatták a kísérletet. Elővették a 88 anyanyelvi nyolcadikos esszét, amelyeket a detektorok eredetileg szinte minden alkalommal helyesen értékeltek, és megkérték ChatGPT-t, hogy egyszerűsítse a szóválasztásukat úgy, mintha nem anyanyelvi beszélő írta volna őket. Ugyanezeken az anyanyelven írt esszéken az átlagos téves pozitív arány 5.19 százalékról 56.65 százalékra ugrott. Az esszék szerzősége nem változott. Csak a szókincs változott, és a detektorok a szókincset követték.

A perplexity mindkét irányban összhangban mozgott a téves osztályozási aránnyal, amikor a TOEFL esszéket gazdagították, meredeken emelkedett, amikor pedig a nyolcadikos esszéket egyszerűsítették, meredeken csökkent. A szerzők ebből egy egyértelmű következtetést vonnak le, a detektorok valójában soha nem a szerzőségre reagáltak. A szóválasztásra reagáltak, egy olyan tulajdonságra, amelyet bármely író szókincse hordozhat, függetlenül attól, hol tanulta az angolt.

Mennyire következetes az elfogultság a különböző detektorok között

A hét detektor nem sok mindenben értett egyet, kivéve abban, hogy melyik irányba futott a hiba. Mindegyikük sokkal gyakrabban jelölte meg a TOEFL esszéket, mint a nyolcadikos esszéket, de nagyon eltérő mértékben.

Detektor	Hamis pozitív arány, TOEFL esszék	Hamis pozitív arány, anyanyelvi esszék
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

Ezek 2023-as adatok, az eszközök akkori állapotában mérve. Azóta több közülük teljesen megváltozott: OpenAI 2023 júliusában, négy hónappal e vizsgálat után leállította a saját detektorát, miután megállapította, hogy az a ténylegesen AI által írt szövegeknek csak 26 százalékát jelölte helyesen, miközben az emberi írás 9 százalékát továbbra is tévesen címkézte. Ami nem változott, az a rés iránya. Egy szélesebb torzítási benchmarkot, amelyet kifejezetten arra építettek, hogy a detektorokat demográfiai és nyelvi kategóriák mentén tesztelje, 2025 decemberében publikálták, és négy újabb nyílt forráskódú eszközön futtatták le, mégis következetesen alacsonyabb recallt jelentett az alulreprezentált írói csoportok esetében.

Ez a torzítás továbbra is megjelenik az újabb detektorokban?

A Stanford-tanulmány ma már több AI-generációval korábbi, és maguk a szerzők is megnevezték a korlátot: egy kis pilotminta, valamint olyan detektorok, amelyek többnyire GPT-2-re épültek, amely jóval kisebb és régebbi modell annál, mint ami ma a detektálást működteti. Ez jogos kérdést vet fel. A jobb technológia bezárta a rést?

A legutóbbi, kifejezetten erre irányuló teszt szerint még nem. Egy 2026 februárjában, a Sultan Qaboos University-n végzett tanulmányban a kutatók két jelenlegi kereskedelmi detektort, Turnitin és Originality, teszteltek 192 szövegen, amelyek hiteles, ChatGPT előtti EFL hallgatói írást, professzionális emberi írást, AI által generált szöveget és hibrid emberi AI szöveget vegyítettek. Az eredmények a két eszköz esetében összesen 69 százalékos és 61 százalékos pontosságot mutattak, miközben a hibrid kategóriában, vagyis abban az írástípusban, amelyet egy szerkesztési átfutás valójában létrehoz, a pontosság közel nullára esett. Ugyanez a tanulmány egy második torzítást is feltárt, amely a nyelvi torzítás mellett jelentkezik, a tudományos írás esetében a pontosság 28 és 38 százalékponttal alacsonyabb volt, mint a bölcsészettudományi írás esetében.

Ez a két megállapítás nem egyetlen hibás termékről szól. Két különböző detektorarchitektúra, amelyeket három év különbséggel, eltérő korpuszokon, különböző kutatócsoportok teszteltek, ugyanarra az eredményre jut: az a szöveg, amelyet műfaji konvenció vagy egy második nyelv formál, közelebb áll ahhoz, amit ezek az eszközök gépi eredetűnek neveznek, mint az a szöveg, amelyet egyik sem. TextPulse ingyenes eszközei lehetővé teszik, hogy az író ugyanezt a statisztikai profilt ellenőrizze, mielőtt bármelyik intézményi detektorhoz eljutna.

Független bizonyíték arra, hogy a különbség valós, nem a tesztelés artefaktuma

A TOEFL eredményekkel kapcsolatos első probléma az, hogy felhozható lenne, hogy azok csak egy kis 2023-as pilot tanulmányra vonatkoznak. Erre ugyanaz a kutatócsoport válaszolt egy másik tanulmányban, amely olyan adatokkal dolgozott, amelyeknek semmi közük a detektorokhoz. 1,574, az ICLR 2023-on elfogadott dolgozatot vizsgáltak meg, amely egy jelentős gépi tanulási konferencia, és a mintát azokra az absztraktokra korlátozták, amelyeket még ChatGPT létezése előtt nyújtottak be és bíráltak el.

Azok a szerzők, akik olyan országokban élnek, ahol az angol nem az elsődleges nyelv, lényegesen alacsonyabb perplexity értékű absztraktokat írtak, mint az anyanyelvi angol nyelvű országokban élő szerzők, és ez a különbség akkor is fennmaradt, miután kontrollálták, hogy az egyes tanulmányokat a bírálók milyen magasra értékelték. Ezt a mintát nem alakíthatta ki senki, aki megpróbált volna inkább chatbotnak, vagy kevésbé annak hangzani. ChatGPT három hónappal volt a megjelenés előtt, amikor a benyújtási időszak lezárult. Az anyanyelvi és nem anyanyelvi tudományos írás közötti perplexity különbség nem olyasmi, amit a detektorok kitaláltak. Ez olyasmi, amit örököltek.

Egy 2026-os statisztikai elemzés, amely az AI detektálást tesztelési problémaként vizsgálja, ugyanezt a következtetést formális alakban fogalmazza meg. Valahányszor egy írócsoport olyan nyelvet hoz létre, amely összességében átfedést mutat a tipikus AI kimenettel, minden olyan detektornak, amely valódi képességgel rendelkezik az AI által írt szöveg felismerésére, ennél a csoportnál magasabb hamis pozitív arányt kell hordoznia, ami a sokféle populáció tesztelésének matematikai sajátossága, nem pedig bármely egyetlen eszköz hibája. A nem anyanyelvi angol írók jelentik ennek az átfedésnek a legvilágosabban dokumentált esetét.

Mit jelent ez a második nyelven írók számára

Mindebből nem az következik, hogy kevésbé kell önmagunkhoz hasonlóan írni. Inkább az, hogy érdemes tudni, valójában mit mérnek, mielőtt megérkezik az eredmény. Ha egy detektor az Ön prózáját kiszámíthatónak olvassa, akkor a második nyelven írt szövegek egy valós statisztikai tulajdonságát érzékeli, nem pedig annak bizonyítékát, hogy olyan eszközt használt, amelyet nem használt.

A Stanford kutatói, akik az eredeti vizsgálatot végezték, saját eredményük egy kellemetlen következményére is rámutatnak: ugyanaz a szókészleti módosítás, amely csökkenti a hamis pozitív kockázatot, egyben olyan jellegű átdolgozás is, amelyet egy szerző teljesen más okokból is szeretne, világosabb megfogalmazás, pontosabb szó, függetlenül bármely detektortól. TextPulse oldala az ESL tudományos írók számára azt mutatja be, hogy az ilyen átdolgozás hogyan néz ki valódi mondatokon, elkülönítve mindattól, ami egy detektálási pontszámhoz kapcsolódik.

Az újabb detektorok egyre inkább kifejezetten figyelembe kezdik venni ezt a mintázatot. A Pangram, az egyik újabb kereskedelmi szereplő, saját műszaki dokumentációjában azt állítja, hogy az osztályozója nem elfogult a nem anyanyelvi angol írókkal szemben, bár ez az állítás a szállítótól származik, nem független tesztelésből. Egy ingyenes perplexity ellenőrző ugyanazt az alapul szolgáló mérést mutatja, amelyet ezek az eszközök bármelyike egy szövegrészből kiszámít, anélkül hogy előbb bárhová elküldené a vázlatot.

Két gyakorlati kísérő ugyanebben a csoportban található: mikor használjuk az a, an és the, amely a mintázat egyetlen leggyakoribb forrása, valamint tágabban hogyan hangozzunk természetesen az angol tudományos írásban.

A kutatás két év elteltével is ugyanabba az irányba gyűlik tovább, különböző csapatok, különböző detektorok és különböző tesztelési tervek mellett. Ami nem tartott lépést, az egy széles körben elfogadott intézményi válasz, egy detektor auditálása írók széles körével szemben, mielőtt bármelyikükkel szemben megbíznák, nem pedig azután, hogy egy konkrét hallgatót már megvádoltak. Amíg ez rutinná nem válik, a hamis jelzés téves voltának bizonyításának terhe pontosan azokra az írókra hárul, akikről ez a kutatás azt mondja, hogy a legnagyobb valószínűséggel kapnak ilyet.