Miért elfogultak az AI detektorok a nem anyanyelvi angol írókkal szemben

Az AI detektorok, amelyek elfogultak a nem anyanyelvi beszélőkkel szemben, nem pusztán szubjektív panasz tárgyát képezik. Egy lektorált, 2023-as Stanford-tanulmány ezt közvetlenül mérte. A kutatók hét széles körben használt GPT detektort futtattak le 91 valódi TOEFL esszén, amelyeket nem anyanyelvi angol beszélők írtak, valamint 88, amerikai nyolcadikosok által írt esszén, majd összehasonlították, hogy az egyes csoportok milyen pontszámot kaptak.

A detektorok a nyolcadikos esszéket szinte minden alkalommal helyesen olvasták. A TOEFL esszéken, amelyeket olyan felnőttek írtak, akik már letettek egy mesterképzési szintű angol nyelvi alkalmassági vizsgát, ugyanaz a hét eszköz átlagosan 61.22 percentos hamis pozitív arányt adott. A kilencvenegy esszé közül nyolcvankilencet, vagyis csaknem 98 percentot, legalább az egyik hét eszköz AI által generáltnak jelölt.

TextPulse áttekintése a az AI detektorok pontosságára vonatkozó szélesebb bizonyítékokról tárgyalja ezt a fő megállapítást és azokat a pereket, amelyekhez azóta hozzájárult. Ami a tanulmány idézésekor szinte mindenütt kimarad, az a mechanizmus, vagyis hogy miért olvasható egy mesterképzési szintű angol beszélő prózája eleve gépi eredetűnek, és mi változik, amikor már nem így olvasható.

Az AI detektorok elfogultak a nem anyanyelvi beszélőkkel szemben, a mechanizmus

Egy detektor soha nem a jelentést olvassa. Azt olvassa, hogy az előző szavak alapján mennyire kiszámítható minden egyes szó, és alacsony pontszámot ad egy szövegrésznek, amikor a modell a legtöbbet előre meg tudta volna jósolni. A lexikai változatosság, vagyis hogy egy szerző milyen széles szókincsből merít, ahelyett hogy egy kisebb, biztonságos szócsoportot ismételne, valamint a szintaktikai kiszámíthatóság, vagyis hogy a mondatszerkezet mennyire követi a nyelv leggyakoribb mintáját ahelyett, hogy attól eltérne, a nyelvi produkció két olyan tulajdonsága, amely ezt a pontszámot lefelé húzza.

A különbség azért számít, mert a kettő eltérően jelenik meg az oldalon. A lexikai változatosság magukra a szavakra vonatkozik: az a szerző, aki három különböző mondatban az 'obtain', 'acquire' és 'secure' szavakat használja, változatosabbnak hat, mint az, aki háromszor írja azt, hogy 'get', még akkor is, ha a mondatok egyébként azonosak. A szintaktikai kiszámíthatóság a szerkezetre vonatkozik: alany, ige, tárgy, újra és újra ismételve, szemben azzal a mondattal, amely alárendelt mellékmondattal kezdődik vagy váratlan szóval zárul. Egy második nyelven dolgozó szerzőnek vizsgahelyzetben minden oka megvan arra, hogy mindkettőnél a biztonságosabb változatot válassza.

A második nyelven írt szöveg megbízhatóan kevesebbet mutat mindkettőből, és ez nem hiányosság. Az a szerző, aki egy további nyelven dolgozik, arra a szókincsre és mondatmintákra támaszkodik, amelyek a legnagyobb valószínűséggel helyesek, mert a rossz tipp többe kerül, amikor a nyelv még nem teljesen automatikus. A Stanford tanulmány, amely dokumentálta a detektor elfogultságát, egy olyan alkalmazott nyelvészeti kutatási korpuszra hivatkozik, amely pontosan ezt a mintázatot írja le, jóval azelőtt, hogy az AI detektorok léteztek volna: a csökkent lexikai gazdagság, a csökkent lexikai változatosság és az egyszerűbb mondatszerkezet a második nyelven írt szöveg dokumentált, mérhető jellemzői, nem pedig bármi más jelei.

Az anyanyelvi és a nem anyanyelvi írás közötti rés perplexity különbségként jelenik meg, ugyanazt a mérést használva, amelyet egy detektor lefuttat annak eldöntésére, hogy egy részlet gép által generált volt-e. Az alacsonyabb perplexity gépszerűbbnek hat, függetlenül attól, hogy ki készítette, és a nem anyanyelvi írás ezen a skálán alacsonyabban helyezkedik el olyan okokból, amelyeknek semmi közük egy chatbothoz. Az, hogy ez a rés valóban ezt mozgatja-e a detektorokban, nem pedig puszta egybeesés, vizsgálható kérdés. A Stanford csapata közvetlenül tesztelte ezt.

Mi történt, amikor ugyanazokat az esszéket gazdagabb szókészlettel írták át

A kutatók ugyanazt a 91 TOEFL esszét vették, amelyek korábban 61.22 százalékos átlagos téves pozitív arányt váltottak ki, és megkérték ChatGPT-t, hogy egyetlen utasítással javítsa át őket: "Enhance the word choices to sound more like that of a native speaker." A tartalom, az érvelés vagy a nyelvtan megváltoztatására semmilyen utasítást nem adtak. Ezt az egy szerkesztést követően ugyanazon hét detektor átlagos téves pozitív aránya 11.77 százalékra esett vissza, ami csaknem ötven százalékpontos csökkenés, és az olyan esszék száma, amelyeket mindegyik detektor egyhangúlag jelölt meg, tizennyolcról egyre csökkent.

A kutatók ezután visszafelé futtatták a kísérletet. Fogták a 88 anyanyelvi nyolcadikos esszét, amelyeket a detektorok eredetileg szinte minden alkalommal helyesen értékeltek, és megkérték ChatGPT-t, hogy egyszerűsítse a szóválasztásukat úgy, mintha nem anyanyelvi beszélő írta volna őket. Ugyanezeken az anyanyelven írt esszéken az átlagos téves pozitív arány 5.19 százalékról 56.65 százalékra ugrott. Az esszék szerzősége nem változott. Csak a szókincs változott, és a detektorok a szókincset követték.

A perplexity mindkét irányban összhangban mozgott a téves osztályozási aránnyal: meredeken emelkedett, amikor a TOEFL esszéket gazdagították, és meredeken csökkent, amikor a nyolcadikos esszéket leegyszerűsítették. A szerzők ebből egy egyértelmű következtetést vonnak le: amire a detektorok valójában reagáltak, az soha nem a szerzőség volt. Hanem a szóválasztás, egy olyan tulajdonság, amelyet bármely író szókincse hordozhat, függetlenül attól, hol tanulta az angolt.

Mennyire következetes az elfogultság a különböző detektorok között

A hét detektor nem sok mindenben értett egyet, kivéve abban, hogy merre futott a hiba. Mindegyikük sokkal gyakrabban jelölte meg a TOEFL esszéket, mint a nyolcadikos esszéket, de nagyon eltérő mértékben.

Detektor	Hamis pozitív arány, TOEFL esszék	Hamis pozitív arány, anyanyelvi esszék
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

Ezek 2023-as adatok, az eszközök akkori állapotában mérve. Azóta több közülük teljesen megváltozott: OpenAI 2023 júliusában leállította saját detektorát, négy hónappal e teszt után, miután megállapította, hogy az valóban csak az AI által írt szövegek 26 százalékát jelölte helyesen, miközben továbbra is az emberi írás 9 százalékát tévesen címkézte. Ami nem változott, az a rés iránya. Egy szélesebb torzítási benchmarkot, amelyet kifejezetten arra építettek, hogy a detektorokat demográfiai és nyelvi kategóriák mentén tesztelje, 2025 decemberében publikáltak, és négy újabb nyílt forráskódú eszközön futtattak le, mégis következetesen alacsonyabb recallt jelentett az alulreprezentált írói csoportok esetében.

Ez a torzítás továbbra is megjelenik az újabb detektorokban?

A Stanford-tanulmány ma már több AI-generációval régebbi, és maguk a szerzők is megnevezték a korlátot: egy kisméretű pilot minta, valamint olyan detektorok, amelyek többnyire GPT-2-re épültek, amely jóval kisebb és régebbi modell annál, ami ma a detektálást működteti. Ez jogos kérdést vet fel. A jobb technológia bezárta-e a rést?

A legutóbbi, kifejezetten erre irányuló teszt szerint még nem. Egy 2026 februári, a Sultan Qaboos University-n végzett tanulmányban a kutatók két jelenlegi kereskedelmi detektort, Turnitin és Originality, vizsgáltak 192 szövegen, amelyek hiteles, ChatGPT előtti EFL hallgatói írást, professzionális emberi írást, AI által generált szöveget és hibrid emberi-AI szöveget vegyítettek. Az eredmények a két eszköz esetében összesen 69 százalékos, illetve 61 százalékos pontosságot mutattak, miközben a hibrid kategóriában, vagyis abban az írástípusban, amelyet egy szerkesztési átfutás valójában létrehoz, a pontosság közel nullára esett vissza. Ugyanez a tanulmány egy második torzítást is feltárt, amely a nyelvi torzítás mellett párhuzamosan jelentkezik, a tudományos írás esetében a pontosság 28 és 38 százalékponttal alacsonyabb volt, mint a bölcsészettudományi írás esetében.

E két megállapítás nem egyetlen hibás termékről szól. Két különböző detektorarchitektúra, amelyeket három év különbséggel, eltérő korpuszokon, eltérő kutatócsoportok teszteltek, ugyanarra az eredményre jut: az a szöveg, amelyet műfaji konvenció vagy egy második nyelv formál, közelebb áll ahhoz, amit ezek az eszközök gépi eredetűnek neveznek, mint az a szöveg, amelyet egyik sem. TextPulse ingyenes eszközei lehetővé teszik, hogy az író ugyanezt a statisztikai profilt ellenőrizze, mielőtt bármelyik intézményi detektorhoz eljutna.

Független bizonyíték arra, hogy a rés valós, nem pedig a tesztelés műterméke

A TOEFL eredményekkel kapcsolatos első probléma az, hogy azt lehetne állítani, hogy csupán egy kis 2023-as pilot tanulmányra vonatkoznak. Erre ugyanaz a kutatócsoport egy másik tanulmányban válaszolt, amely olyan adatokat használt, amelyeknek semmi közük a detektorokhoz. Megvizsgáltak 1,574, az ICLR 2023-on elfogadott dolgozatot, amely egy jelentős gépi tanulási konferencia, és a mintát azokra az absztraktokra korlátozták, amelyeket a ChatGPT létezése előtt nyújtottak be és bíráltak el.

Azok a szerzők, akik olyan országokban élnek, ahol az angol nem elsődleges nyelv, lényegesen alacsonyabb perplexity értékű absztraktokat írtak, mint az anyanyelvi angol nyelvű országokban élő szerzők, és ez a különbség akkor is fennmaradt, amikor azt is kontrollálták, hogy az egyes tanulmányokat a bírálók milyen magasra értékelték. Ezt a mintát nem alakíthatta ki senki, aki megpróbált chatbot-szerűbben vagy kevésbé chatbot-szerűen hangzani. ChatGPT három hónappal volt a megjelenés előtt, amikor a benyújtási időszak lezárult. Az anyanyelvi és a nem anyanyelvi tudományos írás közötti perplexity-különbséget nem a detektorok találták ki. Ezt örökölték.

Egy 2026-os statisztikai elemzés, amely az AI-észlelést tesztelési problémaként vizsgálja, ugyanezt a következtetést formális alakban fogalmazza meg. Valahányszor egy írócsoport olyan nyelvet hoz létre, amely összességében átfedést mutat a tipikus AI-kimenettel, minden olyan detektornak, amely valódi képességgel rendelkezik az AI által írt szöveg felismerésére, ennél a csoportnál kifejezetten magasabb hamis pozitív arányt kell hordoznia, ami a sokszínű populáció tesztelésének matematikai tulajdonsága, nem pedig bármely egyetlen eszköz hibája. A nem anyanyelvi angol írók jelentik ennek az átfedésnek a legvilágosabban dokumentált esetét.

Mit jelent ez a második nyelven írók számára

Mindebből nem az következik, hogy kevésbé kell önmagunkhoz hasonlóan írni. Inkább az, hogy tudni kell, valójában mit mérnek, mielőtt megérkezik az eredmény. Ha egy detektor az Ön prózáját kiszámíthatónak olvassa, akkor a második nyelven írt szöveg egy valós statisztikai tulajdonságát érzékeli, nem pedig annak bizonyítékát, hogy olyan eszközt használt, amelyet nem használt.

A Stanford kutatói, akik az eredeti vizsgálatot végezték, saját eredményük egy kellemetlen következményére is rámutatnak: ugyanaz a szókincsbeli módosítás, amely csökkenti a hamis pozitív kockázatot, egyben olyan átdolgozás is, amelyet egy író teljesen más okokból is szeretne, világosabb megfogalmazás, pontosabb szó, függetlenül bármely detektortól. A TextPulse oldala az ESL tudományos írók számára azt mutatja be, hogy az ilyen átdolgozás hogyan néz ki valódi mondatokon, elkülönítve mindattól, ami egy észlelési pontszámhoz kapcsolódik.

Az újabb detektorok egyre inkább kifejezetten figyelembe kezdik venni ezt a mintázatot. A Pangram, az egyik újabb kereskedelmi szereplő, saját műszaki dokumentációjában azt állítja, hogy osztályozója nem elfogult a nem anyanyelvi angol írókkal szemben, bár ez az állítás a szállítótól származik, nem független tesztelésből. Egy ingyenes perplexity checker ugyanazt az alapul szolgáló mérőszámot mutatja meg, amelyet ezek az eszközök bármelyike egy szövegrészletből kiszámít, anélkül hogy a vázlatot előbb bárhová elküldené.

Két gyakorlati kísérő ugyanebben a csoportban található: mikor használjuk az a, an és the, amely a minta leggyakoribb egyetlen forrása, valamint tágabban hogyan hangozzunk természetesen az angol tudományos írásban.

A kutatás két év elteltével is ugyanabba az irányba gyűlik tovább, különböző csapatok, különböző detektorok és különböző teszttervek mentén. Ami nem tartotta a lépést, az egy széles körben elfogadott intézményi válasz, egy detektor auditálása írók széles körével szemben, mielőtt bármelyikükkel szemben megbíznák, nem pedig azután, hogy egy adott hallgatót már megvádoltak. Amíg ez rutinná nem válik, a hamis jelzés téves voltának bizonyításának terhe pontosan azokra az írókra hárul, akikről ez a kutatás azt mondja, hogy a legnagyobb valószínűséggel kapnak ilyet.