AI detektor hamis pozitívjai: miért jelölik meg az emberi írást

1982-ben a New England Journal of Medicine közölt egy tanulmányt a csontvelő-transzplantált betegeknél előforduló citomegalovírusról. A tanulmány átment a szakmai bírálaton, és négy évtizeden át az archívumban maradt. 2023-ban kutatók lefuttatták egy AI írásdetektoron, amelyet OpenAI nyilvánosan kiadott, és az eszköz 99.96 százalékos valószínűséggel AI által generáltnak minősítette, harminchét évvel azelőtt, hogy az a modell, amelyről állítólag írták, egyáltalán létezett volna. Ez az AI detektor hamis pozitív eredményének legtisztább formája: egy olyan dokumentum, amelyet gépi írásúnak jelölnek, miközben az semmiképpen sem lehet gépi írású.

Ez a példa csak az időzítésében szélsőséges. Az alapvető minta, vagyis hogy egy detektor a formulás, kiszámítható prózát gépi eredetűnek olvas, függetlenül attól, hogy ki írta és mikor, a hétköznapi beadott szövegekben állandóan megjelenik: esszékben, kísérőlevelekben, laborjelentésekben, személyes nyilatkozatokban. Ez az írás azt tárgyalja, mi okoz hamis pozitív eredményt, mely írástípusok a leginkább kitettek ennek, és miért nem az, aminek látszik, ha egyetlen jelzett pontszámra támaszkodunk.

Mi az AI detektor hamis pozitív eredménye?

Az AI detektor hamis pozitív eredménye olyan ember által írt szöveg, amelyet egy felismerő eszköz AI által generáltnak pontoz. Itt nem az író folyamatát, becsületességét vagy készségét mérik. Az eszköz a mondat statisztikai alakját, vagyis azt, mennyire kiszámítható a szóválasztás és a szerkezet, hasonlítja össze azzal az alakkal, amelyet gépi kimenethez társított.

A szolgáltatók a hamis pozitív arányt egyetlen kis százalékként közlik, rendszerint egy vagy két százalék alatt. Ez az érték egy olyan kontrollált tesztet ír le, amelyet a szolgáltató által létrehozott benchmarkon végeztek, nem pedig bármely egyedi dokumentumra vonatkozó garanciát. Az a tágabb kérdés, hogy az AI detektorok egyáltalán pontosak-e, már külön vizsgálat tárgya volt, és az eredmények egészen máshová mutatnak, néha jóval magasabbra, mint bármely szolgáltatói szám. Ez az írás szűkebb kérdésre összpontosít, arra, hogy mely írástípusok növelik ezt a kockázatot, és mit mondhat el, illetve mit nem mondhat el senkinek egy jelzett pontszám.

Mely írási jellemzők miatt tűnik az emberi szöveg gépi eredetűnek?

A hétköznapi írásnak négy típusa hordozza a legnagyobb kockázatot, és egyikük sem jár azzal, hogy valaki bármi rosszat tenne. A rövid dokumentumok, az erősen formulaisztikus írás, az idézett vagy sablonos anyagok, valamint a gondosan lektorált szövegek mind hajlamosak kiszámíthatóbbnak látszani, mint a szabadon megfogalmazott próza, márpedig pontosan ezt az egy tulajdonságot méri valójában minden detektor. Egy ingyenes burstiness checker közvetlenül méri ugyanezt a változatosságot, ami gyorsabb módja a minta felismerésének, mint egy leírás elolvasása róla.

Egyes műfajok eleve formulaisztikusak. Egy módszertani rész, egy laborjelentés, egy szokásos kísérőlevél és egy irodalmi áttekintés mind a konvencionális fordulatot jutalmazza az ötletes helyett, mert éppen a konvenció teszi a dokumentumot használhatóvá az olvasója számára. Kutatók ezt közvetlenül valós szövegeken tesztelték: 14,400, 1980 és 2023 között megjelent folyóirat-absztraktot futtattak át egy nyilvánosan elérhető detektoron, jóval azelőtt, hogy bármilyen nagy nyelvi modell létezett volna. Legfeljebb 8 százalékukat AI-generatedként jelölték meg, függetlenül a megjelenés évétől, és a New England Journal of Medicine absztraktjait 10.24 százaléknál jelölték meg, ami az öt tesztelt folyóirat közül a legmagasabb false positive rate volt.

A teszt nem is detektálhatott volna semmit ChatGPT-ről, mivel ChatGPT a mintavétel éveinek nagy részében még nem létezett. A műfajt detektálta. Formálisabban, ahogyan a detektálási probléma 2026-os statisztikai elemzése megfogalmazná, nincs olyan mód, amellyel olyan detektort lehetne építeni, amely különbséget tesz egy olyan mondat között, amely azért kiszámítható, mert szoftver írta, és egy olyan mondat között, amely azért kiszámítható, mert az adott műfajban éppen ilyen mondatot írunk. Kívülről nézve pontosan ugyanúgy festenek.

A jelentős szerkesztés hasonló irányba hat. Az első vázlat megőrzi az író sajátos szabálytalanságait: a szokatlan szórendet, a túlságosan hosszú mondatot, mert a gondolat is elnyúlt. Az alapos lektorálás, különösen ha egy másik eszközzel futtatják, éppen ezeket a szabálytalanságokat szokta elsimítani. A detektáló eszközök eddigi legnagyobb független összehasonlítása 14 ilyen eszközt vizsgált, és azt találta, hogy a pontosság mindegyiknél tovább romlott, miután a mintaszöveget parafrazálták vagy gépi fordítással alakították át.

Írásbeli jellemző	Miért csökkenti a dokumentum látszólagos kiszámíthatatlanságát	Mit mutatnak a bizonyítékok
Rövid beadott szövegek	A kevesebb szöveg kevesebb teret hagy annak a természetes változatosságnak, amely elválasztja az emberi ritmust a gépi ritmustól	A rövid dokumentumokra adott pontszámok jobban ingadoznak néhány szokatlan mondat hatására
Formulaisztikus vagy szakterület-specifikus írás	A műfaji konvenció az elvárt fordulatot jutalmazza az ötletes helyett	14,400, ChatGPT előtti folyóirat-absztrakt, 1980 és 2023 között, továbbra is legfeljebb 8% hamis pozitív eredményt váltott ki, egy folyóirat absztraktjai elérték a 10.24%-ot
Erősen szerkesztett vagy parafrazált vázlatok	A csiszolási folyamat elsimítja azokat az egyéni szabálytalanságokat, amelyeket a detektor emberinek olvas	Egy független, 14 eszközt összehasonlító vizsgálat szerint a pontosság tovább csökkent parafrazálás vagy gépi fordítás után
Idézett vagy sablonos anyag	Az idézett részlet a forrásának statisztikai lenyomatát hordozza, nem az idéző íróét	Azok a detektorok, amelyek nem zárják ki az idézeteket, a környező dokumentumot a kölcsönzött szöveg alapján pontozzák

Miért nem egyeznek a közzétett arányok és a valós környezetben mért arányok

Minden nagyobb detektor körülbelül egy százalékos vagy annál alacsonyabb hamis pozitív arányt tesz közzé. Ugyanezeknek az eszközöknek a független tesztjei, különböző dokumentumokon, eltérő körülmények között futtatva, rendszeresen ennél jóval magasabb értéket jeleznek, néha tízszeres vagy még nagyobb különbséggel. Mindkét szám helytálló lehet, és mégis szinte semmi közös nincs bennük, mert nem ugyanazt mérik.

Turnitin jó példa éppen azért, mert több részletet tesz közzé, mint a legtöbb versenytársa: a dokumentumszintű hamis pozitív arány 1 százalék alatt van, feltéve hogy egy beküldött anyag több mint 20 százalékát AI által írtként jelölik, továbbá a vállalat azt is közli, hogy a valós eredmények eltérnek a saját laboratóriumi tesztjeitől. A Washington Post 2023-ban 16 valós dokumentumot futtatott át ugyanazon az eszközön, és azt találta, hogy több mint a felük legalább részben tévesen lett azonosítva, köztük egy teljesen ember által írt esszét is, amelyet részben AI által generáltnak jelöltek. Egyik szám sem kitaláció. Különböző mintákból, különböző küszöbértékekből és abból erednek, hogy mi számít jelölésnek.

Ugyanez a rés az egész iparágban megjelenik, nem csak egyetlen vállalatnál. Az a 14 eszközt összehasonlító vizsgálat azt találta, hogy mindegyikük összességében 80 százalék alatti pontosságot ért el, és hogy a tizennégyből hat már a parafrazálás megjelenése előtt hamis pozitív eredményt adott változatlan emberi szövegre. Egy közzétett szám egy benchmarkot ír le. Nem azt írja le, hogy milyen a professzor előtt éppen ott fekvő dokumentum.

Miért nem jelent a magabiztos pontszám magabiztos vádat

A hamis pozitív arány úgy hangzik, mintha azt jelentené, mekkora az esélye annak, hogy egy problémásként jelölt hallgató ártatlan. De nem erről van szó. Arról ír, hogyan működik egy teszt mindenkinél, akin alkalmazzák. És ezek különböző kérdések, különböző válaszokkal, ahogyan bármely szűrővizsgálatnál az orvoslásban vagy a biztonságtechnikában.

Egy Griffith University kutatótól származó, 2026 márciusi statisztikai elemzés világossá teszi az alapul szolgáló matematikát. Ha az AI felismerést nem egyetlen elkülönített dokumentumra, hanem egy hallgatói írókból álló populációra alkalmazott tesztként kezeljük, akkor egy kompromisszum jelenik meg: valahányszor e populáció valamely része olyan módon ír, amely természetesen átfedésben van a tipikus AI kimenettel, közel áll a műfaji konvencióhoz, közel áll egy második nyelvet tanuló író tartományához, minden olyan detektornak, amely valóban képes az AI által írt munka felismerésére, ezen az átfedő részen tévesen kell működnie. Ez nem azt állítja, hogy egy adott detektor rosszul van megépítve. Ez annak a tulajdonsága, hogy egy sokféle populációt egyetlen dokumentummal és minden egyéb bizonyíték nélkül tesztelünk.

A tanulmány saját szemléltető példája jól mutatja az érintett léptéket. Tegyük fel, hogy egy hallgatói populáció 10 százaléka az általános AI kimenethez elég közel ír, és egy detektort úgy hangolnak, hogy az a ténylegesen AI által írt munkák 80 százalékát észlelje. A matematika ekkor azt követeli meg, hogy az adott populációban az átlagos hamis pozitív arány legalább 7.5 százalék legyen. Ez nem a detektor mérnöki hibája, hanem annak közvetlen következménye, hogy az adott csoport írása statisztikailag mennyire fed át azzal, amit észlelni próbálnak.

Egy 10,000 fős egyetemre vetítve ez az alsó határ önmagában körülbelül 750 hamis jelzést jelentene a teljes populációban, ami annak matematikai következménye, hogy egy sokféle populációt egyetlen dokumentummal hasonlítanak össze, minden egyéb bizonyíték mérlegelése nélkül. A tanulmány szerzője világosan kimondja, hogy ezek a konkrét számok szemléltető jellegűek, nem pedig egy valós intézményben mért adatok. A példa a probléma szerkezetét mutatja meg, nem pedig egyetlen campusra vonatkozó konkrét előrejelzést.

Mindebből nem következik, hogy egy jelzett pontszám értelmetlen. Azt jelenti, hogy a pontszám csupán egy gyenge, populációs szintű jel, amelytől egyetlen egyénre vonatkozó kérdés megválaszolását várják, és ezt az eltérést önmagában semmilyen szállítói csiszolás nem tudja teljesen megszüntetni. A felelős értelmezés a számot arra használja, hogy jobb bizonyítékokat gyűjtsön, vázlatokat, verziótörténetet, vagyis annak a szokásos írási nyomait, hogy valaki ténylegesen ír valamit. TextPulse's free tools lehetővé teszik, hogy az író ellenőrizze, hol áll a vázlat ezeken a mérőszámokon, még mielőtt bárki más megtenné, és ez a technológia egy másik felhasználása, mint egy adott detektor kijátszásának kísérlete.

Mely írók néznek szembe a legnagyobb kockázattal

A kutatás két csoportot emel ki, amelyek jobban kitűnnek a többinél, azok az emberek, akik második nyelven írnak, és azok az emberek, akik természetüknél fogva nagyon strukturáltan vagy ismétlődően írnak, olyan okokból, amelyek nem kapcsolódnak ahhoz, hogyan írták meg az esszéjüket. Mindkét írói típus ugyanazon a statisztikai mintázaton jelenik meg, amelyet egy detektor észlelésére terveztek.

Az angol anyanyelvűekkel nem rendelkező beszélők viselik a legnagyobb dokumentált kockázatot. Független tesztelések ismételten azt találták, hogy az érzékelők a folyékony, második nyelven írt akadémiai szövegeket jóval nagyobb arányban értelmezik gép által generáltnak, mint az anyanyelvi szövegeket. TextPulse ESL akadémiai íróknak szóló oldala részletesebben ismerteti e kockázat mechanizmusát, beleértve azt is, hogy mely megfogalmazási mintázatok állnak mögötte.

Egy második, kevésbé tárgyalt csoport hasonló problémával szembesül. Kutatók körülbelül 60,000 Reddit-bejegyzést hasonlítottak össze, egy olyan részhalmazra bontva, amelyet valószínűleg autista szerzők írtak, valamint egy általános mintára, majd mindkettőt egy GPT-2-alapú érzékelőn futtatták át. Mindkét csoportnál összességében 2 percent alatt maradt a megjelölés aránya, de a valószínűleg autista részhalmazt szignifikánsan magasabb arányban jelölte meg a rendszer, mint az általános mintát. Az a szöveg, amely a szó szerinti, ismétlődő, szorosan mintázott megfogalmazás felé hajlik, ami egyes autista kommunikációs stílusok dokumentált jellemzője, pontosan azt az alacsony változatosságú szöveget hozza létre, amelyet egy érzékelő arra terveztek, hogy észleljen.

Két szolgáltató tesz közzé annyit, hogy az állítás ellenőrizhető legyen. Turnitin saját hamis pozitív aránya külön kerül bemutatásra, és ZeroGPT pontosságát külön oldalon vizsgáljuk. Az, hogy ezek a hibák kire hatnak a legsúlyosabban, ismét külön kérdés, és annak, hogy miért jelölik meg gyakrabban a nem anyanyelvi angol írókat, saját magyarázata van.

Valószínűleg egyik sem fog hamarosan egyszerűbbé válni. Az érzékelők tovább javulnak majd a valóban gép által írt szövegek felismerésében, és a népesség sokfélesége továbbra is elő fog állítani valamennyi hamis vádolási arányt, amelyet önmagában a jobb mérnöki megoldások sem tudnak teljesen megszüntetni. A hasznosabb szemléletváltás már most is zajlik egyes intézményekben, vagyis a pontszámot beszélgetés kezdetének tekintik, nem pedig végének, és azt kérdezik meg, hogy egy közzétett arányt valójában milyen populáción teszteltek, mielőtt megbíznának abban, hogy az a kezükben lévő dokumentumra is érvényes.