Hogyan működnek az AI detektorok? Perplexitás, burstiness és tokenvalószínűség

Az egyetem elkezdte AI detektorral ellenőrizni a beadott munkákat, és egy jelentés olyan számot adott vissza, amire nem számított. Mielőtt vitatni próbálná, hasznos tudni, mit jelent ez a szám. Hogyan működnek az AI detektorok? Nem úgy olvassák a gépi szöveget, ahogyan egy ember tenné. Azt mérik, mennyire kiszámítható a szövege egy nyelvi modell számára, majd ezt a kiszámíthatóságot pontszámmá alakítják. Ebben az eljárásban semmi sem azt vizsgálja, hogy mit ért, mi az érvelése, vagy hogy valóban Ön írta-e a szöveget.

Évek óta építek olyan eszközöket, amelyek statisztikailag bontják szét a szöveget, és a detektálás megértésében az egyetlen legfontosabb dolog ez: ez a tipikusság mérése, nem az eredeté. Ha ez világossá válik, a technológia és a hibái is sokkal érthetőbbé válnak.

Mit mér valójában egy detektor

Egy detektor nem tudja, ki írt bármit is. Ami rendelkezésére áll, az egy nyelvi modell és egy pontozási függvény. A modell balról jobbra olvassa a szöveget, és minden ponton valószínűségi eloszlást állít elő arról, hogy melyik szónak kell következnie. Ha megkapja a "the results of the" szavakat, a "study" szót rangsorolja a legmagasabbra, az "experiment" szót valamivel alacsonyabbra, a "marmalade" szót pedig valahol a nulla közelébe.

Ezért a detektor egyetlen kérdést tesz fel a dokumentumáról: milyen gyakran választotta ez a szöveg azt a szót, amelyet a modell várt? Az a szöveg, amely folyamatosan nagy valószínűségű szavakat választ, gépi eredetűnek tűnik, mert pontosan ezt teszi egy szöveggenerátor. A modell újra és újra a saját eloszlásának tetejéről mintavételez, több ezer tokenen át.

Ezért áll ez az egész kategória ingatagabb alapon, mint amit a marketing sugall. Egy detektor nem vízjelet vagy ujjlenyomatot keres. Azt veszi észre, hogy a prózája statisztikailag nem meglepő, és a nem meglepő prózának a chatboton kívül is sok oka lehet.

Perplexity: mennyire lepődik meg a modell

A fő mérőszámot perplexitynek nevezik, és ez egyszerűbb, mint amilyennek hangzik. Vegyük annak a valószínűségét, amelyet a modell minden egyes ténylegesen előforduló szónak rendelt, átlagoljuk ezeknek a valószínűségeknek a logaritmusait, majd exponenciáljuk az eredményt. Ami kijön, az egyetlen szám, amely azt írja le, mennyire lepte meg a modell az Ön dokumentumát. Ahelyett, hogy találgatna, ellenőrizheti saját vázlatának perplexityjét.

Az alacsony perplexity azt jelenti, hogy a szöveg arra haladt, amerre a modell várta. A magas perplexity azt jelenti, hogy folyamatosan olyan fordulatokat vett, amelyeket a modell nem várt. Az emberi írás általában magasabban helyezkedik el, mert az emberek hajlamosak a szokatlan, konkrét főnévre, a rendhagyó szerkezetre, a váratlanul kezdődő mondatra. A generált szöveg általában alacsonyabban helyezkedik el, mert a dekódolási folyamat éppen az ilyen lépések elkerülésére épül.

Hasonlítson össze kétféle kezdést egy módszertani részben. A "The results of the study were statistically significant" olyan szekvencia, amelyet szinte bármely modell nagy biztonsággal megjósolna, mert nem hordoz váratlan információt. A "Two of the three cohorts drifted before week six, which we had not planned for" sokkal kevésbé kiszámítható, mert konkrét, nehézkes információt hordoz, amelyet a dolgozat többi részéből nem lehetett volna kitalálni. A második valódi meglepetést okoz az detektornak, és ez a meglepetés az, ami emberinek számít.

Burstiness: a variancia, nem az átlag

Önmagában a perplexity nem elég, mert egy dokumentum átlaga lehet teljesen ésszerű szám, miközben alatta gyanúsan egyenletes marad. Ami számít, az a szövegen belüli változatosság, és ezt méri a burstiness: mennyire ingadozik a mondathossz és a mondatszintű perplexity, miközben az írás halad előre. Egy burstiness checker közvetlenül megmutatja ezt a szóródást.

Gyorsabban haladunk, amikor magabiztosak vagyunk, és lassabban, amikor óvatosan fogalmazunk, és ez a ritmus a prózában is megmarad. Az emberek szakaszosan írnak. Egy bekezdés kezdődhet egy nyolc szavas rövid kijelentő mondattal, majd belefuthat egy harmincnégy szavas mondatba, amely három mellékmondatot és egy zárójeles betoldást hordoz, aztán visszaeshet valami rövidebbre.

A modell kimenete ezt nem teszi megbízhatóan. A mondatok a közepes hossz körül csoportosulnak. A bekezdések rendezett csomagokban jelennek meg. Minden szakasz úgy kezdődik, hogy újrafogalmazza a saját címét. Folyékonyan olvasható, mégis rosszul teljesít, mert a mondatok közötti alacsony variancia az egyik legerősebb jel, amellyel egy detektor rendelkezik. Nem egyetlen mondat árulja el. Hanem az egyformaság.

Jel	Mit mér	Miért kap alacsony pontszámot a gépi szöveg
Perplexity	Az, hogy a modell mennyire lepődik meg a szóválasztásaidon, a teljes dokumentumra átlagolva	A dekódolás tervezetten nagy valószínűségű tokenekből mintavételez
Burstiness	Az, hogy mennyire változik a mondathossz és az előrejelezhetőség a szövegben	A kimenet a középérték körül csoportosul, ahelyett hogy kilengene
Token probability	Az egy szóra jutó valószínűség, amelyből a másik kettőt kiszámítják	Hosszú sorozatok egyenként jelentéktelen választásokból

A token probability és az, honnan származik a pontszám

Mindkét szám egy harmadikból épül fel, mégpedig az egy tokenre jutó log-likelihoodból, abból az alapanyagból, amelyből minden mást kiszámítanak. Egyes eszközök közvetlenül megmutatják ezt, kiemelve azokat a szakaszokat, ahol a szöveged a leginkább előrejelezhető volt. Ezek a kiemelések nem konkrét mondatokra vonatkozó vádak, bármit is sugalljon a felület. Azok a részek, amelyek a legtöbbet járultak hozzá egy dokumentumszintű számhoz.

A kutatási megközelítések túlléptek az egyszerű küszöbértékeken. DetectGPT és utódai a görbületet vizsgálják, enyhén megzavarják a szöveget, majd ellenőrzik, hogy a valószínűség olyan mintázatban csökken-e, amelyet a generált szöveg hajlamos mutatni. Mások ugyanazt a részletet két különböző modell alatt hasonlítják össze, és az eltérést jelként használják.

Egy következmény mindazok számára fontos, akiket értékelnek. Mivel a metrikákat egy adott referencia modellhez viszonyítva számítják ki, egy pontszám mindig relatív ahhoz a modellhez. Két detektor ugyanazt a bekezdést olvashatja, és teljesen eltérő következtetésre juthat, és egyik sem hibásan működik. Ugyanarra a kérdésre válaszolnak, csak eltérő viszonyítási pontokkal.

A második következményt ritkábban említik. Egy modell csak akkor tud egy szakaszt előrejelezhetőnek találni, ha az a szakasz hasonlít arra, amin tanították, ezért az észlelés minősége romlik, ahogy nő a távolság a referencia modell és aközött, ami a szöveget létrehozta. Az újabb generátorok, a szokatlan szakterületek és az angoltól eltérő nyelvek mind növelik ezt a távolságot. Ez is oka annak, hogy a kontrollált benchmarkban mért pontosság ritkán állja ki a valós beadott anyagok tömegével való találkozást.

Miért észlelnek egyáltalán AI szöveget

Hogyan választja ki egy nyelvi modell a következő szót

Ha magára hagynánk, egy nyelvi modell egyszerűen közölné a lehetséges következő szavak teljes rangsorolt listáját, és hagyná, hogy valami más válasszon. A gyakorlatban egy dekódolási stratégia automatikusan meghozza ezt a döntést, szóról szóra, és az, hogy melyik stratégia fut, megváltoztatja a kimenet megjelenését akkor is, ha az alapul szolgáló modell soha nem változik.

A mohó dekódolás mindig az egyetlen legvalószínűbb szót választja. Abban a tanulmányban, amely a nucleus samplinget javításként bevezette, Ari Holtzman és társszerzői megfigyelték, hogy ennek a stratégiának a követése olyan szöveghez vezet, amely az ő szavaikkal élve, 'jellegtelen és furcsán ismétlődő.' A beam search, amely egyszerre több valószínű folytatást követ nyomon, mielőtt egy mellett döntene, ugyanennek a problémának egy hasonló változatába ütközik.

A mintavételezési stratégiák bizonyos mértékben visszahozzák a véletlenszerűséget, de ellenőrzött módon. A hőmérséklet azt szabályozza, hogy a modell milyen erősen részesíti előnyben a saját legjobb választásait, mielőtt egy szót kiválasztanak. A nucleus sampling, amelyet néha top-p-nek is neveznek, a valószínűségi eloszlást a szavak legkisebb olyan halmazára szűkíti, amelynek együttes valószínűsége elér egy küszöbértéket, és csak ebből a halmazból mintavételez, az eredeti tanulmányban úgy leírva, mint a valószínűségi eloszlás dinamikus magjából való mintavételezés, nem pedig annak megbízhatatlan farkából.

Még e beállítások legkevésbé determinisztikus változata is olyan rövid listából merít, amelyet az alapján állítottak össze, amit a modell már eleve valószínűnek tart. Az emberi írás soha nem úgy keletkezett, hogy egy szókészletet rangsoroltak, majd annak éléről választottak, ezért folyamatosan túllép ezen a rövid listán. Az értelem néha abban a szóban rejlik, amely soha nem szerepelt a listán.

Szókészleti laposság: kevesebb, biztonságosabb szó

A szókészleti laposság ugyanezen szokás szószintű változata. Egy mondat minden pontján tucatnyi szó folytathatná azt hihetően, de néhány jóval a többi fölött áll a modell rangsorában, és a dekódolás rendre erre a néhányra esik vissza. Ha ezt a választást egy dokumentum minden mondatára kiterjesztjük, a ténylegesen használt szavak köre mérhetően beszűkül egy hasonló hosszúságú emberi szöveghez képest.

A hatás nem állandó, hanem összeadódik. Az a modell, amely az első mondatban a legmagasabban rangsorolt szót választja, nagyobb valószínűséggel alakít ki olyan környezetet, amelyben a második mondat legmagasabban rangsorolt szava is gyakori, mivel a gyakori szavak hajlamosak gyakori szavakat követni. Az emberi szerző ezt az elmozdulást folyamatosan megszakítja, a pontos szakkifejezéshez nyúl, a kissé szokatlan igét választja, azt a szót keresi, amely a tényleges dolgot nevezi meg, nem pedig annak biztonságos közelítését. Ez a különbség a generált változatban mérhetően kisebb működő szókészletként jelenik meg, még akkor is, ha mindkét változat ugyanazokat az alapvető tényeket írja le.

Ez az egész szakasz tulajdonsága, nem egyetlen szóválasztásé. Egyetlen biztonságos szó sem bizonyít semmit. Egy oldalnyi ilyen szó, amely mondatról mondatra ugyanarra a gyakori szókészleti rangra törekszik, az, amit a detektor szószintű jele valójában észlelni hivatott.

Szintaktikai egyneműség: ugyanazok a minták, ismétlődve

A szintaktikai egyneműség a mondatszintű változat. Nem arról szól, milyen hosszú egy mondat. Arról szól, hány különböző nyelvtani mintát használ egy szövegrész: hogyan nyílnak a mondatok, hogyan kapcsolódnak egymáshoz a tagmondatok, milyen gyakran végzi az összekötés munkáját egy átmeneti szó egyik gondolattól a következőig. Az a modell, amely továbbra is a statisztikailag valószínű következő szerkezetet jósolja, néhány minta kis körforgásába rendeződik, és ezt ismétli.

Egy bekezdés változtathatja a mondathosszait, és mégis szintaktikailag laposnak olvasható, ha minden mondat ugyanazt a alany-ige-kiegészítés szerkezetet követi, ugyanazzal a fajta átmenettel kezdődik, vagy ugyanúgy zárul le. Az előrejelezhetőség a mintázatban rejlik, nem a szószámban, ezt a különbséget részletesebben tárgyalja a mit mér valójában a burstiness útmutató.

Mi szűkül be	Mit tesz a dekódolásra optimalizált szöveg általában	Mit tesz az emberi írás általában
Szóválasztás	Minden lépésnél a legvalószínűbb közhasználatú szóra áll rá	Az adott dolgot megnevező, pontosabb vagy kevésbé gyakori szót keresi
Mondategész kezdete	Ugyanazon biztonságos átvezető kezdések kis váltakozását ismétli	Változtatja, hogyan kezdődik a mondat, beleértve azokat a kezdéseket is, amelyeket egy modell kevésbé valószínűnek rangsorolna
Mellékmondat-szerkezet	Egy vagy két előnyben részesített nyelvtani alakzatot ismétel egy szakaszon belül	Egyszerű és összetett szerkezeteket vegyít aszerint, hogy mire van szüksége a mondatnak

Azok a választások, amelyeket csak az ember hajlamos meghozni

A szűk tartomány másik oldala az, ami azon kívül esik. Aki valós eseményeket ír le, az pontos számadatot választ a kerek helyett, elismeri azt a részt, amely nem működött, félbeszakít egy mondatot, hogy menet közben kijavítsa, vagy olyan szót választ, amely helyes, nem pedig tipikus. Ezek mindegyike egy nyelvi modell szemszögéből alacsony valószínűségű token, éppen az a fajta, amelynek elkerülésére a dekódolás épül.

Ez mind nem jelenti azt, hogy a konkrét vagy szokatlan írás minden jelöléstől védett, vagy hogy a gördülékeny, helyes írás alapértelmezés szerint gyanús. Egy módszertani rész, egy jogi záradék vagy egy erősen szerkesztett végleges változat olyan okokból is beleeshet egy szűk tartományba, amelyeknek semmi közük egy modellhez, ezért egyetlen pontszám inkább egy mintázat leírása, mintsem ítélet arról, ki gépelte be.

Az, hogy a saját vázlatunk hol helyezkedik el ezen a sávon, hasznosabb, mint találgatni. A TextPulse ingyenes perplexity-ellenőrzője és burstiness-ellenőrzője külön méri a szószintű kiszámíthatóságot és a mondatról mondatra változó ritmust, így a lapos szókincs és az ismétlődő mondatszerkezet két külön jelként jelenik meg, nem pedig egyetlen összemosott számként.

Ebből két szűkebb oldal következik. Az egyik a hogyan észleli a Turnitin kifejezetten az AI-t, a másik pedig a hasonlósági pontszám és az AI-pontszám közötti különbség, mivel ezt a kettőt rendszeresen összekeverik egymással.

Mindkettő a tágabb ingyenes eszközök gyűjteményén belül található, mindazok számára, akik inkább saját maguk szeretnék látni a mintázatot, semmint vakon megbízni egyetlen számban.

Mennyi a weben az AI által generált tartalom aránya?

Több mérőszám szerint a gép által előállított szöveg ma már meghaladja az ember által írt szöveg mennyiségét az interneten. Az Amazon Web Services egyik csapata 6.4 milliárd, a weben található mondatot elemzett, és megállapította, hogy 57.1% gépi fordításként létezett három vagy több nyelven, és ennek nagy része gyenge minőségű volt. A Graphite SEO cég 2025-ös elemzése szerint az újonnan közzétett webes cikkek valamivel több mint fele AI által generált volt. A Wikipedia sem kivétel: egy Princeton által készített, 2024 augusztusában létrehozott oldalakra vonatkozó tanulmány szerint az új angol nyelvű cikkek körülbelül egyhuszada jelentős mértékben AI által generált volt.

Az arány növekszik, mert a modellkimenet költsége nagyságrendekkel alacsonyabb, mint az emberi írásé, és minden kereskedelmi ösztönző ugyanabba az irányba mutat. Egész platformok már emberi szerzők nélkül működnek: a Chirper egy olyan közösségi hálózat, amelyet teljes egészében AI-fiókok népesítenek be, ahol az emberek csak figyelhetnek, a SocialAI pedig olyan hírfolyamot kínál, amelyben minden válasz botoktól érkezik. A fórumok, az értékelési szekciók és a hozzászólásláncok kisebb léptékben ugyanezt a mintázatot mutatják.

Az észlelés szempontjából ez megváltoztatja az alapráta értékét. Egy, 2023-ban tetszőleges webszöveget olvasó osztályozó feltételezhette, hogy annak nagy része emberi eredetű, egy 2026-os osztályozó ezt már nem teheti meg. Ez visszahat magukra a modellekre is, mivel minden új generáció olyan weben tanul, amelybe elődei már beleírták magukat, és ez az egyik oka annak, hogy az észlelők által figyelt szókincsbeli mintázatok inkább terjednek, mintsem elhalványulnak.

A saját írása szempontjából ennek a következménye egyértelmű, az ember által írt próza egyre inkább a kisebbségi osztályba kerül, és ezt a javítók, szerkesztők és olvasók is tudják. A fokozott gyanakvás ma az alapértelmezett állapot, és éppen ezért érdemes megérteni, mit képes és mit nem képes mérni egy észlelő.

Mit adnak hozzá a kereskedelmi észlelők

Az intézmények által ténylegesen megvásárolt eszközök nem a tankönyvi perplexityt futtatják. A Turnitin, GPTZero, Originality.ai és a többiek felügyelt osztályozókat tanítanak nagy, címkézett emberi és gépi szövegkészleteken, statisztikai jellemzőket használva a stilisztikai jellemzők mellett. Amit az osztályozó megtanul, az az, ami a tanítási adataiban elválasztja ezt a két halmazt, és ez szűkebb, valamint inkább történeti jellegű dolog, mint az "AI writing" általában.

A tanítási függőség a csendes probléma. Egy olyan osztályozónak, amelyet elsősorban egy modellgeneráció kimenetén tanítottak, általánosítania kell az újabb modellekre, az ismeretlen szakterületekre és azokra az írókra, akiknek az angolja nem hasonlít a tanítási eloszlására. A szolgáltatók saját értékeléseikből közölnek pontossági értékeket, és a független benchmarkok rendszeresen jóval ezek alatt az értékek alatt teljesítenek ugyanazokon az eszközökön.

Egy pontszám olvasása anélkül, hogy túlértelmeznénk

Egy észlelő jelentése általában százalék formájában érkezik, és ezt a százalékot rendszeresen félreolvassák. Ez nem annak az aránya, hogy a dokumentumának mekkora részét írta gép. Az eszköztől függően ez az osztályozó bizonyossága, vagy azoknak a mondatoknak az aránya, amelyek átléptek valamilyen belső küszöbértéket, és a szolgáltatók gyakran homályosak abban, hogy melyikről van szó. Két olyan jelentés, amely egyaránt hatvan százalékot mutat, nagyon különböző dolgokat jelenthet.

Az is érdemes tudni, hogy mi mozdít el egy pontszámot olyan okokból, amelyeknek semmi közük ahhoz, hogy ki írta. A rövid dokumentumok zajosabbak, mert kevesebb szöveg áll rendelkezésre ahhoz, hogy az átlagok kialakuljanak, és egy ötszáz szavas esszé nagyot ingadozhat két vagy három szokatlan mondat hatására. Az idézett anyag is beleszámít, hacsak az eszköz nem szűri ki, így egy blokkidézetekkel teli irodalmi áttekintés örökli annak a kiszámíthatóságát, amit idéz. Egy standard terminológiával terhelt műszaki szakasz ugyanígy viselkedik.

Ha Ön kap egy jelzést, a hasznos válasz bizonyíték, nem pedig vita a mérőszámról. A verziótörténet, a piszkozatok, a jegyzetek és a keresési rekordok mind a folyamatról tanúskodnak, és éppen a folyamat az, amit egy fegyelmi bizottság ténylegesen értékelni tud. Nincs olyan küszöb, amelyre bárki rámutathatna, és amely elválasztaná a gondos írót a modelltől.

Miért jelölnek meg a detektorok olyan szöveget, amelyet egy modell sem hozott létre

A téves pozitív eredmények nem ritka meghibásodások. Közvetlenül a tipikusság méréséből következnek. Bármely írás, amely valóban kiszámítható, kiszámíthatónak fog pontozódni, függetlenül attól, hogy ki állította elő.

A nem anyanyelvi angol írókat érinti ez leginkább. A Stanford kutatói azt találták, hogy a detektorok a nem anyanyelvi beszélők esszéinek nagy részét gép által generáltnak minősítették, miközben az anyanyelvi beszélők esszéit helyesen sorolták be. Az ok mechanikus, nem rosszindulatú: a második nyelven dolgozó írók hajlamosak a bevett szerkezetekre és a gyakoribb szókincsre támaszkodni. Ez pontosan az alacsony perplexity profilja, ezért az ESL írókat azért jelölik meg, mert gondosan írnak.

Az akadémiai konvenciók ugyanezt a problémát okozzák. Egy módszertani szakasznak sablonosnak kell lennie. A jogi írás, a műszaki dokumentáció és a klinikai jelentés mind a szabványos megfogalmazást jutalmazza az ötletes helyett. A kiterjedt szerkesztés tovább súlyosbítja ezt, mivel egy piszkozat csiszolása általában azokat az egyenetlenségeket távolítja el, amelyek a statisztikai aláírását hordozták.

Az intézmények is észrevették. A Vanderbilt letiltotta a Turnitin AI-észlelési funkcióját, ahelyett hogy olyan pontszámokra támaszkodott volna, amelyeket nem tudott ellenőrizni, és más egyetemek korlátozták, hogyan használhatók fel a számok fegyelmi eljárásokban. A detektor pontszámát csak egy gyenge bizonyítékként kezelje, ne ítéletként.

Mit jelent ez a saját írása számára

A mechanizmusokból következő gyakorlati tanácsok nem különösebben szokatlanok, és egyik sem jelent bármiféle trükközést. Tudatosan váltogassa a mondathosszokat, mert az egyformaság az, ami jelzést ad. Tartsa meg a konkrét részletet, a tényleges számot, a tényleges korlátot, azt, ami a hatodik héten elromlott. Az általános kompetencia az, ami gépi eredetűnek számít, a konkrétság pedig egyszerre jobb írás és erősebb jel.

Őrizze meg a saját szóhasználatát is. Ha van egy sajátos módja annak, ahogyan megfogalmaz dolgokat, hagyja benne. Az az ösztön, hogy a vázlatot addig csiszolja, amíg úgy nem hangzik, mint a szakterület minden más dolgozata, az az ösztön, amely csökkenti a perplexity értékét.

Valamit érdemes elkerülni: egyes eszközök szándékosan nyelvtani hibákat vezetnek be, hogy növeljék a perplexity értékét. Ez a mérőszámon működik, de rendkívül rossz ötlet minden olyan szövegnél, amelyet osztályoznak vagy szakmai bírálatnak vetnek alá, mivel egy gyanút bizonyosságra cserél. A cél olyan írás, amely az Ön szövegeként olvasható, nem pedig olyan írás, amelyet szándékosan megrongáltak. Ez a teljes különbség a emberi olvasó számára történő átírás és a szöveg megrongálása között, hogy megtévesszen egy pontozót.

Ha ezeket a számokat a saját vázlatán szeretné látni, ahelyett hogy egy fekete doboz szavára hagyatkozna, az alapul szolgáló mérések nem titkosak. Az ingyenes szövegelemző eszközök megmutatják, hol helyezkedik el az Ön prózája, és maga döntheti el, hogy a laposabb szakaszok olyan stiláris problémát jelentenek-e, amelyet érdemes kijavítani.