Hogyan működnek az AI-detektorok? Perplexity, burstiness és tokenvalószínűség

Az egyetem elkezdte AI detektoron futtatni a beadott munkákat, és egy jelentés olyan számot hozott vissza, amire nem számított. Mielőtt megpróbálná vitatni, érdemes tudni, mit jelent ez a szám. Hogyan működnek az AI detektorok? Nem úgy olvassák a gépi szöveget, ahogyan egy ember tenné. Azt mérik, mennyire kiszámítható a szövege egy nyelvi modell számára, majd ezt a kiszámíthatóságot pontszámmá alakítják. Ebben a folyamatban semmi sem vizsgálja, mit ért, mi az érvelése, vagy hogy valóban Ön írta-e a szöveget.

Évek óta építek olyan eszközöket, amelyek statisztikailag bontják szét a szöveget, és a detektálásról a legfontosabb dolog, amit meg kell érteni, ez: ez a tipikusság mérése, nem az eredeté. Ha ez világossá válik, a technológia és a hibái is sokkal érthetőbbé válnak.

Mit mér valójában egy detektor

Egy detektor nem tudja, ki írt bármit is. Ami rendelkezésére áll, az egy nyelvi modell és egy pontozási függvény. A modell balról jobbra olvassa a szöveget, és minden ponton valószínűségi eloszlást állít elő arról, hogy melyik szónak kellene következnie. Ha megadja neki a "the results of the" szavakat, a "study" szót rangsorolja a legmagasabbra, az "experiment" szót valamivel lejjebb, a "marmalade" szót pedig valahol a nullához közel.

Így a detektor egyetlen kérdést tesz fel a dokumentumának: milyen gyakran választotta ez a szöveg azt a szót, amelyet a modell várt? Az az írás, amely folyamatosan nagy valószínűségű szavakat választ, gépi eredetűnek tűnik, mert pontosan ezt teszi egy szöveggenerátor. A modell újra és újra a saját eloszlásának felső részéből mintavételez, több ezer tokenen át.

Ezért az egész kategória ingatagabb alapokon áll, mint amit a marketing sugall. Egy detektor nem vízjelet vagy ujjlenyomatot keres. Azt veszi észre, hogy a prózája statisztikailag nem meglepő, és a nem meglepő prózának a chatboton kívül is sok oka lehet.

Perplexity: mennyire lepődik meg a modell

A fő mérőszámot perplexitynek nevezik, és ez könnyebb, mint amilyennek hangzik. Vegyük annak a valószínűségét, amelyet a modell minden egyes ténylegesen előforduló szónak rendelt, átlagoljuk ezeknek a valószínűségeknek a logaritmusait, majd exponenciáljuk az eredményt. Ami kijön, az egyetlen szám, amely azt írja le, mennyire lepte meg a modell az Ön dokumentumát. Ahelyett, hogy találgatna, ellenőrizheti saját vázlata perplexityjét.

Az alacsony perplexity azt jelenti, hogy a szöveg arra haladt, amerre a modell várta. A magas perplexity azt jelenti, hogy olyan fordulatokat vett, amelyeket a modell nem várt. Az emberi írás általában magasabban helyezkedik el, mert az emberek hajlamosak a szokatlan, konkrét főnévre, a rendhagyó szerkezetre, arra a mondatra, amely váratlanul kezdődik. A generált szöveg általában alacsonyabban helyezkedik el, mert a dekódolási folyamatot éppen az ilyen lépések elkerülésére építik.

Hasonlítson össze két módot egy módszertani rész bevezetésére. A "The results of the study were statistically significant" olyan szekvencia, amelyet szinte bármely modell nagy biztonsággal megjósolna, mert nem hordoz váratlan információt. A "Two of the three cohorts drifted before week six, which we had not planned for" sokkal kevésbé kiszámítható, mert konkrét, nehézkes információt hordoz, amelyet a dolgozat többi részéből nem lehetett volna kitalálni. A második valódi meglepetést okoz az detektornak, és ez a meglepetés az, ami emberinek látszik.

Burstiness: a variancia, nem az átlag

Önmagában a perplexity nem elég, mert egy dokumentum átlaga lehet teljesen ésszerű szám, miközben alatta gyanúsan egyenletes marad. Az számít, hogy a szövegben milyen a változatosság, és ezt méri a burstiness: mennyire ingadozik a mondathossz és a mondatszintű perplexity, ahogy az írás halad előre. Egy burstiness checker közvetlenül megmutatja ezt a szóródást.

Gyorsabban írunk, amikor magabiztosak vagyunk, és lassabban, amikor óvatosan fogalmazunk, és ez a ritmus megmarad a prózában is. Az emberek szakaszosan írnak. Egy bekezdés kezdődhet egy nyolc szóból álló rövid kijelentő mondattal, átmehet egy harmincnégy szavas mondatba, amely három mellékmondatot és egy zárójeles betoldást tartalmaz, majd visszaeshet valami rövidebbre és lendületesebbre.

A modell kimenete ezt nem teszi megbízhatóan. A mondatok a közepes mondathossz köré csoportosulnak. A bekezdések rendezett csomagokban jelennek meg. Minden szakasz úgy kezdődik, hogy újrafogalmazza a saját címét. Folyékonyan olvasható, mégis rosszul teljesít, mert a mondatok közötti alacsony variancia az egyik legerősebb jel, amellyel egy detektor rendelkezik. Nem egyetlen mondat árulja el. Hanem az egyformaság.

Jel	Mit mér	Miért kap alacsony pontszámot a gépi szöveg
Perplexity	Az, hogy a modell mennyire lepődik meg a szóválasztásain, a teljes dokumentumra átlagolva	Az értelmezésnél fogva nagy valószínűségű tokenekből mintavételez
Burstiness	Az, hogy mennyire változik a mondathossz és az előrejelezhetőség a szövegben	A kimenet a középérték közelében csoportosul, ahelyett hogy kilengene
Token probability	Az egy szóra jutó valószínűség, amelyből a másik kettőt kiszámítják	Hosszú sorozatok egyenként jelentéktelen választásokból

Token probability és honnan származik a pontszám

Mindkét szám egy harmadikból épül fel, mégpedig az egy tokenre jutó log-likelihoodból, abból az alapanyagból, amelyből minden mást kiszámítanak. Egyes eszközök közvetlenül megmutatják ezt, kiemelve azokat a szakaszokat, ahol a szöveg a leginkább előrejelezhető volt. Ezek a kiemelések nem konkrét mondatokra vonatkozó vádak, bármit is sugalljon a felület. Azok a részek, amelyek a legtöbbet járultak hozzá egy dokumentumszintű számhoz.

A kutatási megközelítések túlléptek az egyszerű küszöbökön. A DetectGPT és utódai a görbületet vizsgálják, enyhén megzavarják a szöveget, majd ellenőrzik, hogy a likelihood olyan mintázat szerint csökken-e, amelyet a generált szöveg hajlamos mutatni. Mások ugyanazt a részletet két különböző modell alatt hasonlítják össze, és az eltérést jelként használják.

Egy következmény mindenkinek fontos, akit értékelnek. Mivel a metrikákat egy adott referencia modellhez viszonyítva számítják, a pontszám mindig ahhoz a modellhez képest értendő. Két detektor ugyanazt a bekezdést olvashatja, és teljesen eltérően ítélheti meg, és egyik sem hibásan működik. Ugyanarra a kérdésre válaszolnak, eltérő viszonyítási pontokkal.

A második következményről ritkábban esik szó. Egy modell csak akkor tud egy szakaszt kiszámíthatónak azonosítani, ha az a szakasz hasonlít arra, amin tanították, ezért az észlelés minősége romlik, ahogy nő a távolság a referencia modell és aközött, ami a szöveget létrehozta. Az újabb generátorok, a szokatlan szakterületek és az angoltól eltérő nyelvek mind növelik ezt a távolságot. Ez is hozzájárul ahhoz, hogy az ellenőrzött benchmarkban mért pontosság ritkán állja ki a valódi beadott dolgozatok tömegével való találkozást.

Mit adnak hozzá a kereskedelmi detektorok

Az intézmények által ténylegesen megvásárolt eszközök nem a tankönyvi perplexityt futtatják. A Turnitin, GPTZero, Originality.ai és a többi, felügyelt osztályozókat tanít nagy, címkézett emberi és gépi szöveggyűjteményeken, statisztikai jellemzőket stilisztikai jellemzőkkel együtt használva. Amit az osztályozó megtanul, az az, ami a tanítási adataiban elkülöníti ezt a két halmazt, és ez szűkebb, valamint inkább történeti jellegű dolog, mint az "AI writing" általában.

A tanítási függőség a csendes probléma. Egy olyan osztályozónak, amelyet elsősorban egy modellkimenet-generációra tanítottak, általánosítania kell az újabb modellekre, az ismeretlen szakterületekre és azokra az írókra, akiknek az angolja nem hasonlít a tanítási eloszlására. A szolgáltatók saját értékeléseikből közölnek pontossági adatokat, és a független benchmarkok rendszeresen jóval ezek alatt az értékek alatt teljesítenek ugyanazokon az eszközökön.

Hogyan olvassunk egy pontszámot anélkül, hogy túlértelmeznénk

Egy detektorjelentés rendszerint százalék formájában érkezik, és ezt a százalékot rendszeresen félreolvassák. Nem annak az aránya, hogy a dokumentumot mennyiben írta gép. Az eszköztől függően ez az osztályozó bizalma, vagy a mondatoknak az a hányada, amely átlépett valamilyen belső küszöböt, és a szolgáltatók gyakran homályosak abban, hogy melyikről van szó. Két jelentés, amelyek egyaránt hatvan százalékot mutatnak, egészen különböző dolgokat jelenthetnek.

Az is érdemes tudni, hogy egy pontszám miért mozdul el olyan okokból, amelyeknek semmi közük ahhoz, hogy ki írta. A rövid dokumentumok zajosabbak, mert kevesebb szöveg áll rendelkezésre ahhoz, hogy az átlagok kialakuljanak, és egy ötszáz szavas esszé két vagy három szokatlan mondat erejével is nagyot ingadozhat. Az idézett anyag is beleszámít, hacsak az eszköz nem szűri ki, így egy blokkidézetekkel teli irodalmi áttekintés örökli annak a kiszámíthatóságát, amit idéz. Egy szabványos terminológiával terhelt műszaki rész ugyanígy viselkedik.

Ha Ön egy jelzés címzettje, a hasznos válasz bizonyíték, nem pedig vita a mérőszámról. A verziótörténet, a vázlatok, a jegyzetek és a keresési rekordok mind a folyamatra utalnak, és a folyamat az, amit egy fegyelmi bizottság ténylegesen értékelni tud. Nincs olyan küszöb, amelyre bárki rámutathatna, és amely elválasztaná a gondos írót a modelltől.

Miért jelölnek meg olyan szöveget a detektorok, amelyet egyetlen modell sem hozott létre

A téves pozitív eredmények nem ritka működési hibák. Közvetlenül abból következnek, hogy a tipikusságot mérik. Bármely írás, amely valóban kiszámítható, kiszámíthatónak fog pontozódni, függetlenül attól, hogy ki hozta létre.

A nem anyanyelvi angol írók vannak a leginkább érintve. A Stanford kutatói azt találták, hogy a detektorok a nem anyanyelvi beszélők esszéinek nagy részét gép által generáltnak minősítették, miközben az anyanyelvi beszélők esszéit helyesen sorolták be. Az ok mechanikus, nem rosszindulatú: a második nyelven dolgozó írók hajlamosak a jól bevált szerkezetekre és a gyakoribb szókincsre támaszkodni. Ez pontosan az alacsony perplexity profilja, ezért az ESL írókat azért jelölik meg, mert gondosan írnak.

Az akadémiai konvenciók ugyanezt a problémát okozzák. Egy módszertani résznek formulaisztikusnak kell lennie. A jogi írás, a műszaki dokumentáció és a klinikai jelentéskészítés mind a szabványos megfogalmazást jutalmazza az ötletes helyett. A jelentős szerkesztés tovább súlyosbítja ezt, mivel egy vázlat csiszolása általában azokat az egyenetlenségeket távolítja el, amelyek a statisztikai aláírását hordozták.

Az intézmények észrevették. A Vanderbilt letiltotta a Turnitin AI-észlelési funkcióját, ahelyett hogy olyan pontszámokra támaszkodott volna, amelyeket nem tudott ellenőrizni, és más egyetemek korlátozták, hogyan használhatók fel a számok fegyelmi eljárásokban. A detektor pontszámát tekintse egy gyenge bizonyítéknak, ne ítéletnek.

Mit jelent ez a saját írása számára

A mechanizmusból következő gyakorlati tanácsok nem különösebben szokatlanok, és egyik sem jelent bármiféle trükközést. Tudatosan váltogassa a mondathosszokat, mert az egyformaság az, ami feltűnik. Tartsa meg a konkrét részletet, a tényleges számot, a tényleges korlátozást, azt, ami a hatodik héten elromlott. Az általános kompetencia az, ami gépi eredetűnek számít, a konkrétság pedig egyszerre jobb írás és erősebb jelzés.

Tartsa meg a saját szóhasználatát is. Ha van egy sajátos módja annak, ahogyan megfogalmaz dolgokat, hagyja benne. Az az ösztön, hogy a vázlatot addig csiszolja, amíg úgy nem hangzik, mint a szakterület minden más dolgozata, az az ösztön, amely csökkenti a perplexity értékét.

Valamit érdemes elkerülni, egyes eszközök szándékosan nyelvtani hibákat vezetnek be a perplexity növelése érdekében. Ez a metrikán működik, de rendkívül rossz ötlet minden olyan szövegnél, amelyet osztályoznak vagy szakmai bírálatnak vetnek alá, mivel egy gyanút cserél fel bizonyosságra. A cél olyan írás, amely az Ön sajátjaként olvasható, nem pedig olyan írás, amelyet szándékosan megrongáltak. Ez a teljes különbség a emberi olvasóra való átírás és a szöveg megrongálása között, hogy megtévesszen egy pontszámot.

Ha ezeket a számokat a saját vázlatán is látni szeretné, ahelyett hogy egy fekete doboz szavát fogadná el, az alapul szolgáló mérések nem titkosak. Az ingyenes szövegelemző eszközök megmutatják, hol helyezkedik el az Ön prózája, és Ön maga döntheti el, hogy az egyenletes szakaszok olyan stiláris problémát jelentenek-e, amelyet érdemes kijavítani.