Hogyan működik a GPTZero

Írja be a keresősávba, hogy "how gptzero works", és a visszakapott találatok többsége továbbra is a perplexity és a burstiness fogalmát írja le, azt a két statisztikát, amelyet a saját alapítója tett ismertté a ChatGPT megjelenését követő első hetekben. Ez a leírás 2023 januárjában még pontos volt. Azóta, vagyis annak az évnek az ősze óta már nem pontos, amikor a GPTZero saját dokumentációja szerint a vállalat ezt a módszert valami egészen másra cserélte. A különbség aközött, amit az eszköz a bevezetéskor végzett, és aközött, amit ma végez, elég nagy ahhoz, hogy a ma is keringő magyarázatok többsége egy olyan terméket írjon le, amely már nem létezik.

Ma a GPTZero egy mondatról mondatra működő osztályozót futtat egy nagy, vegyes, ember által generált és AI által generált szövegekből álló korpuszon, nem pedig perplexity számítást. A mai GPTZero továbbra is egyetlen fő számot ad meg, de az aritmetika más. A fő szám alatt megjelenő mondatszintű kiemelésnek is más a jelentése, mint 2023-ban volt. A történet mindkét változatát érdemes ismerni, azt is, amelyik ismertté tette a fogalmakat, és azt is, amelyik ma ténylegesen működik.

A történet: hogyan tette a perplexity és a burstiness híressé a GPTZero-t

2023. január 2-án az akkori Princeton-hallgató Edward Tian nyilvános bemutatót tett közzé a GPTZero-ról, alig néhány héttel azután, hogy megjelent a ChatGPT. Az eredeti magyarázó oldala leírja, hogyan használt két, a nyelvi modellezésből kölcsönzött statisztikát annak észlelésére, hogy egy nyelvi modell írt-e valamit. A perplexity annak a pontszáma, hogy egy referencia modell mennyire lepődött meg a szöveg szóválasztásain. A burstiness a GPTZero elnevezése arra, hogy ez a meglepetés mennyire ingadozott egy dokumentumon belül. Ezek a magyarázó oldalak az oka annak, hogy mindkét szó egyáltalán bekerült az AI-írásról szóló hétköznapi beszédbe. A legtöbb ember, aki ma meg tudja határozni a perplexity vagy a burstiness fogalmát, ezeket a kifejezéseket a GPTZero-tól tanulta, nem egy tankönyvből.

A mechanizmus önmagában egyszerűen leírható volt. Egy szövegrészt át kell futtatni egy referencia nyelvi modellen, és az a próza, amelyet a modell erősen kiszámíthatónak, alacsony perplexity értékűnek talál, gépszerűnek olvasható, mivel a generálás hajlamos a valószínű következő szót előnyben részesíteni a meglepővel szemben. A GPTZero saját, már visszavont dokumentációja még egy ökölszabályt is közzétett: egy 85 feletti perplexity pontszám inkább emberinek, mint gépinek számított. Ez a küszöb egyetlen szolgáltatótól, egyetlen modellen, egy adott időpontban származott, és maga a GPTZero már nem áll mögötte.

Hogyan működik most a GPTZero: mondatszintű osztályozó

A GPTZero támogatási központja egyértelműen kijelenti, hogy a vállalat 2023 őszétől a felismeréshez már nem használ perplexityt és burstiness-t, miután áttért egy mélytanulási architektúrára. A jelenlegi technológiai oldala, amelyet ehhez az íráshoz ellenőriztek, megerősíti, hogy a váltás teljes: egy végponttól végpontig tartó mélytanulási megközelítést ír le, amelyet a webből, az oktatásból és különféle nyelvi modellekből származó szövegeken tanítottak, és amely mondatról mondatra működő osztályozó modellt futtat, kimenetként valószínűséget és bizalmi pontszámot adva. A perplexity és a burstiness azon az oldalon sehol sem szerepel.

Azóta egy védelmi réteget is hozzáadott, egy Paraphraser Shieldet, amelynek célja az olyan AI-szöveg kiszűrése, amelyet átíró eszközön futtattak át a felismerés elkerülése érdekében. Be lehet illeszteni szöveget, feltölteni Word dokumentumokat, PDF-eket és képfájlokat, egyszerre akár ötven fájlt is. Mindez az infrastruktúra semmilyen módon nem kapcsolódik ahhoz, hogy megszámolja, milyen gyakran tippelte volna el ugyanazt a szót egy referencia modell.

Mit mutat valójában egy GPTZero jelentés

Egy GPTZero eredmény három részből áll: AI, emberi vagy vegyes besorolásból, egy százalékos értékből, amely azt fejezi ki, hogy a modell mekkora valószínűséggel tartja a dokumentumot AI által írottnak, valamint egy bizalmi címkéből, amely leírja, mennyire megbízható az adott előrejelzés. A címke fontosabb, mint amilyennek elsőre látszik. A GPTZero a "highly confident" jelölést 2 százalék alatti hibaarányhoz, a "low confidence" jelölést pedig 14 százalékos vagy annál magasabb hibaarányhoz köti, ami elég széles tartomány ahhoz, hogy ugyanaz a fő százalékos érték jelentősen eltérő súlyt hordozzon egyik jelentéstől a másikig.

A fizetős vizsgálatok mondatszintű kiemelést adnak, és ezt helyesen érdemes olvasni. GPTZero a kiemelt mondatokat úgy írja le, mint azokat, amelyek aránytalanul befolyásolják az összpontszámot, nem pedig mint az egyes sorok elleni vádak listáját. Előfordulhat, hogy egy mondat nincs kiemelve, mégis alakította az eredményt, mert az osztályozó az egész dokumentumot olvassa, nem pedig mondatról mondatra szavaz.

Jelentéselem	Mit árul el
Osztályozás	Egyetlen címke: AI, emberi vagy vegyes
AI valószínűségi pontszám	Százalék, amely azt tükrözi, mennyire valószínűnek ítéli a modell, hogy a dokumentum AI által írt
Bizalmi címke	A nagyon magabiztostól, 2 százalék alatti hibaaránnyal, az alacsony bizalomig, 14 százalék vagy annál magasabb értékig terjed
Mondatelem kiemelése	Az Advanced Scan esetében azokat a mondatokat jelöli, amelyek a leginkább hozzájárulnak a pontszámhoz, nem pedig minden, ahhoz kapcsolódó mondatot

Ezek közül a jelentéselemek közül egyik sem létezett a mai formájában, amikor a perplexity és burstiness magyarázó szöveg még GPTZero nyilvános önleírása volt. A felület a módszerrel együtt változott.

Miért kering még mindig a Perplexity és Burstiness leírás

GPTZero eredeti magyarázó szövege még mindig elérhető online, még mindig indexelve van, és továbbra is az egyik világosabb általános leírása annak, hogyan működik fogalomként a perplexity és burstiness. A keresőmotorok és más oldalak továbbra is hivatkoznak rá, és egyesek egy széles körben megosztott 2026-os áttekintésre mutatnak, amely azt állítja, hogy az eszköz továbbra is csendben egy perplexity és burstiness réteget futtat az osztályozója mellett. GPTZero saját jelenlegi oldalai, a technológiai oldal és mindkét támogatási cikk, ennek az ellenkezőjét mondják, a kifejezéseket kivonták a használatból, nem csupán elrejtették a háttérben. Egy fogalmat elvontan leíró oldal nem ugyanaz, mint egy olyan oldal, amely ennek az eszköznek a jelenlegi módszerét írja le, és a kettő felcserélhetőként kezelése az egyik fő oka annak, hogy a zavar már három évvel a lejárati ideje után is fennmaradt.

Ez túlmutat az apróságokon. Ha egy hallgatónak vagy kollégának azt mondják, hogy csökkentse a perplexitást vagy terítse szét a mondathosszt kifejezetten azért, hogy kijátssza a GPTZero-t, akkor olyan tanácsot kap, amely a termék egy olyan változatára vonatkozik, amely 2023-ban leállt. Az, hogy egy mondatosztályozó mit tesz, egy kapcsolódó, de eltérő kérdés, közelebb áll ahhoz a tágabb leíráshoz, hogy hogyan működnek valójában az AI detektorok, mint bármelyik statisztikához önmagában. A GPTZero nem hagyta abba ezek mérését, saját állítása szerint ezek a jelenlegi modellt tápláló hét jelző között szerepelnek, de már nem ezek döntik el a választ.

Mit állít a GPTZero, hogy nem tud megtenni

A GPTZero által közölt pontossági adatok körülbelül olyan erősek, amilyeneket egy szolgáltató valószínűleg a saját termékéről közzétesz: 96.5 percent pontosság vegyes dokumentumokon, a vállalat által 1 percentban korlátozott összesített hamis pozitív arány, valamint 1.1 percent kifejezetten TOEFL esszéknél, amelyek gyakori helyettesítői a nem anyanyelvi angol írásnak. Ezek az adatok a GPTZero saját értékeléséből származnak, és az azokat közlő oldalon nincs hivatkozott független megismétlés.

A GPTZero saját korlátozásokat ismertető oldala részletesebb, mint a marketingadatok. A vállalat azt állítja, hogy a pontosság javul, ahogy több szöveget küldenek be, és csökken mondat és bekezdés szinten a teljes dokumentumhoz képest. Azt állítja, hogy a tanítóadatai többnyire felnőtt angol prózából állnak, ezért az ettől eltérő szövegeket nehezebb megbízhatóan osztályozni. Azt állítja, hogy az osztályozót nem arra tanították, hogy a generálás után erősen módosított AI szöveget felismerje. És azt is világosan kimondja, hogy nemcsak a chatbot kimenete, hanem más gép által generált vagy erősen eljárásjellegű írás is ugyanígy jelölődhet meg.

Semmi ebből nem ok arra, hogy GPTZero számát megkérdőjelezhetetlennek tekintsük, és nem is ez az egyetlen detektor, amelyet önmagában érdemes megérteni. Azok az olvasók, akiket érdekel, hogy egy ilyen osztályozó valójában mire reagál, ezt a mintázatot maguk is láthatják egy ingyenes perplexity-ellenőrző vagy egy ingyenes burstiness-ellenőrző segítségével, ez a kettő egy teljesebb ingyenes eszközgyűjtemény része, amely lefedi azokat a további statisztikai rétegeket, amelyekre egy ilyen jelentés támaszkodik.

GPTZero két fő statisztikájának külön oldala van: mit mér a perplexity az AI-észlelésben, és az a tokenvalószínűségi aritmetika, amely mindkét számot előállítja.

Egy olyan eszköz, amely ilyen pontosan hajlandó megnevezni a saját vakfoltjait, nagyobb bizalmat érdemel, mint egy olyan, amely azt állítja, hogy nincsenek ilyenek, és a jelentés következő megmagyarázatlan százalékos értéke jó kiindulópont annak megkérdezéséhez, hogy milyen típusú eszköz állította elő.