Mi a perplexity az AI-észlelésben?

Keressen rá együtt a perplexity és az AI detection kifejezésekre, és a legjobb találatok közül több is egy nem kapcsolódó termékről szól: egy AI-alapú keresőmotorról, amely történetesen szintén a Perplexity nevet viseli. Az a mérőszám, amelyet egy detektor valójában jelent, semmiben sem osztozik ezzel a céggel, azon kívül, hogy ugyanaz a szó szerepel benne. Ez a beszédfelismerési kutatásból származik, amely évtizedekkel régebbi, mint a GPTZero vagy a keresőmotor, és valami szűkebbet mér, mint bármelyikük: azt, hogy egy nyelvi modell mennyire lepődik meg a már az oldalon szereplő szavakon.

Tehát mi a perplexity az AI detectionben? A perplexity egy olyan pontszám, amely azt írja le, hogy egy nyelvi modell mennyire jól jósolta meg egy szövegrész pontos szavait, úgy, hogy a modell saját valószínűségeit átlagolja, majd az eredményt egyetlen számmá alakítja. Az alacsony pontszám azt jelenti, hogy a modell továbbra is helyesen tippelt. A magas pontszám azt jelenti, hogy továbbra is meglepődött.

Az ötlet régebbi, mint bármelyik AI detector a piacon, és önmagában semmit sem mond arról, hogy ki írta a dokumentumot. Amint a szám mögötti aritmetika láthatóvá válik, a jelentésben szereplő pontszám már nem ítéletnek tűnik, hanem annak, ami valójában: a szóválasztás leírásának.

Mi a perplexity az AI detectionben?

A perplexity a nyelvi modellezésből átvett mérőszám. Azt pontozza, hogy egy modell mennyire jól jósolta meg azokat a konkrét szavakat, amelyek egy szövegrészben megjelennek, és ezt a pontszámot egyetlen számmal adja meg. A detektorok ugyanezt a mérőszámot alkalmazzák egy benyújtott dokumentumra: az alacsony szám, amely azt jelenti, hogy a modell tippjei szorosan egyeztek a tényleges szavakkal, gépi szerzőség jelének olvasható, a magas szám pedig emberi szerzőség jelének. A számítás semmit sem olvas ki a dokumentum érveléséből, hivatkozásaiból vagy tárgyából. Csak azt olvassa ki, hogy az egyes szavak mennyire voltak várhatók, egyenként.

A detektorok nem ezt a mérőszámot találták fel. Egy olyan eszközt vettek át, amelyet a beszédfelismerő és gépi fordító rendszerek már évtizedek óta használtak annak megítélésére, hogy egy modell mennyire jól jósolta meg a hétköznapi nyelvet, majd ezt a szerzőség helyettesítő mutatójává alakították át, noha eredetileg soha nem erre a feladatra épült.

Ennek semmi köze a korábban említett, nem kapcsolódó keresőmotorhoz. Az a perplexity, amelyet egy detektor jelent, soha nem egy vállalat, és soha nem nagybetűs: ez egy szövegsorozat egyszerű statisztikai tulajdonsága, amelyet frissen számítanak ki abból a szövegből, amelyet éppen kap.

Hogyan számítják ki valójában a perplexityt

A számítás eredete messzebbre nyúlik vissza, mint bármely AI termék. Frederick Jelinek, Robert Mercer, Lalit Bahl és James Baker 1977-ben vezették be a perplexity fogalmát annak mérésére, hogy egy statisztikai modell számára mennyire nehéz egy beszédfelismerési feladat, évtizedekkel azelőtt, hogy bárki egy esszére vagy laborjelentésre alkalmazta volna a kifejezést. A definíció azóta sem változott.

A dokumentum minden pozíciójában a modell egy valószínűséget ad arra a szóra, amely ténylegesen ezután következik, valami olyasmit, mint 0.72 egy gyakori átmenetnél vagy 0.03 egy szokatlannál. A perplexity ezeknek a valószínűségeknek a logaritmusait átlagolja az ամբողջ szakaszon, majd az átlagot egy kitevővel visszafordítja.

A there's kitevője többet tesz, mint amennyinek látszik. A log valószínűségek átlagolása pontosan az, amit akkor végzünk, amikor kiszámítjuk a keresztentrópiát, vagyis az információelméleti módját annak, hogy megmondjuk, hány bitre van szükség egy sorozat kódolásához a modell által tett előrejelzések alapján. A perplexity azonban a bitek számát visszafordítja valami könnyebben érthetővé, egy hatékony választási számmá, nem pedig egy elvont bitszámmá.

Az, ami ebből az aritmetikából megmarad, tiszta, szinte fizikai értelmezést kap. Egy modell, amely minden alkalommal teljesen biztos, 1-es perplexityt ad, a skála alsó határát. Egy modell, amely minden pozíciót egyenlő eséllyel eldönthető választásnak tekint nyolcvan egyformán valószínű szó között, 80-as perplexityt ad.

A legtöbb valós dokumentum e két szélsőség között helyezkedik el, és hogy pontosan hol, az a szerzőtől, a témától és attól függ, melyik modell végzi az olvasást.

Miért szokott az emberi írás eltérően teljesíteni

Egy modell elvárásai teljes egészében abból épülnek fel, ami korábban történt, egy-egy szóval haladva. A „the treatment group showed a statistically” kifejezés után a jól formált folytatások túlnyomó többsége a „significant”, és egy nagy mennyiségű tudományos szövegen tanított modell habozás nélkül nagy valószínűséget rendel ehhez a szóhoz. Egy emberi szerző, aki ugyanehhez a kifejezéshez ér, szintén a „significant” mellett dönthet, mert maga a kifejezés a műfaj egyik állandó eleme. A különbség máshol nyílik meg, a két mondattal később választott főnévben, a zárójelben hozzáadott közbevetésben, a kerek szám helyett furcsa tizedesjegyig megadott értékben.

Ebben nincs semmi trükk. Amikor valaki valós adatokkal kapcsolatos szöveget ír, és a pontos számra, a precíz minősítésre, a kissé szűkebb szóra törekszik, olyan dolgokra törekszik, amelyek az adott munkára igazak, nem pedig a műfajra. És ezek közül minden egyes választás egy kicsit több meglepetést jelent a modell számára. A meglepetés az, amit a pontszám összegezni hivatott.

A következtetés több munkát végez, mint amennyit a mérés alátámaszthat. A perplexity közvetlenül a kiszámíthatóságot méri. A szerzőséget csak úgy következteti ki, hogy feltételezi, a kiszámítható írás ritka az emberek körében, és gyakori a modellekben, ez a feltételezés általában ésszerű, és néha egy meghatározható, konkrét módon téves, mivel a kiszámíthatóság a szöveg olyan tulajdonsága lehet, amelynek semmi köze ahhoz, ki gépelte be.

Miért kaphat ugyanaz a részlet eltérő pontszámot

A pontszám ráadásul kevésbé hordozható, mint amilyennek látszik, mert soha nem vákuumban mérik. A perplexity mindig egyetlen konkrét referencia modell tanításához viszonyítva kerül kiszámításra, és ez a függés olyan problémákat hoz létre, amelyeket önmagában egyetlen definíció sem tud megmutatni.

Tényező	Mi változik	Miért történik ez
Az, hogy melyik modell végzi az olvasást	Ugyanaz a bekezdés az egyik modellen alacsony, egy másikon magas értéket kaphat	A perplexityt mindig csak egy modell tanítási adataihoz viszonyítva mérik, és a különböző modelleket különböző szövegeken tanították
Az, hogy a szövegrész széles körben reprodukált szöveg-e	Egy híres történelmi dokumentum vagy egy tankönyvi definíció alacsony perplexity értéket kaphat akkor is, ha egy ember minden szavát beírta a detektorba	Pangram Labs a Függetlenségi Nyilatkozatot hozza példaként: olyan gyakran idézik a tanítási adatokban, hogy egy modell minden mondatát nem meglepőnek találja
Az, hogy a detektor egyáltalán látja-e a tokenvalószínűségeket	Az olyan zárt kereskedelmi modellek, mint a ChatGPT, Gemini és Claude, nem teszik hozzáférhetővé azokat a szónkénti valószínűségeket, amelyekre a perplexitynek szüksége van	A detektorok egy helyettesítő nyílt modellel közelítik az értéket, ahelyett hogy annak a modellnek a perplexityjét számítanák ki, amely ténylegesen létrehozta a szöveget

Mindez nem teszi értelmetlenné a számot, csak kockázatosabbá teszi, hogy önmagában ítéletként bízzunk benne. A GPTZero saját dokumentációja korábban közzétett egy durva ökölszabályt, amely szerint a 85 feletti perplexity inkább emberi eredetre utal, de egyetlen szolgáltató küszöbértéke egy modellen nem vihető át egy másik eszközre, ha azt egy másik modellhez viszonyítva mérik. Az a detektor, amely egyetlen pontszámot közöl, a fenti tényezők mindegyikét egyetlen értékbe sűríti anélkül, hogy megmondaná, melyikük végzett ténylegesen munkát.

Mit mond valójában egy perplexity pontszám

A kereskedelmi detektorok a perplexityt mondatszintű mintázatokkal, osztályozó tanítással és több más jellel együtt kezelik, mielőtt egyáltalán egyetlen számot kiírnának a jelentésben. Az hogyan működnek valójában az AI detektorok teljesebb képe külön tárgyalásra kerül, és elmagyarázza, honnan származik ennek a számnak a többi része.

Az mondatról mondatra haladó ritmus kapcsolódó, de különálló jel, amelyet a burstiness checker önállóan vizsgál, és azt nézi, mekkora a változatosság egy szövegrészleten belül, nem pedig egyetlen szót.

Ezek közül egyik szám sem tudja bizonyítani, ki írta a dokumentumot, beleértve a TextPulse által egy benyújtott vázlatból kiszámított becsült Human Score-t is, amely a szöveget írja le, nem pedig ítéletet mond róla. Ugyanezen gondolat leegyszerűsített változata, a szókincs változatossága, nem pedig a teljes modellvalószínűség, működteti ezen az oldalon az ingyenes perplexity checker-t, amelyet érdemes kipróbálni egy olyan bekezdéssel szemben, amelynek eredete már ismert, mielőtt hinnénk annak, amit egy jelentés valaki máséról állít.

A perplexity checker a TextPulse többi ingyenes eszköze mellett található, így egy vázlat, a szókincs, a ritmus és minden egyéb teljes átvizsgálásához nincs szükség arra, hogy egyszerre egy tucat külön lap legyen megnyitva.

A perplexity az a két statisztika egyike, amelyre ezek a rendszerek támaszkodnak. A másik a burstiness, a mondathossz és a szerkezet változatossága egy szövegrészen belül, és mindkettő mögött ott áll a token valószínűség aritmetikája, amely végső soron létrehozza a pontszámot.

Egy jelentésben szereplő szám egy hosszú aritmetikai lánc vége, nem pedig egy vita kezdete arról, ki írt valamit. Az érdekesebb kérdés, amint az aritmetika többé nem tűnik rejtélyesnek, az, hogy pontosan mi tette a dokumentumot meglepővé vagy kiszámíthatóvá eredetileg, és ez a kérdés magára az írásra vonatkozik.