Mi a perplexity az AI-észlelésben?

Keressen rá együtt a perplexity és az AI detection kifejezésekre, és a legjobb találatok közül több is egy nem kapcsolódó termékről szól: egy AI-alapú keresőmotorról, amely történetesen szintén a Perplexity nevet viseli. Az a mérőszám, amelyet egy detektor ténylegesen jelent, azon a cégen kívül semmiben sem osztozik, csak a szóban. Ez a beszédfelismerési kutatásokból származik, amelyek évtizedekkel idősebbek, mint a GPTZero vagy a keresőmotor, és valami szűkebbet mér, mint bármelyikük: azt, hogy egy nyelvi modell mennyire lepődik meg a már az oldalon szereplő szavakon.

Tehát mi a perplexity az AI detectionben? A perplexity egy pontszám, amely azt írja le, hogy egy nyelvi modell mennyire jól jósolta meg egy szövegrész pontos szavait, úgy, hogy a modell saját valószínűségeit átlagolja, majd az eredményt egyetlen számmá alakítja. Az alacsony pontszám azt jelenti, hogy a modell továbbra is helyesen tippelt. A magas pontszám azt jelenti, hogy továbbra is meglepődött.

Az ötlet régebbi, mint bármelyik AI detector a piacon, és önmagában semmit sem mond arról, ki írta a dokumentumot. Amint a szám mögötti aritmetika láthatóvá válik, egy jelentésben szereplő pontszám már nem ítéletnek tűnik, hanem annak, ami valójában: a szóválasztás leírásának.

Mi a perplexity az AI detectionben?

A perplexity a nyelvi modellezésből átvett mérőszám. Azt értékeli, hogy egy modell mennyire jól jósolta meg az adott szövegrészben előforduló konkrét szavakat, és ezt az értékelést egyetlen számmal fejezi ki. Az észlelők ugyanezt a mérőszámot alkalmazzák egy beküldött dokumentumra: az alacsony szám, amely azt jelenti, hogy a modell tippjei szorosan egyeztek a tényleges szavakkal, gépi szerzőség jelének olvasható, a magas szám pedig emberi szerzőség jelének olvasható. A számítás semmit sem olvas a dokumentum érveléséből, hivatkozásaiból vagy tárgyköréből. Csak azt olvassa, hogy az egyes szavak mennyire voltak várhatók, egyenként.

Az észlelők nem ezt a mérőszámot találták ki. Egy olyan eszközt vettek át, amelyet a beszédfelismerő és gépi fordító rendszerek már évtizedek óta használtak annak megítélésére, hogy egy modell mennyire jól jósolta meg a hétköznapi nyelvet, majd ezt a szerzőség helyettesítő mutatójaként használták fel, noha eredetileg soha nem erre építették.

Ennek semmi köze a korábban említett, nem kapcsolódó keresőmotorhoz. Az a perplexity, amelyet egy észlelő jelent, soha nem egy vállalat, és soha nem nagybetűs: egyszerű statisztikai tulajdonsága egy szósornak, amelyet frissen számítanak ki abból a szövegből, amelyet éppen kap.

Hogyan számítják ki valójában a perplexityt

A számítás minden AI terméknél régebbre nyúlik vissza. Frederick Jelinek, Robert Mercer, Lalit Bahl és James Baker 1977-ben vezették be a perplexityt annak mérésére, hogy egy statisztikai modell számára mennyire nehéz egy beszédfelismerési feladat, évtizedekkel azelőtt, hogy bárki egy esszére vagy laborjelentésre alkalmazta volna a kifejezést. A definíció azóta sem változott.

A dokumentum minden pozíciójában a modell egy valószínűséget ad ki arra a szóra, amely ténylegesen ezután következik, például 0.72 egy gyakori átmenetre vagy 0.03 egy szokatlanra. A perplexity ezeknek a valószínűségeknek a logaritmusait átlagolja az ամբողջ szövegrészben, majd az átlagot egy kitevővel visszafordítja.

A kitevő a there’s-ben többet tesz, mint amennyinek látszik. A log valószínűségek átlagolása pontosan az, amit a keresztentrópia kiszámításakor teszünk, ez pedig az információelméleti módja annak, hogy megmondjuk, hány bitre van szükség egy sorozat kódolásához, ha figyelembe vesszük a modell által tett előrejelzéseket. A perplexity azonban a bitek számát visszafordítja valami olyanba, amit jobban meg tudunk érteni, egy hatékony választási számba, nem pedig bitek absztrakt számába.

Az, ami ebből az aritmetikából megmarad, tiszta, szinte fizikai értelmezést kap. Egy modell, amely minden alkalommal teljesen bizonyos, 1-es perplexityt eredményez, a skála alsó határát. Egy modell, amely minden pozíciót nyolcvan egyformán valószínű szó közötti egyenlő esélyként kezel, 80-as perplexityt eredményez.

A legtöbb valós dokumentum e két szélsőség között helyezkedik el, és hogy pontosan hol, az az írótól, a témától és attól függ, melyik modell végzi az olvasást.

Miért szokott az emberi írás eltérően teljesíteni

Egy modell elvárásai kizárólag abból épülnek fel, ami korábban elhangzott, szóról szóra haladva. A 'the treatment group showed a statistically' kifejezés után a jól formált folytatások túlnyomó többsége a 'significant', és egy nagy mennyiségű tudományos szövegen tanított modell habozás nélkül magas valószínűséget rendel ehhez a szóhoz. Egy emberi szerző, aki ugyanehhez a kifejezéshez ér, szintén a 'significant' mellett dönthet, mert maga a kifejezés a műfaj egyik állandó eleme. A különbség máshol nyílik meg, a két mondattal később választott főnévben, a zárójelben hozzáadott megjegyzésben, a furcsa tizedesjegyig megadott, nem pedig kerek számként közölt értékben.

Ebben nincs semmi trükk. Amikor valaki valós adatokkal foglalkozó szöveget ír, és a pontos számot, a precíz minősítőt, a kissé szűkebb jelentésű szót keresi, akkor olyasmire törekszik, ami az adott munkára igaz, nem pedig a műfajra. És ezek a választások mindegyike egy kicsit több meglepetést okoz a modellnek. A meglepetés az, amit a pontszám összegezni hivatott.

A következtetés több munkát végez, mint amennyit a mérés alátámasztani tud. A perplexity közvetlenül a kiszámíthatóságot méri. A szerzőséget csak úgy következteti ki, hogy feltételezi, a kiszámítható írás ritka az emberek körében és gyakori a modellekben, ez az előfeltevés általában ésszerű, és időnként egy meghatározható, sajátos módon téves, mivel a kiszámíthatóság a szöveg olyan tulajdonsága, amelynek oka lehet olyan tényező is, amelynek semmi köze ahhoz, hogy ki gépelte be.

Miért kaphat ugyanaz a részlet eltérő pontszámot

A pontszám azért is kevésbé hordozható, mint amilyennek látszik, mert soha nem vákuumban mérik. A perplexity mindig egy adott referencia modell tanításához viszonyítva kerül kiszámításra, és ez a függés olyan problémákat hoz létre, amelyeket egyetlen definíció önmagában nem tud megmutatni.

Tényező	Mi változik	Miért történik
Melyik modell végzi az olvasást	Ugyanaz a bekezdés az egyik modellen alacsony, egy másikon magas pontszámot kaphat	A perplexityt mindig csak egy modell tanítási adataihoz viszonyítva mérik, és a különböző modelleket különböző szövegeken tanították
Az adott részlet széles körben reprodukált szöveg-e	Egy híres történelmi dokumentum vagy egy tankönyvi definíció alacsony perplexityt kaphat akkor is, ha egy ember minden szavát begépelte a detektorba	A Pangram Labs a Függetlenségi Nyilatkozatot hozza példaként: olyan gyakran idézik a tanítási adatokban, hogy egy modell minden mondatát nem meglepőnek találja
Az észlelő egyáltalán látja-e a token valószínűségeit	Az olyan zárt kereskedelmi modellek, mint a ChatGPT, Gemini és Claude, nem teszik hozzáférhetővé azokat a szavankénti valószínűségeket, amelyekre a perplexitynek szüksége van	Az észlelők egy helyettesítő nyílt modellel közelítik a pontszámot, ahelyett hogy annak a modellnek a perplexityjét számítanák ki, amely ténylegesen létrehozta a szöveget

Semmi ebből nem teszi értelmetlenné a számot, csupán kockázatosabbá, hogy önmagában ítéletként bízzunk benne. GPTZero saját dokumentációja egyszer közzétett egy durva ökölszabályt, amely szerint a 85 feletti perplexity inkább emberi eredetre utal, de egyetlen szolgáltató küszöbértéke egy modellen nem vihető át egy másik eszközre, amelyet egy eltérő modellhez mérnek. Az a detektor, amely egyetlen pontszámot közöl, az összes fenti tényezőt egyetlen értékbe sűríti, anélkül hogy megmondaná, melyikük végezte el a munkát.

Mit mond valójában egy perplexity pontszám

A kereskedelmi detektorok a perplexityt mondatszintű mintázatokkal, osztályozó tanítással és több más jelzéssel együtt vonják össze, mielőtt egyáltalán egyetlen számot kiírnának a jelentésre. Az hogyan működnek valójában az AI detektorok teljesebb képe külön tárgyalásra kerül, és megmagyarázza, honnan származik a szám többi része.

A mondatról mondatra haladó ritmus kapcsolódó, de különálló jel, amelyet a burstiness checker önállóan vizsgál, és azt nézi, mekkora a változatosság egy szövegrészleten belül, nem pedig egyetlen szóban.

Ezek közül egyik szám sem tudja bizonyítani, ki írta a dokumentumot, beleértve a TextPulse által egy benyújtott vázlatból számított becsült Human Score-t is, amely a szöveget írja le, nem pedig ítéletet mond róla. Ugyanezen gondolat leegyszerűsített változata, a szókincs változatossága, nem pedig a teljes modellvalószínűség, működteti ezen az oldalon az ingyenes perplexity checker-t, amelyet érdemes kipróbálni egy olyan bekezdéssel szemben, amelynek eredete már ismert, mielőtt hinnénk annak, amit egy jelentés valaki máséról állít.

A perplexity checker a TextPulse többi ingyenes eszköze mellett található, így egy vázlat, a szókincs, a ritmus és minden egyéb teljes átvizsgálásához nem kell egyszerre egy tucat külön lapot megnyitni.

A perplexity az egyik a két statisztika közül, amelyre ezek a rendszerek támaszkodnak. A másik a burstiness, a mondathossz és a szerkezet változékonysága egy szövegrészleten belül, és mindkettő mögött ott áll a token valószínűségi aritmetikája, amely végső soron létrehozza a pontszámot.

Az egy jelentésben szereplő szám egy hosszú aritmetikai lánc vége, nem pedig egy vita kezdete arról, hogy ki írt valamit. Az érdekesebb kérdés, amint az aritmetika többé nem tűnik rejtélyesnek, az, hogy pontosan mi tette a dokumentumot meglepővé vagy kiszámíthatóvá eredetileg, és ez a kérdés magára az írásra vonatkozik.