Pontos a ZeroGPT?

ZeroGPT pontossága, a vállalat saját jelenlegi állítása szerint, egy olyan arány, amely "közelít a >98%-hoz belső értékeléseken", és a vállalat elismeri, hogy ez az érték olyan tesztelésből származik, amelyet saját magán végzett, nem pedig egy külső laborból. Ez az egyetlen minősítés, a belső, többnyire elegendő ahhoz, hogy az olvasó bármely ingyenes detektor százalékos eredményét végleges tényként kezelje.

ZeroGPT az egyik leggyakrabban használt ingyenes AI detektor, nagyrészt azért, mert semmibe sem kerül, és másodpercek alatt választ ad. Ugyanaz a szakadék a szolgáltatói állítások és a független tesztelés között, amely általában az AI detektoroknál is megjelenik, itt is megjelenik. Az alábbiakban azt ismertetjük, hogy a vállalat jelenleg mit állít a saját pontosságáról és módszeréről, mit mérhet valójában ez a módszer, és miért hajlamos egy ilyen eszköz meghatározott, előre látható módokon tévesen működni azokon az írásokon, amelyeket az akadémiai olvasók benyújtanak.

Mi a ZeroGPT pontossága, a vállalat szerint?

A ZeroGPT saját FAQ része szerint a vállalat "iparágvezető pontosságot nyújt, és folyamatosan fejlesztik, hogy megőrizze a legjobb teljesítményt a kategóriájában, közelítve a >98%-hoz belső értékeléseken." Ez a szolgáltató saját termékére vonatkozó állítása, amelyet maga a vállalat tesztelt, és a megfogalmazásban valódi óvatosság is benne van: a "közelítve" egy számhoz nem ugyanaz az állítás, mint annak elérése és megtartása, a "belső értékeléseken" pedig azt jelenti, hogy egyetlen külső fél sem tett közzé vele egyező értéket. Az oldalon semmi sem mondja meg, mekkora volt ez a belső tesztkészlet, mit tartalmazott, vagy hogy a vállalaton kívül ki vizsgálta a módszertant.

A vállalat legalább 150 és 200 szó közötti szöveget javasol a stabil eredményhez, 500 és 1,000 szó vagy annál több pedig tovább javítja a megbízhatóságot, és közvetlenül azt állítja, hogy a nagyon rövid vagy erősen szerkesztett részletek "carry fewer signals." Ez az egyetlen közlés fontosabb, mint a címszintű százalékérték. Ez a szolgáltató saját elismerése, hogy a pontszám csak annyira megbízható, amennyire a bemenet hosszú és érintetlen, ami olyan feltétel, amelynek egy valódi beadott szöveg nem mindig felel meg.

Milyen módszert használ valójában a ZeroGPT?

A ZeroGPT az alapul szolgáló rendszerét DeepAnalyse néven említi, amelyet a saját webhelyén úgy ír le, mint egy "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives" megoldást, amely egy szöveget "from the macro level to the micro one" olvas. A FAQ ennél konkrétabbat ír le a márkanév alatt: "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets" elemzését.

A burstiness és az entropy nem kizárólag a ZeroGPT sajátjai. Ugyanazok a statisztikai tulajdonságok, vagyis az, hogy mennyire változatos a mondathossz és a ritmus, illetve mennyire kiszámítható minden következő szó, amelyeket a TextPulse saját magyarázó anyaga a hogyan működnek az AI detektorok témában a teljes eszközkategória általános működési mechanizmusaként tárgyal. Egy ingyenes perplexity checker ugyanezt az alapul szolgáló értéket közvetlenül mutatja meg, anélkül hogy előbb bármelyik szolgáltató százalékos értékében kellene megbízni.

Miért akasztják meg ezek a detektorok az akadémiai írást?

A ZeroGPT FAQ ezt így fogalmazza meg: "highly polished, formulaic, or low-entropy writing can resemble AI." Az akadémiai próza kifejezetten erősen csiszolt, formulaikus, alacsony entrópiájú írásra épül. Egy módszertani rész, egy szakirodalmi áttekintés és egy formális kísérőlevél egyaránt a hagyományos fordulatot jutalmazza az ötletes helyett, mert a konvenció teszi a dokumentumot egyáltalán használhatóvá az olvasója számára, és éppen ez a konvenció az az alacsony entrópiájú minta, amelyet a szolgáltató saját közlése kockázatként nevez meg.

Független, szakmailag lektorált tesztelés mutatja meg, miért érinti ez a hibamód egyes szerzőket erősebben, mint másokat. Egy 2023-as Stanford-tanulmány hét széles körben használt detektort, köztük a ZeroGPT-t, 91 valódi TOEFL-esszével szemben futtatott le, amelyeket nem anyanyelvi angol beszélők írtak, valamint 88 olyan esszével szemben, amelyeket amerikai nyolcadikosok írtak. A ZeroGPT a TOEFL-esszék 48 százalékát AI által generáltnak jelölte, szemben a nyolcadikos esszék 0 százalékával, ugyanazt a hibairányt mutatva, mint a tanulmány minden detektora, csak eltérő mértékben.

Ebben a különbségben semmi sem egyedi a ZeroGPT-re nézve, és semmi sem új információ. Ez ugyanaz a nem anyanyelvi szerzőkkel szembeni torzítási minta, amelyet a detektoripar egészében dokumentáltak, és amelyről részletesebben a TextPulse saját oldalán olvasható, hogy miért elfogultak az AI detektorok a nem anyanyelvi beszélőkkel szemben. A különbség egy ingyenes fogyasztói eszköz esetében azt mutatja meg, hogy a szolgáltató saját, nyilvánosságra hozott korlátozása, miszerint az alacsony entrópiájú írás gépi eredetűnek olvasható, nem hipotetikus. Egy szakmailag lektorált teszt évekkel azelőtt tetten érte ezt a pontos terméken, hogy a vállalat jelenlegi GYIK-je a saját szavaival megnevezte volna a mechanizmust.

Bizonyíthat-e bármit is egy ingyenes detektor pontszáma egyetlen dokumentumról?

Önmagában nem. A ZeroGPT százalékos értéke önmagában semmit sem bizonyít egy konkrét dokumentumról, egyik irányban sem. Ez csupán egy modell becslése, amely a vállalat által nem publikált, a vállalaton kívül senki által nem ellenőrizhető belső tesztelésre épül, és olyan szövegre alkalmazzák, amelynek hossza, szerkesztési története és műfaja mind olyan módon változik, hogy ez befolyásolja az értelmezést, amit a szolgáltató saját GYIK-je már eleve elismer. Egyetlen ingyenes pontszámot ítéletként kezelni többet vár el ettől a pontszámtól, mint amennyit a kiadó vállalat állít róla.

Amire egy pontszám valóban hasznos, az szűkebb és jóval hétköznapibb: egy gyors, költségmentes tájékoztatás arról, hogy egy vázlat jelenleg hol áll ugyanazon típusú statisztikai mérés szerint, amelyet egy fizetős intézményi eszköz is lefuttat, mielőtt bárki más látná. TextPulse ingyenes eszközei közvetlenül lefedik ugyanezt a területet, anélkül hogy az írót arra kérnék, találgassa meg, a több ingyenes detektor pontszámai közül melyikben bízzon meg először.

A pontossági adatok elfedik, hogy kit érintenek a hibák, és mi váltja ki őket. Annak ismerete, hogy mikor kell az a, an és the használata, megszünteti az egyik olyan mintázatot, amely jelzést vált ki, és mit jelent valójában a hamis pozitív, külön van kifejtve.

Semmi ebből nem teszi értelmetlenné ZeroGPT számát, és semmi ebből nem teszi a számot önmagában elegendővé. A pontszám egy kiinduló becslés, amelyet egy olyan módszer állít elő, amelyet a vállalat csak vázlatosan ír le, és nem nyitott meg külső tesztelésre, olyan szövegen, amelynek puszta műfaja is elmozdíthatja az eredményt, mielőtt bárki az érintettek közül bármit rosszul tett volna. Azon a FAQ oldalon a legtöbb információt hordozó két szó nem a százalék. Hanem a közvetlenül mellette álló óvatos megfogalmazások: belső, és afelé mutat. Egy ingyenes pontszám egy vázlatról szóló beszélgetés kiindulópontja, nem annak lezáró érve.

Mit mutatott a saját kutatásunk

A TextPulse Research detektor-egyezési tanulmányában kilenc kereskedelmi AI-detektor értékelte ugyanazt a 90 akadémiai szöveget. Az egyik egy 455 szavas hibrid szöveg volt: ember írta bevezetés és zárás, közötte 168 szavas, AI által írt középrész. A ZeroGPT erre a szövegre 7.6% AI értéket adott, miközben a többi eszköz ítélete ugyanezekre a szavakra 0% és 95.7% AI között szórt. A teljes tanulmány, a korpusz és az eszközönkénti pontszámmátrix szabadon elérhető itt: TextPulse Research.