Még mindig a perplexityre és a burstinessre támaszkodnak az AI detektorok?

Keressen rá arra, hogyan észleli a GPTZero ma az AI által írt szöveget, és a találatok többsége még mindig két statisztika köré szerveződik, a perplexity és a burstiness köré, arra a párosra, amely a 2023 januári indulást követő hetekben tette ismertté az eszközt. A GPTZero saját támogatási dokumentációja ma már mást mond: 2023 őszén felhagyott mindkettő használatával.

Tehát a burstiness még mindig használatban van az AI detektoroknál? Annál az eszköznél nem, amely az akadémiai körökben közismertté tette ezt a kifejezést. A GPTZero támogatási központja egyértelműen kimondja, hogy már nem használja sem a perplexityt, sem a burstiness-t, hanem helyette mélytanulási architektúrára váltott. A Turnitin, amellyel a legtöbb hallgató ténylegesen találkozik, eleve soha nem tette közzé egyik kifejezést sem a módszere részeként. Ezek a fogalmak nem tűntek el a beszélgetésből. Azokból a termékekből tűntek el, amelyek ténylegesen végzik az észlelést.

Használják még a burstiness-t az AI detektorok?

Nem, sem a GPTZero, sem név szerint nem. A GPTZero saját támogatási dokumentációja ezt közvetlenül kimondja: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." A Turnitin saját útmutatói ismét egy másik módszert írnak le, amely egy képzett osztályozóval pontozza a beadott munka részeit, és abban a dokumentációban sem jelenik meg egyik kifejezés sem. Az AI-észlelés első hullámát meghatározó két statisztika nem az, amit a vezető eszközök jelenleg futtatnak. Ez szűkebb állítás annál, mint hogy ezeket elvetették volna: a GPTZero saját magyarázata továbbra is hét jelző között tartja számon őket, amelyek a modelljét táplálják. Megszűntek módszerként működni anélkül, hogy megszűntek volna mérőszámnak lenni, és e két állítás közötti különbségen múlik ennek a kérdésnek a lényege.

Mi változott 2023 őszén

A két kifejezés soha nem volt homályos. A GPTZero saját korai magyarázata a perplexity fogalmát úgy határozta meg, mint "annak mértékét, hogy egy AI modell mennyire valószínű, hogy pontosan ugyanazt a szósort választotta volna, mint ami a dokumentumban található", a burstiness fogalmát pedig úgy, mint "annak mértékét, hogy az írásmintázatok és a szöveg perplexity értékei mennyire változnak a teljes dokumentum során", vagyis dokumentumszintű statisztikaként, nem pedig egyszerű mondathossz-számlálásként. Mindkét meghatározás továbbra is elérhető a GPTZero webhelyén. Ami megváltozott, az az, hogy ezek közül melyiket futtatja ténylegesen az észlelő.

A "Migrated to a deep-learning based architecture" egy konkrét állítás, nem marketingfordulat, és valós, minőségi változást ír le. A perplexity pontszámot közvetlenül egy képlet alapján számítják ki: a szöveget lefuttatják egy referencia nyelvi modellen, átlagolják a log valószínűségeket, majd exponenciálják az eredményt. Ehelyett egy deep-learning osztályozót tanítanak be, amelynek nagyszámú emberi és AI által írt példát mutatnak, amíg önállóan meg nem tanulja azt a jellemzőkombinációt, amely a tanítóadatokban elválasztja egymástól a két halmazt. A második megközelítésben senki nem írja meg kézzel a szabályt. A modell találja meg.

Mindkét nyugdíjazott kifejezést máshol ezen az oldalon teljes magyarázat kíséri: mit mér valójában a perplexity és mit mér valójában a burstiness külön-külön részletesen tárgyalja a saját működését, beleértve az ezek mögött álló képleteket is. Ez az írás szűken arra a kérdésre összpontosít, hogy ezek közül bármelyik az-e még ma is, amit egy észlelő futtat.

Mit dokumentál valójában ma a GPTZero és a Turnitin

A jelenlegi GPTZero technológiai oldal, amely azt írja le, mi kerül a termékbe, azt állítja, hogy a vállalat "end-to-end deep learning megközelítést alkalmaz, amelyet webes, oktatási és AI által generált szövegadatkészleteken tanítottak különböző LLM-ekből", és ebben "egy mondatról mondatra működő osztályozó modell határozza meg annak valószínűségét és bizonyosságát, hogy egy szöveget AI hozott létre". A perplexity és a burstiness sehol sem jelenik meg ezen az oldalon, sem komponensként, sem örökölt funkcióként, sem lábjegyzetben.

Turnitin dokumentációja eleve soha nem épült egyik kifejezésre sem. Az útmutatók egy néhány száz szavas darabokra bontott beküldést írnak le, ahol minden darabot egy betanított modell pontoz, majd a darabok pontszámaiból átlagolják azt az egyetlen százalékot, amelyet a jelentés megjelenít. Ez egy felügyelt osztályozó, amely szövegszegmenseken működik, ugyanabba a módszercsaládba tartozik, amely felé GPTZero is elmozdult, nem pedig egy perplexity-számítás és nem is egy burstiness-számítás más néven.

A váltás a legkönnyebben egymás mellett látható.

	Mit írtak le a korai magyarázatok (2023)	Mit ír le a jelenlegi dokumentáció
GPTZero	Perplexity és burstiness, egy referencia modellel összevetve pontozva	Mondategységenként működő mélytanulási osztályozó, amely valószínűséget és bizalmi pontszámot ad ki
Turnitin	Soha nem publikálták, a kifejezések Turnitin saját anyagaiban egyetlen ponton sem jelennek meg	Néhány száz szavas darabok, amelyeket egy betanított osztályozó pontoz, majd egyetlen százalékba átlagolnak

Miért magyarázzák még mindig a fogalmak az észlelhetőséget

Ez mind nem teszi a perplexityt és a burstiness-t hibássá, csak elavulttá a jelenlegi mechanizmus leírásaként. Mindkét fogalom mindig is valós jelenséget írt le: az a szöveg, amelyet mintavételezéssel egy modell saját, legnagyobb valószínűségű folytatásai felé állítanak elő, szó szerint szóról szóra általában kiszámíthatóbb, mint az a szöveg, amelyet egy ember a semmiből ír; továbbá hajlamos kevésbé változni egyik mondatról a másikra. A mögöttes szabályszerűség nem változott attól, hogy egy szolgáltató módosította az észlelő architektúráját. Az változott meg, hogy az észlelő miként keresi azt.

A betanított osztályozó nincs kifejezetten arra utasítva, hogy a perplexityt vagy a burstiness-t keresse. Inkább ugyanarra az alapvető különbségre tanítják, amely az emberi és a gépi szöveg között fennáll, és amelynek megragadására ezt a két statisztikát tervezték. És rendkívül valószínűtlennek tűnik, hogy egy olyan osztályozó, amelyet a két halmaz megkülönböztetésére tanítottak, éppen erre a szabályosságra, vagyis a kettő közötti egyik legmegbízhatóbb különbségre ne támaszkodna. Ez arra vonatkozó következtetés, hogy az osztályozó valószínűleg miért működik, nem pedig arra vonatkozó állítás, hogy mi szerepel a közzétett jellemzőlistájában, és ezt a kettőt külön kell kezelni.

Független kutatások alátámasztják azt az elképzelést, hogy a mögöttes statisztika továbbra is érvényes, még egyetlen gyártó termékén kívül is. DetectGPT, egy 2023-ban publikált akadémiai zero-shot módszer, a perplexity közeli rokonát vizsgálja, azt, hogy egy modell log-valószínűségi függvénye milyen meredeken görbül egy szövegrész körül, és egy benchmarkon 0.95 AUROC értéket ér el, szemben a korábbi legjobb zero-shot baseline 0.81 értékével, mindezt anélkül, hogy egyáltalán címkézett példákon tanított volna osztályozót. Az alapgondolat, hogy a gép által generált szöveg statisztikailag elkülönülő tartományban helyezkedik el a modell saját valószínűségi terében, továbbra is aktív kutatási terület. Egyszerűen nem ezt szállítja a GPTZero a felhasználóknak.

Miért értik ezt még mindig olyan sokan félre az interneten

Az AI felismerés működéséről szóló legtöbb publikált magyarázat a GPTZero 2023. januári indulása idején vagy nem sokkal utána készült, amikor a perplexity és a burstiness volt az egyetlen nyilvános keret, amelyet maga a vállalat kínált. Ezek az eredeti magyarázó oldalak ma is elérhetők. A 2023 őszi megszüntetési értesítés egy külön támogatási oldalon található, nem pedig ezekbe beépítve, így annak az írónak, aki elolvasta az első oldalt, majd abbahagyta a további kutatást, nem lett volna oka tudni, hogy a módszer kevesebb mint egy évvel később megváltozott.

Egy 2026-ban terjedő, harmadik féltől származó detektorértékelés azt állítja, hogy a GPTZero továbbra is a perplexity és a burstiness értékét használja egy nagyobb rendszer több rétege közül az egyikben. Ez az állítás közvetlenül ellentmond a GPTZero saját aktuális technológiai oldalának és saját támogatási dokumentációjának, és a GPTZero saját webhelyén semmi sem támasztja alá. Egy vállalat saját, forgalomba hozott termékéről szóló leírása továbbra is elsőbbséget élvez egy ugyanarra a termékre vonatkozó, alá nem támasztott harmadik féltől származó állítással szemben, még akkor is, ha a gyártói dokumentáció is lehet hibás. Ez az írás a GPTZero saját oldalait követi, nem pedig azt az értékelést, amely az idősebb történetet ismétli.

Mit jelent ez az Ön írása szempontjából

A burstiness köré épített gyakorlati útmutatás nem vált haszontalanná pusztán azért, mert a szó eltűnt a GPTZero saját anyagaiból. A mondathossz tudatos változtatása továbbra is, mechanikusan nézve, annak elkerüléséről szóló érv, hogy ugyanaz a statisztikai egyformaság jelenjen meg, amelyet egy osztályozó nagy valószínűséggel arra tanítottak, hogy észrevegye, bárhogyan is nevezi ezt a jelet belsőleg. Az alapvető tanács túlélte a gyártó architekturális változtatását, még ha az azt leíró szókincs nem is.

Ehhez sem kell senki szavát elfogadni, beleértve e bejegyzését sem. A TextPulse ingyenes perplexity ellenőrzője és a tágabb ingyenes eszközgyűjtemény lehetővé teszi, hogy megnézze, hol áll a saját vázlata egy detektor előtt, bármelyik generációhoz is tartozzon az.

Ha a válasz visszavezeti Önt a saját írásához, a gyakorlati következő lépések a burstiness tudatos növelése és a mondathossz változtatása egy akadémiai bekezdésen belül, ami ugyanaz a feladat, csak a mérőszám említése nélkül.

A mechanizmus, amelyet egy detektor futtat, tovább fog változni, a GPTZero már egyszer meg is változtatta. Ami állandó marad, az a tényleges kérdés, amelyet ennek az oldalnak a útmutatója arról, hogyan működnek valójában az AI detektorok teljes egészében tárgyal: vajon az előre jelezhető írás ugyanaz-e, mint a gép által írt szöveg, függetlenül attól, hogy egy adott évben éppen melyik képlet divatos.