Miért észlelhető az AI-szöveg? Az igazi okok

Ha megkér egy nyelvi modellt, hogy fejezze be a következő mondatot: "The weather today is," akkor nem fog megpróbálni olyan színt választani, mint a "cerulean" vagy az "apocalyptic." Ehelyett inkább azt próbálja mondani, hogy "sunny," "cloudy," vagy "nice," mert ezek a szavak követték ezt a kifejezést a leggyakrabban abban, amin éppen tanították. Az a szoftver, amely kiválasztja a mondat következő szavát, úgy van megtervezve, hogy éppen az ilyen választ részesítse előnyben.

Miért észlelhető az AI szöveg? Azért, mert ugyanaz az előnyben részesítés, amely a "sunny" szót választja a "cerulean" helyett, egy egész dokumentumon végighalad, szóról szóra, és az eredmény a lehetséges írásmódok egy szűkebb sávjába esik, mint amilyenben egy ember ténylegesen mozog. Egy detektornak nem kell hazugságot lelepleznie. Csupán azt kell észrevennie, hogy egy szövegrész folyamatosan ebbe a szűk sávba esik.

Az alábbiakhoz nincs szükség képletre. A működés egyetlen gondolatban rejlik, amely három különböző léptékben ismétlődik meg, szóválasztásban, mondatszerkezetben és abban a konkrét részletben, amelyhez az író gondolkodás nélkül nyúl. E három lépték mindegyike hozzájárul a hogyan működnek valójában az AI detektorok tágabb kérdéséhez, és mindegyik könnyebben látható, ha megnevezzük a kiváltó okot.

Miért észlelhető az AI szöveg? A rövid válasz

Az AI szöveg azért észlelhető, mert az a dekódolási folyamat, amely a modell előrejelzéseit kész mondatokká alakítja, minden lépésben a valószínű szavakat részesíti előnyben, és ha ez következetesen történik, több ezer szó sorozatában, olyan írást eredményez, amely a nyelv egy szűkebb szeletét foglalja el, mint amit egy ember általában használ. Egy statisztikai eszköz ezt a szűkösséget akkor is ki tudja mutatni, ha minden mondat nyelvtanilag hibátlan és tényszerűen pontos.

Ebből az egy okból három tünet következik. A szókincs a legbiztonságosabb, leggyakoribb szó felé szűkül. A mondatszerkezet néhány kedvelt forma felé szűkül. És az a konkrét, kissé valószínűtlen választás, amelyhez egy ember szinte reflexszerűen nyúl, a szokatlan szó, a közbevetés, az a részlet, amelynek belefoglalása semmibe sem kerül, de előrejelzése mindent igényel, többnyire egyáltalán nem jelenik meg.

Hogyan választja ki egy nyelvi modell a következő szavát

Egy nyelvi modell önmagára hagyva egyszerűen közölné a lehetséges következő szavak teljes, rangsorolt listáját, és hagyná, hogy valami más válasszon. A gyakorlatban egy dekódolási stratégia ezt a választást automatikusan, szóról szóra elvégzi, és az, hogy melyik stratégia fut, megváltoztatja a kimenet megjelenését akkor is, ha az alapul szolgáló modell soha nem változik.

A greedy dekódolás mindig az egyetlen legvalószínűbb szót választja. Abban a tanulmányban, amely a nucleus samplinget javításként vezette be, Ari Holtzman és szerzőtársai megfigyelték, hogy ennek a stratégiának a követése olyan szöveget eredményez, amely az ő szavaikkal élve, 'íztelen és furcsán ismétlődő.' A beam search, amely egyszerre több valószínű folytatást követ nyomon, mielőtt egy mellett döntene, ugyanennek a problémának egy hasonló változatába ütközik.

A mintavételezési stratégiák bizonyos fokú véletlenszerűséget vezetnek vissza, de ellenőrzött módon. A hőmérséklet azt szabályozza, hogy a modell milyen erősen részesíti előnyben a saját legjobb választásait, mielőtt egy szót kiválasztanának. A nucleus sampling, amelyet néha top-p-nek is neveznek, a valószínűségi eloszlást a szavak legkisebb olyan halmazára szűkíti le, amelynek együttes valószínűsége átlép egy küszöbértéket, és csak ebből a halmazból mintavételez, az eredeti tanulmány szerint a valószínűségi eloszlás dinamikus magjából mintavételezve, nem pedig annak megbízhatatlan farkából.

Még ezeknek a beállításoknak a legkevésbé determinisztikus változata is továbbra is egy olyan rövid listából mintavételez, amely arra épül, amit a modell már eleve valószínűnek tart. Az emberi írás soha nem úgy jött létre, hogy egy szókincset rangsoroltak volna, majd annak éléről mintavételeztek volna, ezért folyamatosan túllép ezen a rövid listán. A jelentés néha abban a szóban él, amely soha nem szerepelt a listán.

Szókincsbeli laposság: kevesebb, biztonságosabb szó

A szókincsbeli laposság ugyanezen szokás szó szintű változata. Egy mondat minden pontján tucatnyi szó folytathatná azt hihetően, de néhány messze a többiek fölött áll a modell rangsorában, és a dekódolás újra meg újra erre a néhányra esik vissza. Ha ezt a választást egy dokumentum minden mondatára kiterjesztjük, a ténylegesen használt szavak köre mérhetően beszűkül azonos hosszúságú emberi íráshoz képest.

A hatás nem állandó marad, hanem összeadódik. Ha egy modell az első mondatban a legmagasabban rangsorolt szót választja, nagyobb valószínűséggel alakít ki olyan kontextust, amelyben a második mondat legmagasabban rangsorolt szava is gyakori lesz, mert a gyakori szavak hajlamosak gyakori szavakat követni. Az emberi szerző ezt az elmozdulást folyamatosan megszakítja, a pontos szakkifejezést, az enyhén szokatlan igét, azt a szót keresve, amely a tényleges dolgot nevezi meg, nem pedig annak biztonságos közelítését. Ez a különbség úgy jelenik meg, mint a generált változatban mérhetően kisebb aktív szókincs, még akkor is, ha mindkét változat ugyanazokat a mögöttes tényeket írja le.

Ez az egész szövegrész tulajdonsága, nem valamelyetlen szóválasztásé. Egyetlen biztonságos szó sem bizonyít semmit. Egy egész oldalnyi ilyen szó, mondatról mondatra ugyanannak a gyakori szókészleti rangnak a választásával, az az, amit egy detektor szó szintű jele valójában észlelni épül.

Szintaktikai egyneműség: ugyanazok a formák, ismétlődve

A szintaktikai egyneműség a mondatszintű változat. Nem arról szól, milyen hosszú egy mondat. Arról szól, hogy egy szövegrész hány különböző nyelvtani formát használ, hogyan nyílnak a mondatok, hogyan kapcsolódnak egymáshoz a tagmondatok, és milyen gyakran végzi az összekötés munkáját egy átmeneti szó egyik gondolattól a következőig. Az a modell, amely továbbra is a statisztikailag valószínű következő szerkezetet jósolja, kevés forma köré rendeződik, és ezeket ismétli.

Egy bekezdés változtathatja a mondathosszokat, és mégis szintaktikailag laposnak hat, ha minden mondat ugyanazt az alany-ige-állítmány szerkezetet követi, ugyanazzal a fajta átmenettel kezdődik, vagy ugyanúgy zárul le. Az előreláthatóság a mintázatban rejlik, nem a szószámban, ez a különbség részletesebben is szerepel a mi is mér valójában a burstiness útmutatóban.

Mi szűkíti le	Mit szokott tenni a dekódolásra optimalizált szöveg	Mit szokott tenni az emberi írás
Szóválasztás	Minden lépésnél a legvalószínűbb közhasználatú szóra áll rá	Az adott dolgot megnevező, konkrétabb vagy ritkább szót választja
Mondategység kezdete	Ugyanannak a néhány biztonságos átvezető kezdésnek a kis körét ismétli	Változtatja, hogyan kezdődik a mondat, beleértve azokat a kezdéseket is, amelyeket egy modell kevésbé valószínűnek rangsorolna
Mellékmondat szerkezete	Egy vagy két előnyben részesített nyelvtani mintát ismétel egy szövegrészben	Egyszerű és összetett szerkezeteket vegyít aszerint, hogy mire van szüksége a mondatnak

Azok a választások, amelyeket csak egy ember szokott meghozni

A szűk sáv másik oldala az, ami azon kívül esik. Aki valós eseményeket ír le, az a kerekített helyett a pontos számadatot választja, elismeri azt a részt, ami nem működött, félbeszakít egy mondatot, hogy menet közben kijavítsa, vagy olyan szót választ, amely helyes, nem pedig tipikus. Ezek mindegyike egy nyelvi modell szemszögéből alacsony valószínűségű token, éppen az a fajta, amelyet a dekódolás elkerülésére terveztek.

Mindez nem jelenti azt, hogy a konkrét vagy szokatlan írás minden jelöléstől mentes, vagy hogy a gördülékeny, helyes írás alapértelmezés szerint gyanús. Egy módszertani rész, egy jogi záradék vagy egy erősen szerkesztett végleges változat számos olyan okból kerülhet szűk sávba, amelyeknek semmi közük egy modellhez, ezért egyetlen pontszám inkább egy mintázat leírása, mint annak eldöntése, hogy ki gépelte be.

Sokkal hasznosabb látni, hogy a saját vázlat hol helyezkedik el ezen a sávon, mint találgatni. A TextPulse ingyenes perplexity ellenőrzője és burstiness ellenőrzője külön méri a szószintű kiszámíthatóságot és a mondatról mondatra változó ritmust, így a lapos szókincs és az ismétlődő mondatszerkezet két külön jelként jelenik meg, nem pedig egyetlen összemosott számként.

Ebből két szűkebb oldal következik. Az egyik a Hogyan észleli a Turnitin kifejezetten az AI-t, a másik pedig a hasonlósági pontszáma és az AI-pontszáma közötti különbség, mivel ezt a kettőt rendszeresen összekeverik egymással.

Mindkettő a tágabb ingyenes eszközök gyűjteményén belül található, mindazok számára, akik saját maguk szeretnék látni a mintázatot, ahelyett hogy vakon megbíznának egyetlen számban.