Token-Wahrscheinlichkeit und Log-Likelihood in der KI-Erkennung

Wenn Sie einen Detektor fragen, wie er zu diesem Wert gekommen ist, liefern die meisten seiner Benutzeroberflächen dieselbe Antwort: einen Absatz, in dem einige Wörter dunkler schattiert sind als andere. Die Schattierung ist keine Vermutung. Sie stammt von einer Zahl, die jedem Token in der Passage zugeordnet ist und berechnet wurde, bevor der Detektor überhaupt perplexity, burstiness oder einen endgültigen Prozentsatz berührt.

Es handelt sich um eine Token-Wahrscheinlichkeit, und jede Token-Wahrscheinlichkeit ai detection basiert darauf, von Grund auf. Jede Zahl von Metriken, die ein Detektor ausgibt, einschließlich der beiden, die wir an anderer Stelle auf dieser Site behandeln, ist lediglich Arithmetik, die auf eine Reihe dieser Zahlen angewendet wird. Die Ebene unter der Ebene, bei der die meisten Erklärungen aufhören, ist der Punkt, an dem man darüber nachdenken muss, was ein Token eigentlich ist, was die Verteilung des Modells darüber bedeutet und warum die Arithmetik im Logarithmusraum statt mit roher Wahrscheinlichkeit ausgeführt wird. Die meisten Erklärungen hören dort auf.

Nichts davon muss undurchsichtig bleiben. Ein Token, eine Wahrscheinlichkeitsverteilung und ein Logarithmus sind gewöhnliche Werkzeuge, keine proprietären Geheimnisse, und dieselben drei Ideen erklären wie AI detectors tatsächlich funktionieren, vom Rohtext bis zu einer einzigen Zahl in einem Bericht.

Token-Wahrscheinlichkeit AI Detection: Von der Verteilung zum Wert

Token probability ai detection funktioniert in drei Stufen. Ein Sprachmodell weist jedem möglichen nächsten Token eine Wahrscheinlichkeit zu, gegeben das, was zuvor kam. Diese tokenweisen Wahrscheinlichkeiten werden in Logarithmen umgewandelt und über die Passage summiert, was ein numerisches Problem umgeht, auf das die rohe Multiplikation fast sofort stößt. Die daraus resultierende Summe, gemittelt und neu skaliert, ist das, was schließlich als perplexity Wert erscheint oder die Entscheidung eines Klassifikators speist. Jede Stufe ist ein spezifischer, überprüfbarer Teil der Arithmetik, keine Black Box.

Was ein Token eigentlich ist

Ein Token ist kein Wort. Moderne Sprachmodelle zerlegen Text mit einem Algorithmus wie Byte-Pair-Encoding in Subword-Einheiten, sodass ein häufiges Wort wie 'the' gewöhnlich ein Token ist, ein selteneres Wort wie 'perplexity' in zwei oder drei Teile zerfällt und ein unbekannter Name bis auf einzelne Zeichen fragmentieren kann. Ein Abschnitt gewöhnlichen Englischen wird zuverlässig in mehr Teile tokenisiert, als er Wörter hat, was man wissen sollte, bevor man einer Wortzählung vertraut, die ein Tool an Sie zurückmeldet.

Das Modell sieht Wörter nie so, wie es ein Leser tut. Es sieht eine Folge von ganzen Zahlen, von denen jede ein Index in einem festen Vokabular ist, mit dem das Modell trainiert wurde. Alles, was token probability ai detection von diesem Punkt an tut, arbeitet mit dieser Ganzzahlfolge, nicht mit der ursprünglichen Zeichenkette, was ein Grund dafür ist, dass die internen Abläufe eines Detektors sich von der Art und Weise getrennt anfühlen können, wie eine Person einen Satz tatsächlich liest.

Die Verteilung des Modells über das nächste Token

An jeder Position in einer Sequenz gibt ein autoregressives Sprachmodell nicht eine Vorhersage aus. Es gibt eine vollständige Wahrscheinlichkeitsverteilung über sein gesamtes Vokabular aus, Zehntausende von Zahlen, die sich zu eins summieren und jedes mögliche nächste Token vom wahrscheinlichsten bis zum unwahrscheinlichsten einordnen, gegeben alles, was zuvor kam. Gibt man einem Modell die Phrase 'the results of the', verteilt es den größten Teil dieser Wahrscheinlichkeitsmasse auf eine Handvoll plausibler Substantive, 'study,' 'experiment,' 'analysis,' und weist etwas wie 'marmalade.' einen verschwindend kleinen Anteil zu.

Das Token, das in einem realen Dokument tatsächlich als Nächstes erscheint, landet irgendwo in dieser Rangfolge, und seine zugewiesene Wahrscheinlichkeit ist das Rohmaterial, aus dem alles andere aufgebaut wird. Ein Modell, das seinen eigenen Text erzeugt, kann sich direkt auf diese Verteilung stützen und wiederholt aus den obersten Positionen auswählen. Ein Detektor, der den fertigen Text eines anderen liest, kann im Nachhinein nur fragen, wie viel Wahrscheinlichkeit das Modell der tatsächlich getroffenen Wahl zugewiesen hätte.

Die Wahrscheinlichkeit einer gesamten Sequenz ist das Produkt der Wahrscheinlichkeit jedes Tokens, gegeben alles davor. Wenn wir diese Frage pro Token über ein ganzes Dokument hinweg mit der Standardregel für die gemeinsame Wahrscheinlichkeit verketten, ist das Endergebnis eine einzelne Zahl, die beschreibt, wie erwartet die gesamte Passage war. Dieses Produkt ist der Punkt, an dem die Arithmetik zu versagen beginnt, und genau deshalb gibt es den nächsten Abschnitt.

Warum die Log-Likelihood die rohe Wahrscheinlichkeit ersetzt

Wahrscheinlichkeiten miteinander zu multiplizieren ist mathematisch korrekt und praktisch nutzlos, sobald man über einige Dutzend Tokens hinausgeht. Jede einzelne Wahrscheinlichkeit ist ein Bruch kleiner als eins, daher schrumpft ein laufendes Produkt jedes Mal, wenn ein weiteres Token einbezogen wird, und es schrumpft schnell. Nach einigen hundert Tokens kann ein rohes Produkt so weit unter die kleinste Zahl fallen, die ein Computer darstellen kann, dass es auf genau null abgerundet wird, ein Fehlermodus, der Underflow genannt wird.

Sobald das passiert, trägt die Zahl überhaupt keine Information mehr. Ein Dokument, das nur unwahrscheinlich war, und ein Dokument, das extrem, chaotisch unwahrscheinlich war, kollabieren beide zu demselben Nullwert, ohne dass man sie danach noch unterscheiden könnte. Logarithmen beheben das, weil der Logarithmus eines Produkts der Summe der Logarithmen entspricht, eine Identität aus der elementaren Algebra. Eine Folge gewöhnlicher negativer Zahlen zu summieren führt nicht zu Underflow, wie es beim Multiplizieren einer Folge kleiner Brüche der Fall ist, und es ist außerdem günstiger zu berechnen.

Passagelänge (illustrativ)	Rohe Wahrscheinlichkeit, ein laufendes Produkt	Summe der Log-Wahrscheinlichkeiten
12 Tokens bei einem illustrativen Wert von 0.1 jeweils	1 x 10 hoch -12, noch darstellbar	ungefähr -27.6
350 Tokens bei einem illustrativen Wert von 0.1 jeweils	1 x 10 hoch -350, underflowt zu genau 0	ungefähr -805.9

Dies ist eine vereinfachte Veranschaulichung. Reale Wahrscheinlichkeiten pro Token variieren enorm, statt bei einem flachen Wert von 0.1 zu liegen, aber die Richtung des Problems ist genau richtig. Sobald ein rohes Produkt auf null unterläuft, wird der Vergleich, den ein Detektor tatsächlich benötigt, nämlich ob dieses Dokument mehr oder weniger erwartet war als jenes, unmöglich. Die Summe der Log-Wahrscheinlichkeiten versagt auf diese Weise nie. Sie bleibt eine präzise, gewöhnliche, vergleichbare Zahl, ganz gleich, wie lang der Abschnitt wird, und genau deshalb wird die Erkennbarkeit in Log-Raum statt im Raum der rohen Wahrscheinlichkeit gemessen.

Von Per-Token-Werten zu einem Erkennungswert

Das Aufsummieren von Log-Wahrscheinlichkeiten über einen Abschnitt ergibt die gesamte Log-Likelihood des Dokuments unter dem Referenzmodell. Teilt man durch die Anzahl der Tokens, entfernt man den Längeneffekt und erhält die durchschnittliche Log-Likelihood pro Token, eine Zahl, die sich schließlich zwischen einem Aufsatz mit fünfhundert Wörtern und einem Kapitel einer Dissertation mit fünftausend Wörtern vergleichen lässt. Negiert man diesen Durchschnitt und exponentiert ihn, erhält man den Perplexity-Wert, eine Metrik, die dieser Themenbereich in einem separaten Blick auf was Perplexity tatsächlich misst vollständig behandelt.

Dieselben satzweisen Werte, die auf Variation innerhalb eines Dokuments verfolgt werden, statt zu einem einzigen Durchschnitt geglättet zu werden, sind das, woraus Burstiness aufgebaut ist, ein verwandtes, aber von Perplexity getrenntes Signal. Beide gehen von denselben per-Token-Zahlen aus, die oben beschrieben wurden. Sie führen darauf nur unterschiedliche Rechenoperationen aus.

Ein einfacher Durchschnitt ist nicht die einzige Möglichkeit, dieses Rohmaterial zu verwenden, und die Forschung ist längst darüber hinausgegangen. DetectGPT, veröffentlicht auf der ICML 2023 von Mitchell, Lee, Khazatsky, Manning und Finn, arbeitet mit einer anderen Eigenschaft derselben Wahrscheinlichkeitsfunktion: Text, der aus einem Sprachmodell abgetastet wurde, neigt dazu, in einer Region zu liegen, in der kleine Umformulierungen die Log-Wahrscheinlichkeit sinken lassen statt sie steigen zu lassen, ein Muster, das das Paper negative Krümmung nennt.

Statt einen Klassifikator zu trainieren oder ein Wasserzeichen zu verwenden, stört diese Methode eine Passage, erzeugt kleine Variationen darin, wie sie umformuliert wird, und bewertet dann jede Variation mit demselben Modell neu. Die Arbeit vergleicht dies mit der besten Zero-Shot-Baseline und stellt fest, dass diese Methode bei Text, der von einem Modell mit 20 Milliarden Parametern erzeugt wurde, einen AUROC von 0.95 erreicht, während die beste Zero-Shot-Baseline einen AUROC von 0.81 erreicht.

Dieselbe Verteilung, verwendet, um zu wasserzeichnen statt zu erkennen

Bisher wurde die Wahrscheinlichkeitsverteilung als etwas behandelt, das im Nachhinein gelesen wird. Sie kann auch im Moment der Generierung beeinflusst werden, was das Problem vollständig umkehrt. Eine Methode aus dem Jahr 2023 von Kirchenbauer, Geiping, Wen, Katz, Miers und Goldstein wählt vor jedem erzeugten Wort eine zufällige Auswahlliste zulässiger Token aus, basierend auf einem Hash dessen, was zuvor kam, und lenkt das Sampling sanft in Richtung dieser Auswahlliste. Die Verzerrung ist für eine lesende Person unsichtbar und später mit einem statistischen Test über einen kurzen Textabschnitt wiederherstellbar, ohne dass Zugriff auf das ursprüngliche Modell erforderlich ist.

Google DeepMind's SynthID setzt eine Version dieser Idee in die Produktion um: Es passt die Wahrscheinlichkeitswerte des nächsten Tokens zur Generierungszeit an und ist heute in der Gemini App und der Weboberfläche verfügbar. OpenAI hat ein vergleichbares System entwickelt und nicht veröffentlicht. Berichte führen die Entscheidung teilweise auf eine Umfrage zurück, in der fast 30 Prozent der ChatGPT Nutzer angaben, dass Wasserzeichen dazu führen würden, das Produkt seltener zu nutzen, zusammen mit Bedenken darüber, wie gut ein Wasserzeichen Paraphrasierung überstehen würde.

Der Bericht eines Detektors zeigt ein schattiertes Wort oder einen einzelnen Prozentsatz und endet dort, ohne jemals die Verteilung zu zeigen, aus der all dies stammt. Der kostenlose Perplexity-Checker von TextPulse führt eine vereinfachte Version derselben tokenweisen Bewertung gegen Ihren eigenen Entwurf aus, was ein direkterer Weg ist zu sehen, wo eine Passage steht, als ein Urteil aus zweiter Hand zu lesen.

Zwei benachbarte Seiten greifen dies auf. Ob Detektoren sich noch auf Burstiness stützen hat sich seit 2023 verändert, und wie GPTZero diese gleichen Wahrscheinlichkeiten in einen Score umwandelt wird auf einer eigenen Seite beschrieben.

Es steht neben den übrigen kostenlosen Tools von TextPulse, sodass derselbe Entwurf auf Rhythmus und Struktur ebenso wie auf Wortvorhersagbarkeit geprüft werden kann, ohne dafür ein Dutzend separater Tabs zu öffnen.