Wie funktionieren KI-Detektoren? Perplexität, Burstiness und Token-Wahrscheinlichkeit

Ihre Universität hat begonnen, Einreichungen durch einen AI-Detektor laufen zu lassen, und es ist ein Bericht mit einer Zahl zurückgekommen, die Sie nicht erwartet hatten. Bevor Sie versuchen, sie anzufechten, ist es hilfreich zu wissen, was diese Zahl bedeutet. Wie funktionieren AI-Detektoren? Sie lesen maschinell erzeugten Text nicht so, wie es ein Mensch tut. Sie messen, wie vorhersagbar Ihr Text für ein Sprachmodell ist, und wandeln diese Vorhersagbarkeit dann in einen Wert um. Nichts in diesem Prozess betrachtet, was Sie meinen, Ihr Argument oder ob Sie die Arbeit tatsächlich selbst geschrieben haben.

Ich habe Jahre damit verbracht, Werkzeuge zu entwickeln, die Text statistisch zerlegen, und das Nützlichste, was man über Erkennung verstehen kann, ist dies: Es handelt sich um eine Messung von Typikalität, nicht von Herkunft. Sobald das klar ist, werden sowohl die Technologie als auch ihre Fehler viel verständlicher.

Was ein Detektor tatsächlich misst

Ein Detektor weiß nicht, wer irgendetwas geschrieben hat. Was er hat, ist ein Sprachmodell und eine Bewertungsfunktion. Das Modell liest Ihren Text von links nach rechts, und an jedem Punkt erzeugt es eine Wahrscheinlichkeitsverteilung darüber, welches Wort als Nächstes kommen sollte. Geben Sie ihm die Wörter "the results of the" und es wird "study" am höchsten einstufen, "experiment" etwas niedriger und "marmalade" irgendwo nahe null.

Der Detektor stellt Ihrem Dokument also eine Frage: Wie oft hat dieser Text das Wort gewählt, das das Modell erwartet hat? Schreiben, das immer wieder bei Wörtern mit hoher Wahrscheinlichkeit landet, wirkt maschinell erzeugt, weil genau das ein Textgenerator tut. Das Modell zieht immer wieder aus dem oberen Bereich seiner eigenen Verteilung, über Tausende von Tokens hinweg.

Deshalb steht die gesamte Kategorie auf wackligerem Boden, als das Marketing nahelegt. Ein Detektor findet weder ein Wasserzeichen noch einen Fingerabdruck. Er bemerkt lediglich, dass Ihre Prosa statistisch wenig überraschend ist, und wenig überraschende Prosa hat viele Ursachen außer einem Chatbot.

Perplexity: wie überrascht das Modell ist

Die zentrale Messgröße heißt Perplexität, und sie ist einfacher, als sie klingt. Man nimmt die Wahrscheinlichkeit, die das Modell jedem tatsächlich erschienenen Wort zugewiesen hat, bildet den Durchschnitt der Logarithmen dieser Wahrscheinlichkeiten und exponentiert das Ergebnis. Heraus kommt eine einzelne Zahl, die beschreibt, wie überrascht das Modell von Ihrem Dokument war. Sie können die Perplexität Ihres eigenen Entwurfs prüfen, statt sie zu erraten.

Eine niedrige Perplexität bedeutet, dass der Text dort verlief, wo das Modell es erwartet hatte. Eine hohe Perplexität bedeutet, dass er immer wieder Wendungen nahm, die das Modell nicht erwartet hatte. Menschliches Schreiben liegt tendenziell höher, weil Menschen zu dem ungewöhnlichen konkreten Nomen greifen, zu der unüblichen Konstruktion, zu dem Satz, der an einer unerwarteten Stelle beginnt. Generierter Text liegt tendenziell niedriger, weil der Dekodierungsprozess darauf ausgelegt ist, genau solche Bewegungen zu vermeiden.

Vergleichen Sie zwei Arten, einen Methodenteil zu eröffnen. "The results of the study were statistically significant" ist eine Sequenz, die fast jedes Modell mit hoher Sicherheit vorhersagen würde, weil sie keine unerwarteten Informationen enthält. "Two of the three cohorts drifted before week six, which we had not planned for" ist weit weniger vorhersagbar, weil sie konkrete, sperrige Informationen enthält, die aus dem Rest der Arbeit nicht hätten erraten werden können. Der zweite Satz kostet den Detektor echte Überraschung, und genau diese Überraschung wird als menschlich registriert.

Burstiness: die Varianz, nicht der Durchschnitt

Perplexität allein reicht nicht aus, weil ein Dokument im Durchschnitt eine völlig vernünftige Zahl ergeben kann, während es darunter verdächtig gleichförmig bleibt. Entscheidend ist die Variation im gesamten Text, und genau das misst Burstiness: wie stark Satzlänge und Satz-Perplexität schwanken, während der Text fortschreitet. Ein Burstiness-Checker zeigt Ihnen diese Streuung direkt.

Wir werden schneller, wenn wir sicher sind, und langsamer, wenn wir uns absichern, und dieser Rhythmus bleibt in der Prosa erhalten. Menschen schreiben in Schüben. Ein Absatz kann mit einem kurzen, deklarativen Satz von acht Wörtern beginnen, in einen Satz von vierunddreißig Wörtern übergehen, der drei Nebensätze und eine Parenthese enthält, und dann wieder zu etwas Knappem zurückkehren.

Modellausgaben tun dies nicht zuverlässig. Sätze häufen sich um die mittlere Länge. Absätze erscheinen in ordentlichen Bündeln. Jeder Abschnitt beginnt damit, seine eigene Überschrift zu wiederholen. Es liest sich flüssig und erzielt schlechte Werte, weil eine geringe Varianz über die Sätze hinweg eines der stärksten Signale ist, das ein Detektor hat. Nicht ein einzelner Satz verrät es. Es ist die Gleichförmigkeit.

Signal	Was es misst	Warum maschineller Text niedrige Werte erzielt
Perplexity	Wie überrascht das Modell von Ihren Wortwahlen ist, gemittelt über das Dokument	Beim Decoding werden absichtlich Tokens mit hoher Wahrscheinlichkeit abgetastet
Burstiness	Wie stark Satzlänge und Vorhersagbarkeit über den Text hinweg variieren	Die Ausgabe häuft sich um den Mittelwert statt zu schwanken
Token probability	Die wortweise Wahrscheinlichkeit, aus der die beiden anderen berechnet werden	Lange Folgen einzeln unauffälliger Entscheidungen

Token probability und woher der Wert kommt

Beide dieser Zahlen werden aus einer dritten aufgebaut, der per-Token log-likelihood, dem Rohmaterial, aus dem alles andere berechnet wird. Einige Werkzeuge zeigen sie direkt an und heben die Passagen hervor, in denen Ihr Text am vorhersehbarsten war. Diese Hervorhebungen sind keine Vorwürfe gegen bestimmte Sätze, ganz gleich, was die Oberfläche nahelegt. Sie sind die Teile, die am stärksten zu einer Zahl auf Dokumentebene beigetragen haben.

Forschungsansätze sind über einfache Schwellenwerte hinausgegangen. DetectGPT und seine Nachfolger betrachten die Krümmung, sie perturbieren Ihren Text leicht und prüfen, ob die likelihood in dem Muster abfällt, das erzeugter Text typischerweise zeigt. Andere vergleichen dieselbe Passage unter zwei verschiedenen Modellen und nutzen die Abweichung als Signal.

Eine Folge ist für alle wichtig, die beurteilt werden. Da die Metriken gegen ein bestimmtes Referenzmodell berechnet werden, ist ein Wert immer relativ zu diesem Modell. Zwei Detektoren können denselben Absatz lesen und völlig uneinig sein, und keiner von beiden funktioniert fehlerhaft. Sie beantworten dieselbe Frage mit unterschiedlichen Bezugspunkten.

Die zweite Konsequenz wird seltener erwähnt. Ein Modell kann eine Passage nur dann als vorhersehbar erkennen, wenn diese Passage dem ähnelt, worauf es trainiert wurde, daher verschlechtert sich die Erkennungsqualität, wenn die Lücke zwischen dem Referenzmodell und dem, was den Text erzeugt hat, größer wird. Neuere Generatoren, ungewöhnliche Disziplinen und andere Sprachen als Englisch vergrößern diese Lücke. Das ist mit ein Grund dafür, dass die in einem kontrollierten Benchmark gemessene Genauigkeit bei einer realen Menge von Einreichungen selten Bestand hat.

Was kommerzielle Detektoren zusätzlich leisten

Die Werkzeuge, die Institutionen tatsächlich kaufen, verwenden nicht die Lehrbuch-Perplexität. Turnitin, GPTZero, Originality und die übrigen trainieren überwachte Klassifikatoren auf großen, gelabelten Mengen menschlicher und maschineller Texte und nutzen statistische Merkmale neben stilistischen. Was der Klassifikator lernt, ist das, was diese beiden Mengen in seinen Trainingsdaten voneinander trennt, und das ist etwas engeres und stärker historisch geprägtes als "AI writing" im Allgemeinen.

Die Abhängigkeit vom Training ist das stille Problem. Ein Klassifikator, der überwiegend auf einer Generation von Modellausgaben trainiert wurde, muss auf neuere Modelle, auf unbekannte Disziplinen und auf Autorinnen und Autoren generalisieren, deren Englisch seiner Trainingsverteilung nicht ähnelt. Anbieter veröffentlichen Genauigkeitswerte aus ihren eigenen Evaluierungen, und unabhängige Benchmarks liegen bei denselben Werkzeugen regelmäßig deutlich unter diesen Zahlen.

Eine Punktzahl lesen, ohne sie zu überlesen

Ein Detektorbericht erscheint gewöhnlich als Prozentsatz, und dieser Prozentsatz wird regelmäßig missverstanden. Er ist nicht der Anteil Ihres Dokuments, der von einer Maschine geschrieben wurde. Je nach Werkzeug handelt es sich um die Sicherheit des Klassifikators oder um den Anteil der Sätze, die einen internen Schwellenwert überschritten haben, und Anbieter bleiben dazu oft ungenau. Zwei Berichte, die beide sechzig Prozent anzeigen, können sehr Unterschiedliches bedeuten.

Es ist auch sinnvoll zu wissen, was einen Score aus Gründen verschiebt, die nichts damit zu tun haben, wer ihn geschrieben hat. Kurze Dokumente sind rauschiger, weil es weniger Text gibt, auf den sich die Durchschnittswerte einpendeln können, und ein Aufsatz mit fünfhundert Wörtern kann sich schon durch zwei oder drei ungewöhnliche Sätze stark verändern. Zitierte Passagen zählen ebenfalls, sofern das Tool sie nicht herausfiltert, sodass eine mit Blockzitaten gefüllte Literaturübersicht die Vorhersagbarkeit dessen übernimmt, was sie zitiert. Eine technische Passage, die mit Standardterminologie gesättigt ist, verhält sich auf dieselbe Weise.

Wenn Sie von einer Markierung betroffen sind, ist eine nützliche Reaktion Belege statt einer Debatte über die Metrik. Versionsverlauf, Entwürfe, Notizen und Suchprotokolle sprechen alle für den Prozess, und genau den kann ein Gremium für Fehlverhalten tatsächlich bewerten. Es gibt keinen Schwellenwert, auf den jemand verweisen könnte, um eine sorgfältige Autorin oder einen sorgfältigen Autor von einem Modell zu trennen.

Warum Detektoren Texte markieren, die kein Modell erzeugt hat

Falschpositive sind keine seltene Fehlfunktion. Sie ergeben sich unmittelbar aus der Messung von Typikalität. Jeder Text, der tatsächlich vorhersagbar ist, wird als vorhersagbar eingestuft, unabhängig davon, wer ihn erstellt hat.

Am stärksten betroffen sind englische Schreibende, für die Englisch nicht die Muttersprache ist. Forschende in Stanford fanden heraus, dass Detektoren einen großen Anteil der Aufsätze von Nichtmuttersprachlern fälschlich als maschinell erzeugt einstuften, während sie Aufsätze von Muttersprachlern korrekt klassifizierten. Der Grund ist mechanisch und nicht böswillig: Schreibende, die in einer zweiten Sprache arbeiten, neigen dazu, sich auf eingespielte Konstruktionen und einen gebräuchlicheren Wortschatz zu stützen. Genau das ist das Profil niedriger Perplexity, weshalb ESL writers get flagged for writing carefully.

Akademische Konventionen verursachen dasselbe Problem. Ein Methodenteil soll formelhaft sein. Juristische Texte, technische Dokumentation und klinische Berichterstattung belohnen alle die standardisierte Formulierung mehr als die einfallsreiche. Starke Überarbeitung verstärkt dies zusätzlich, da das Glätten eines Entwurfs in der Regel bedeutet, die Unregelmäßigkeiten zu entfernen, die Ihre statistische Signatur getragen haben.

Institutionen haben dies bemerkt. Vanderbilt deaktivierte die KI-Erkennungsfunktion von Turnitin, statt auf Werte zu reagieren, die nicht verifiziert werden konnten, und andere Universitäten haben eingeschränkt, wie die Zahlen in Verfahren wegen Fehlverhaltens verwendet werden dürfen. Behandeln Sie einen Detektorwert als ein schwaches Beweisstück, nicht als Urteil.

Was dies für Ihr eigenes Schreiben bedeutet

Die praktische Empfehlung, die sich aus der Funktionsweise ergibt, ist nicht ungewöhnlich, und nichts davon hat mit Manipulation zu tun. Variieren Sie Ihre Satzlänge bewusst, denn Gleichförmigkeit ist das, was registriert wird. Behalten Sie das konkrete Detail bei, die tatsächliche Zahl, die tatsächliche Einschränkung, das, was in Woche sechs schiefging. Allgemeine Kompetenz ist das, was als maschinell erzeugt bewertet wird, und Spezifität ist sowohl besseres Schreiben als auch ein stärkeres Signal.

Behalten Sie auch Ihren eigenen Sprachgebrauch bei. Wenn Sie eine bestimmte Art haben, Dinge auszudrücken, lassen Sie sie stehen. Der Impuls, einen Entwurf so lange zu glätten, bis er klingt wie jede andere Arbeit im Fach, ist genau der Impuls, der Ihre Perplexität senkt.

Eine Sache sollten Sie vermeiden: Einige Werkzeuge fügen absichtlich grammatische Fehler ein, um die Perplexität zu erhöhen. Das funktioniert auf der Metrik, und es ist eine sehr schlechte Idee für alles, was benotet oder begutachtet wird, da Sie einen Verdacht gegen eine Gewissheit eintauschen. Das Ziel ist Schreiben, das als Ihres gelesen wird, nicht Schreiben, das absichtlich beschädigt wurde. Das ist der ganze Unterschied zwischen Umschreiben für einen menschlichen Leser und dem Verfälschen von Text, um einen Bewerter zu täuschen.

Wenn Sie diese Zahlen für Ihren eigenen Entwurf sehen möchten, statt einer Black Box einfach zu glauben, sind die zugrunde liegenden Messungen nicht geheim. Die kostenlosen Textanalyse-Tools zeigen Ihnen, wo Ihr Text steht, und Sie können selbst entscheiden, ob die gleichförmigen Passagen ein stilistisches Problem sind, das sich zu beheben lohnt.