Verlassen KI-Detektoren sich noch auf Perplexity und Burstiness?

Suchen Sie danach, wie GPTZero heute KI-geschriebenen Text erkennt, dann dreht sich das meiste, was zurückkommt, weiterhin um zwei Statistiken, perplexity und burstiness, das Paar, das das Tool innerhalb weniger Wochen nach seiner Einführung im Januar 2023 berühmt machte. Die eigene Support-Dokumentation von GPTZero sagt inzwischen etwas anderes: Im Herbst desselben Jahres wurde die Verwendung beider eingestellt.

Wird burstiness also noch von KI-Detektoren verwendet? Nicht von dem Tool, das den Begriff in akademischen Kreisen zu einem geläufigen Wort machte. Das Support-Center von GPTZero stellt ausdrücklich fest, dass es weder perplexity noch burstiness noch verwendet, sondern stattdessen zu einer Deep-Learning-Architektur übergegangen ist. Turnitin, das Tool, dem die meisten Studierenden tatsächlich begegnen, hat beide Begriffe von Anfang an nie als Teil seiner Methode veröffentlicht. Die Konzepte sind nicht aus der Diskussion verschwunden. Sie sind aus den Produkten verschwunden, die die eigentliche Erkennung durchführen.

Wird Burstiness noch von KI-Detektoren verwendet?

Nein, nicht bei GPTZero, und nicht dem Namen nach. Die eigene Support-Dokumentation von GPTZero sagt das direkt: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Die eigenen Leitfäden von Turnitin beschreiben wiederum eine andere Methode, die darauf beruht, Abschnitte einer Einreichung mit einem trainierten Klassifikator zu bewerten, und auch in dieser Dokumentation erscheint keiner der beiden Begriffe. Die beiden Statistiken, die die erste Welle der KI-Erkennung definierten, sind nicht das, was die führenden Tools derzeit ausführen. Das ist enger gefasst, als zu sagen, sie seien verworfen worden: Die eigene Erläuterung von GPTZero zählt sie weiterhin zu sieben Indikatoren, die in das Modell einfließen. Sie hörten auf, die Methode zu sein, ohne aufzuhören, eine Messgröße zu sein, und der Unterschied zwischen diesen beiden Aussagen ist weitgehend der Kern dieser Frage.

Was sich im Herbst 2023 änderte

Die beiden Begriffe waren nie unklar. GPTZero's eigener früher Erklärtext definierte perplexity als "a measure of how likely an AI model would have chosen the exact same set of words as found in the document," und burstiness als "a measure of how much writing patterns and text perplexities vary over the entire document," eine Statistik auf Dokumentebene, nicht eine einfache Zählung der Satzlänge. Beide Definitionen sind weiterhin auf GPTZero's Seite veröffentlicht. Was sich geändert hat, ist, welche von ihnen der Detektor tatsächlich ausführt.

"Migrated to a deep-learning based architecture" ist eine konkrete Behauptung, keine Marketingformel, und sie beschreibt eine reale Veränderung der Art. Ein perplexity-Wert wird direkt aus einer Formel berechnet: Man gibt den Text durch ein Referenzsprachmodell, mittelt die Log-Wahrscheinlichkeiten, exponentiert das Ergebnis. Stattdessen wird ein Deep-Learning-Klassifikator trainiert, dem große Zahlen von menschlichen und von AI geschriebenen Beispielen gezeigt werden, bis er selbst die Kombination von Merkmalen lernt, die in diesen Trainingsdaten die beiden Gruppen trennt. In dem zweiten Ansatz schreibt niemand die Regel von Hand. Das Modell findet sie.

Beide ausgemusterten Begriffe werden an anderer Stelle auf dieser Seite ausführlich erklärt: was perplexity tatsächlich misst und was burstiness tatsächlich misst behandeln jeweils ihre eigene Funktionsweise im Detail, einschließlich der Formeln dahinter. Dieser Beitrag bleibt eng bei der Frage, ob einer von beiden heute noch das ist, was ein Detektor ausführt.

Was GPTZero und Turnitin heute tatsächlich dokumentieren

Die aktuelle Technologieseite von GPTZero, die beschreibt, was im Produkt ausgeliefert wird, erklärt, dass ihr Detektor ein "end-to-end deep learning approach" ist, mit einem "sentence-by-sentence classification model", das eine Wahrscheinlichkeitsausgabe mit einem Konfidenzwert erzeugt. Perplexity und burstiness erscheinen auf dieser Seite nirgends, weder als Bestandteil noch als veraltete Funktion, noch in einer Fußnote.

Turnitins Dokumentation war von Anfang an nie um einen der beiden Begriffe herum aufgebaut. In den Leitfäden wird eine Einreichung beschrieben, die in Abschnitte von jeweils einigen hundert Wörtern aufgeteilt wird, wobei jeder Abschnitt von einem trainierten Modell bewertet wird und die Abschnittswerte zu dem einzelnen Prozentsatz gemittelt werden, den ein Bericht anzeigt. Das ist ein überwachter Klassifikator, der auf Textsegmenten arbeitet, also dieselbe Methodenfamilie, zu der GPTZero übergegangen ist, nicht eine Perplexitätsberechnung und nicht eine Burstiness-Berechnung unter anderem Namen.

Der Wechsel lässt sich am einfachsten nebeneinander erkennen.

	Was frühe Erklärungen beschrieben (2023)	Was die aktuelle Dokumentation beschreibt
GPTZero	Perplexity und Burstiness, bewertet gegen ein Referenzmodell	Ein Satz für Satz arbeitender Deep-Learning-Klassifikator, der eine Wahrscheinlichkeit und einen Konfidenzwert ausgibt
Turnitin	Niemals veröffentlicht, die Begriffe erscheinen zu keinem Zeitpunkt in den eigenen Materialien von Turnitin	Abschnitte von einigen hundert Wörtern, bewertet von einem trainierten Klassifikator, gemittelt zu einem Prozentsatz

Warum die Konzepte die Erkennbarkeit weiterhin erklären

Nichts davon macht Perplexity und Burstiness falsch, nur als Beschreibung des aktuellen Mechanismus veraltet. Beide Konzepte beschrieben immer etwas Reales: Text, der durch Sampling in Richtung der wahrscheinlichsten Fortsetzungen eines Modells erzeugt wird, ist Wort für Wort tendenziell vorhersagbarer als Text, den ein Mensch von Grund auf schreibt, und er variiert von einem Satz zum nächsten tendenziell weniger. Die zugrunde liegende Regelmäßigkeit hat sich nicht geändert, nur weil ein Anbieter die Architektur seines Detektors geändert hat. Geändert hat sich, wie der Detektor danach sucht.

Der trainierte Klassifikator wird nicht ausdrücklich aufgefordert, nach Perplexität oder Burstiness zu suchen. Vielmehr wird er auf genau denselben grundlegenden Unterschied zwischen menschlichem und maschinellem Text trainiert, den diese beiden Statistiken erfassen sollten. Und es erscheint höchst unwahrscheinlich, dass ein Klassifikator, der darauf trainiert ist, die beiden Haufen zu unterscheiden, nicht ebenfalls genau diese Regelmäßigkeit, eine der zuverlässigsten Differenzen zwischen den beiden, aufgreifen würde. Dies ist eine Schlussfolgerung darüber, warum der Klassifikator wahrscheinlich funktioniert, keine Behauptung über seine veröffentlichte Merkmalsliste, und beides sollte getrennt bleiben.

Unabhängige Forschung stützt die Idee, dass die zugrunde liegende Statistik weiterhin wirksam ist, auch außerhalb eines einzelnen Produkts eines Anbieters. DetectGPT, ein akademisches Zero-Shot-Verfahren, das 2023 veröffentlicht wurde, betrachtet einen engen Verwandten der Perplexität, nämlich wie stark sich die Log-Wahrscheinlichkeitsfunktion eines Modells um eine Passage krümmt, und erreicht 0.95 AUROC auf einem Benchmark gegenüber 0.81 für die beste frühere Zero-Shot-Baseline, ohne überhaupt einen Klassifikator auf beschrifteten Beispielen zu trainieren. Die Kernidee, dass maschinell erzeugter Text in einem statistisch unterscheidbaren Bereich des eigenen Wahrscheinlichkeitsraums eines Modells liegt, ist weiterhin Gegenstand aktiver Forschung. Sie ist lediglich nicht das, was GPTZero an Nutzer ausliefert.

Warum so viel vom Internet das immer noch falsch versteht

Die meisten veröffentlichten Erklärungen dazu, wie KI-Erkennung funktioniert, wurden während oder kurz nach dem Start von GPTZero im Januar 2023 geschrieben, als Perplexität und Burstiness die einzige öffentliche Rahmung waren, die das Unternehmen selbst anbot. Diese ursprünglichen Erklärseiten sind heute noch online. Der Hinweis auf die Einstellung im Herbst 2023 steht auf einer separaten Support-Seite, statt in diese eingearbeitet zu sein, sodass ein Autor, der die erste Seite las und die Recherche beendete, keinen Grund hätte zu wissen, dass sich die Methode weniger als ein Jahr später geändert hat.

Ein im Jahr 2026 kursierender Testbericht eines Drittanbieters behauptet, GPTZero verwende Perplexity und Burstiness weiterhin als eine Schicht unter mehreren innerhalb eines größeren Systems. Diese Behauptung steht in direktem Widerspruch zu GPTZero's eigener aktueller Technologieseite und zur eigenen Support-Dokumentation, und nichts auf der eigenen Website von GPTZero bestätigt sie. Ein Unternehmen, das sein eigenes ausgeliefertes Produkt beschreibt, hat weiterhin Vorrang vor einer unbestätigten Behauptung eines Drittanbieters über dasselbe Produkt, auch wenn die Dokumentation des Anbieters ebenfalls falsch sein kann. Dieser Beitrag folgt den eigenen Seiten von GPTZero und nicht dem Testbericht, der die ältere Darstellung wiederholt.

Was Das Für Ihr Schreiben Bedeutet

Die praktische Anleitung, die auf Burstiness aufbaut, ist nicht nutzlos geworden, nur weil das Wort aus den eigenen Materialien von GPTZero verschwunden ist. Satzlängen absichtlich zu variieren, ist weiterhin, mechanisch betrachtet, ein Argument dafür, dieselbe statistische Gleichförmigkeit zu vermeiden, die ein Klassifikator sehr wahrscheinlich darauf trainiert wurde zu erkennen, wie auch immer er dieses Signal intern nennt. Die zugrunde liegende Empfehlung hat die Architekturänderung des Anbieters überlebt, auch wenn das Vokabular, mit dem sie beschrieben wird, dies nicht tat.

Nichts davon erfordert, irgendjemandem einfach zu glauben, auch nicht diesem Beitrag. TextPulse's kostenloser Perplexity-Checker und die umfassendere Sammlung kostenloser Tools ermöglichen es Ihnen, zu prüfen, wo Ihr eigener Entwurf steht, bevor ein Detektor, welcher Generation auch immer, dies tut.

Wenn die Antwort Sie zu Ihrem eigenen Schreiben zurückführt, sind die praktischen nächsten Schritte Burstiness gezielt zu erhöhen und die Satzlänge innerhalb eines akademischen Absatzes zu variieren, was dieselbe Aufgabe ist, nur ohne die Kennzahl beschrieben.

Der Mechanismus, den ein Detektor ausführt, wird sich weiter verändern, GPTZero hat ihn bereits einmal geändert. Konstant bleibt die eigentliche Frage, die auf dieser Website vollständig in der Anleitung dazu, wie AI-Detektoren tatsächlich funktionieren behandelt wird: ob vorhersehbares Schreiben dasselbe ist wie maschinell geschriebenes Schreiben, unabhängig davon, welche Formel in einem bestimmten Jahr gerade in Mode ist.