Was ist Perplexity in der KI-Erkennung?

Wenn man nach perplexity und AI detection zusammen sucht, erweisen sich mehrere der obersten Treffer als etwas, das mit einem anderen Produkt nichts zu tun hat: einer KI-gestützten Suchmaschine, die zufällig ebenfalls Perplexity heißt. Die Kennzahl, die ein Detektor tatsächlich ausgibt, hat mit diesem Unternehmen außer dem Wort nichts gemeinsam. Sie stammt aus der Sprachforschung, die Jahrzehnte älter ist als GPTZero oder die Suchmaschine, und misst etwas enger Gefasstes als beide: wie überrascht ein Sprachmodell von den Wörtern ist, die bereits auf der Seite stehen.

Was ist also perplexity in der AI detection? Perplexity ist ein Wert, der beschreibt, wie gut ein Sprachmodell die genauen Wörter in einem Abschnitt vorhergesagt hat, erzeugt durch die Mittelung der eigenen Wahrscheinlichkeiten des Modells und die Umwandlung des Ergebnisses in eine einzelne Zahl. Ein niedriger Wert bedeutet, dass das Modell weiterhin richtig geraten hat. Ein hoher Wert bedeutet, dass es immer wieder überrascht wurde.

Die Idee ist älter als jeder AI detector auf dem Markt, und für sich genommen sagt sie nichts darüber aus, wer ein Dokument geschrieben hat. Sobald die Mathematik hinter der Zahl sichtbar wird, wirkt ein Wert in einem Bericht nicht mehr wie ein Urteil, sondern wie das, was er tatsächlich ist: eine Beschreibung der Wortwahl.

Was ist perplexity in der AI detection?

Perplexity ist ein aus dem Sprachmodellieren entlehntes Maß. Es bewertet, wie gut ein Modell die konkreten Wörter vorhergesagt hat, die in einem Abschnitt erscheinen, und gibt diese Bewertung als einzelne Zahl aus. Detektoren wenden dasselbe Maß auf ein eingereichtes Dokument an: Eine niedrige Zahl, die bedeutet, dass die Vermutungen des Modells den tatsächlichen Wörtern eng entsprachen, wird als Hinweis auf maschinelle Urheberschaft gelesen, und eine hohe Zahl wird als Hinweis auf menschliche Urheberschaft gelesen. An der Berechnung selbst wird weder das Argument des Dokuments noch seine Zitate oder sein Thema gelesen. Es wird nur gelesen, wie erwartet jedes Wort war, eines nach dem anderen.

Detektoren haben dieses Maß nicht erfunden. Sie haben ein Werkzeug übernommen, das Spracherkennung und maschinelle Übersetzungssysteme bereits seit Jahrzehnten verwendet hatten, um zu beurteilen, wie gut ein Modell gewöhnliche Sprache vorhergesagt hat, und es als Ersatzmaß für Urheberschaft zweckentfremdet, eine Aufgabe, für die es ursprünglich nie gebaut worden war.

All dies hat nichts mit der zuvor erwähnten, nicht verwandten Suchmaschine zu tun. Die Perplexity, die ein Detektor ausgibt, ist niemals ein Unternehmen und niemals großgeschrieben: Sie ist eine schlichte statistische Eigenschaft einer Wortfolge, die jeweils neu aus dem gegebenen Text berechnet wird.

Wie Perplexity tatsächlich berechnet wird

Die Berechnung reicht weiter zurück als jedes AI-Produkt. Frederick Jelinek, Robert Mercer, Lalit Bahl und James Baker führten Perplexity 1977 ein, um zu messen, wie schwierig eine Spracherkennungsaufgabe für ein statistisches Modell war, Jahrzehnte bevor jemand den Begriff auf einen Aufsatz oder einen Laborbericht anwandte. Die Definition hat sich seither nicht geändert.

An jeder Position in einem Dokument gibt das Modell eine Wahrscheinlichkeit für das Wort aus, das tatsächlich als Nächstes kommt, etwa 0.72 für einen häufigen Übergang oder 0.03 für einen ungewöhnlichen. Perplexity mittelt die Logarithmen dieser Wahrscheinlichkeiten über den gesamten Abschnitt und kehrt dann den Mittelwert mit einem Exponenten um.

Der Exponent in there's tut mehr, als es scheint. Das Mitteln von Log-Wahrscheinlichkeiten ist genau das, was wir tun, wenn wir die Kreuzentropie berechnen, also die informationstheoretische Art zu sagen, wie viele Bits man braucht, um eine Sequenz zu kodieren, gegeben die Vorhersagen eines Modells. Aber Perplexity übersetzt die Anzahl der Bits zurück in etwas, das wir besser verstehen können, nämlich eine effektive Anzahl von Auswahlmöglichkeiten, statt einer abstrakten Anzahl von Bits.

Was von dieser Arithmetik übrig bleibt, hat eine klare, fast physikalische Lesart. Ein Modell, das sich jedes Mal vollständig sicher ist, erzeugt eine Perplexity von 1, also den unteren Rand der Skala. Ein Modell, das jede Position als ein gleich wahrscheinliches Entweder-oder zwischen achtzig gleich wahrscheinlichen Wörtern behandelt, erzeugt eine Perplexity von 80.

Die meisten realen Dokumente liegen irgendwo zwischen diesen beiden Extremen, und wo genau, hängt von der Autorin oder dem Autor, vom Thema und davon ab, welches Modell liest.

Warum menschliches Schreiben dazu neigt, anders abzuschneiden

Die Erwartungen eines Modells werden vollständig aus dem aufgebaut, was zuvor kam, Wort für Wort. Nach der Wendung 'the treatment group showed a statistically' sind die überwältigende Mehrheit gut geformter Fortsetzungen 'significant', und ein auf eine große Menge wissenschaftlichen Schreibens trainiertes Modell weist diesem Wort ohne Zögern eine hohe Wahrscheinlichkeit zu. Eine menschliche Autorin oder ein menschlicher Autor, die oder der dieselbe Wendung erreicht, könnte ebenfalls bei 'significant' landen, weil die Wendung selbst ein fester Bestandteil des Genres ist. Die Lücke öffnet sich an anderer Stelle, im Nomen, das zwei Sätze später gewählt wird, in der in Klammern hinzugefügten Bemerkung, in der Zahl, die mit einer ungewöhnlichen Dezimalstelle statt mit einer runden angegeben wird.

Das ist kein Trick. Wenn eine Person, die über reale Daten schreibt, nach der exakten Zahl, dem präzisen Qualifikator, dem etwas engeren Wort greift, greift sie nach Dingen, die für die Arbeit wahr sind, statt nach Dingen, die für das Genre wahr sind. Und jede dieser Entscheidungen kostet das Modell ein wenig mehr Überraschung. Überraschung ist das, was der Wert aufsummieren soll.

Die Inferenz leistet mehr Arbeit, als die Messung tragen kann. Perplexity misst Vorhersagbarkeit direkt. Sie schließt auf die Urheberschaft nur, indem sie annimmt, dass vorhersehbares Schreiben unter Menschen selten und bei Modellen häufig ist, eine Annahme, die gewöhnlich plausibel und gelegentlich in einer spezifischen, identifizierbaren Weise falsch ist, da Vorhersagbarkeit eine Eigenschaft ist, die ein Text aus Gründen haben kann, die nichts damit zu tun haben, wer ihn getippt hat.

Warum derselbe Abschnitt unterschiedlich bewertet werden kann

Die Bewertung ist auch weniger übertragbar, als es scheint, weil sie niemals im luftleeren Raum gemessen wird. Perplexity wird immer gegen das Training eines bestimmten Referenzmodells berechnet, und diese Abhängigkeit erzeugt Probleme, die keine einzelne Definition für sich allein zeigen kann.

Faktor	Was sich ändert	Warum es geschieht
Welches Modell liest	Dasselbe Absatz kann bei einem Modell niedrig und bei einem anderen hoch bewertet werden	Perplexity wird immer nur gegen die Trainingsdaten eines Modells gemessen, und verschiedene Modelle wurden mit unterschiedlichen Texten trainiert
Ob der Abschnitt weit verbreiteter, reproduzierter Text ist	Ein berühmtes historisches Dokument oder eine Lehrbuchdefinition kann eine niedrige Perplexity erzielen, selbst wenn eine Person jedes Wort davon in den Detektor eingegeben hat	Pangram Labs verweist auf die Declaration of Independence als Beispiel, sie wird in Trainingsdaten so oft zitiert, dass ein Modell jeden Satz darin als wenig überraschend einstuft
Ob der Detektor Token-Wahrscheinlichkeiten überhaupt sehen kann	Geschlossene kommerzielle Modelle wie ChatGPT, Gemini und Claude legen die Wort-für-Wort-Wahrscheinlichkeiten, die Perplexity benötigt, nicht offen	Detektoren nähern den Wert mit einem Ersatzmodell aus Open Source an, statt Perplexity gegen das Modell zu berechnen, das den Text tatsächlich erzeugt hat

Nichts davon macht die Zahl bedeutungslos, nur riskanter, ihr als Urteil für sich allein zu vertrauen. GPTZero's eigene Dokumentation veröffentlichte einst eine grobe Faustregel, wonach ein perplexity-Wert über 85 eher als menschlich gelesen werde, aber ein Schwellenwert eines einzelnen Anbieters auf einem Modell lässt sich nicht auf ein anderes Tool übertragen, das gegen ein anderes Modell gemessen wird. Ein Detektor, der einen einzelnen Wert ausgibt, verdichtet alle der oben genannten Faktoren zu einer einzigen Zahl, ohne zu sagen, welche von ihnen die eigentliche Arbeit geleistet haben.

Was ein perplexity-Wert tatsächlich aussagt

Kommerzielle Detektoren fassen perplexity mit Mustern auf Satzebene, der Klassifikator-Trainierung und mehreren anderen Signalen zusammen, bevor sie überhaupt eine einzelne Zahl in einem Bericht ausgeben. Das vollständigere Bild davon, wie AI-Detektoren tatsächlich funktionieren, wird separat behandelt, und dort wird erklärt, woher der Rest dieser Zahl kommt.

Der Rhythmus von Satz zu Satz ist ein verwandtes, aber separates Signal, das der burstiness checker eigenständig betrachtet, und er untersucht, wie stark die Variation über eine Passage hinweg ist, statt ein einzelnes Wort zu betrachten.

Keine dieser Zahlen kann beweisen, wer ein Dokument geschrieben hat, einschließlich des geschätzten Human Score, den TextPulse aus einem eingereichten Entwurf berechnet und der den Text beschreibt, statt ein Urteil über ihn zu fällen. Eine vereinfachte Version derselben Idee, also Wortschatzvielfalt statt vollständiger Modellwahrscheinlichkeit, liegt dem free perplexity checker auf dieser Seite zugrunde, den man an einem Absatz ausprobieren sollte, dessen Herkunft bereits bekannt ist, bevor man vertraut, was ein Bericht über den Text eines anderen sagt.

Der perplexity checker steht neben den übrigen free tools von TextPulse, sodass ein vollständiger Durchgang über einen Entwurf, Wortschatz, Rhythmus und alles andere nicht erfordert, ein Dutzend separate Tabs gleichzeitig geöffnet zu haben.

Perplexity ist eine von zwei Statistiken, auf die diese Systeme sich stützen. Die andere ist burstiness, die Variation in Satzlänge und Struktur über eine Passage hinweg, und unter beiden liegt die Arithmetik der Token-Wahrscheinlichkeit, die überhaupt erst den Wert erzeugt.

Eine Zahl in einem Bericht ist das Ende einer langen Kette von Arithmetik, nicht der Anfang einer Debatte darüber, wer etwas geschrieben hat. Die interessantere Frage, sobald die Arithmetik aufhört, rätselhaft zu sein, ist, was ein Dokument überhaupt erst überraschend oder vorhersehbar gemacht hat, und das ist eine Frage nach dem Schreiben selbst.