Was ist Perplexity in der KI-Erkennung?

Suche nach perplexity und KI-Erkennung zusammen, und mehrere der besten Treffer erweisen sich als etwas Unzusammenhängendes: eine KI-gestützte Suchmaschine, die zufällig ebenfalls Perplexity heißt. Die Kennzahl, die ein Detektor tatsächlich ausgibt, hat mit diesem Unternehmen nichts gemeinsam außer dem Wort. Sie stammt aus der Forschung zur Spracherkennung, die Jahrzehnte älter ist als GPTZero oder die Suchmaschine, und sie misst etwas Engeres als beide: wie überrascht ein Sprachmodell von den bereits auf der Seite stehenden Wörtern ist.

Was ist also perplexity in der KI-Erkennung? Perplexity ist ein Wert, der beschreibt, wie gut ein Sprachmodell die genauen Wörter in einem Abschnitt vorhergesagt hat, erzeugt durch die Mittelung der eigenen Wahrscheinlichkeiten des Modells und die Umwandlung des Ergebnisses in eine einzelne Zahl. Ein niedriger Wert bedeutet, dass das Modell weiterhin richtig geraten hat. Ein hoher Wert bedeutet, dass es weiterhin überrascht wurde.

Die Idee ist älter als jeder KI-Detektor auf dem Markt, und für sich genommen sagt sie nichts darüber aus, wer ein Dokument geschrieben hat. Sobald die Arithmetik hinter der Zahl sichtbar wird, wirkt ein Wert in einem Bericht nicht mehr wie ein Urteil, sondern wie das, was er tatsächlich ist: eine Beschreibung der Wortwahl.

Was ist perplexity in der KI-Erkennung?

Perplexity ist ein aus dem Sprachmodellieren entlehntes Maß. Es bewertet, wie gut ein Modell die spezifischen Wörter vorhergesagt hat, die in einem Abschnitt erscheinen, und gibt diesen Wert als einzelne Zahl aus. Detektoren wenden dasselbe Maß auf ein eingereichtes Dokument an: Eine niedrige Zahl, die bedeutet, dass die Vermutungen des Modells den tatsächlichen Wörtern eng entsprachen, wird als Hinweis auf maschinelle Urheberschaft gelesen, und eine hohe Zahl wird als Hinweis auf menschliche Urheberschaft gelesen. An der Berechnung selbst wird weder das Argument des Dokuments noch seine Zitate oder sein Thema gelesen. Es wird nur gelesen, wie erwartet jedes Wort war, eines nach dem anderen.

Detektoren haben dieses Maß nicht erfunden. Sie haben ein Werkzeug übernommen, das Sprach- und maschinelle Übersetzungssysteme bereits seit Jahrzehnten verwendet hatten, um zu beurteilen, wie gut ein Modell gewöhnliche Sprache vorhergesagt hat, und es als Stellvertreter für Urheberschaft zweckentfremdet, eine Aufgabe, für die es ursprünglich nie gebaut worden war.

Das hat nichts mit der zuvor erwähnten, nicht verwandten Suchmaschine zu tun. Die Perplexität, die ein Detektor ausgibt, ist niemals ein Unternehmen und niemals großgeschrieben: Sie ist eine schlichte statistische Eigenschaft einer Wortfolge, die jeweils neu aus dem gegebenen Text berechnet wird.

Wie Perplexität tatsächlich berechnet wird

Die Berechnung reicht weiter zurück als jedes AI-Produkt. Frederick Jelinek, Robert Mercer, Lalit Bahl und James Baker führten Perplexität 1977 ein, um zu messen, wie schwierig eine Spracherkennungsaufgabe für ein statistisches Modell war, Jahrzehnte bevor jemand den Begriff auf einen Aufsatz oder einen Laborbericht anwandte. Die Definition hat sich seither nicht geändert.

An jeder Position in einem Dokument gibt das Modell eine Wahrscheinlichkeit für das Wort aus, das tatsächlich als Nächstes kommt, etwa 0.72 für einen häufigen Übergang oder 0.03 für einen ungewöhnlichen. Perplexität mittelt die Logarithmen dieser Wahrscheinlichkeiten über die gesamte Passage und kehrt dann den Mittelwert mit einem Exponenten um.

Der Exponent in there's leistet mehr, als es scheint. Das Mitteln von Log-Wahrscheinlichkeiten ist genau das, was wir tun, wenn wir die Kreuzentropie berechnen, also die informationstheoretische Art zu sagen, wie viele Bits man braucht, um eine Sequenz angesichts der von einem Modell gemachten Vorhersagen zu kodieren. Perplexität übersetzt die Anzahl der Bits jedoch zurück in etwas, das wir besser verstehen können, nämlich eine effektive Anzahl von Auswahlmöglichkeiten statt einer abstrakten Anzahl von Bits.

Was von dieser Arithmetik übrig bleibt, hat eine klare, fast physikalische Bedeutung. Ein Modell, das jedes Mal völlig sicher ist, erzeugt eine Perplexität von 1, also den unteren Rand der Skala. Ein Modell, das jede Position als ein gleich wahrscheinliches Unentschieden zwischen achtzig gleich wahrscheinlichen Wörtern behandelt, erzeugt eine Perplexität von 80.

Die meisten realen Dokumente liegen irgendwo zwischen diesen beiden Extremen, und wo genau, hängt vom Verfasser, vom Thema und davon ab, welches Modell den Text liest.

Warum menschliches Schreiben tendenziell anders bewertet wird

Die Erwartungen eines Modells werden vollständig aus dem aufgebaut, was zuvor kam, Wort für Wort. Nach der Wendung 'the treatment group showed a statistically' sind die überwältigende Mehrheit wohlgeformter Fortsetzungen 'significant', und ein Modell, das auf einer großen Menge wissenschaftlicher Texte trainiert wurde, weist diesem Wort ohne Zögern eine hohe Wahrscheinlichkeit zu. Eine menschliche Autorin oder ein menschlicher Autor, der dieselbe Wendung erreicht, könnte ebenfalls bei 'significant' landen, weil die Wendung selbst ein festes Merkmal des Genres ist. Die Lücke öffnet sich an anderer Stelle, im Substantiv, das zwei Sätze später gewählt wird, in der in Klammern hinzugefügten Bemerkung, in der Zahl, die mit einer ungewöhnlichen Dezimalstelle statt mit einer runden angegeben wird.

Das ist kein Trick. Wenn eine Person, die über reale Daten schreibt, nach der exakten Zahl, dem präzisen Qualifikator, dem etwas engeren Wort greift, greift sie nach Dingen, die für die Arbeit wahr sind, statt nach Dingen, die für das Genre wahr sind. Und jede dieser Entscheidungen kostet das Modell ein wenig mehr Überraschung. Überraschung ist das, was die Kennzahl aufsummieren soll.

Die Schlussfolgerung verlangt mehr, als die Messung tragen kann. Perplexity misst Vorhersagbarkeit direkt. Sie leitet Urheberschaft nur daraus ab, dass sie annimmt, vorhersagbares Schreiben sei unter Menschen selten und unter Modellen häufig, eine Annahme, die meist vernünftig und gelegentlich auf eine bestimmte, identifizierbare Weise falsch ist, da Vorhersagbarkeit eine Eigenschaft von Text sein kann, die aus Gründen besteht, die nichts damit zu tun haben, wer ihn getippt hat.

Warum dieselbe Passage unterschiedlich bewertet werden kann

Die Kennzahl ist auch weniger übertragbar, als es scheint, weil sie niemals im luftleeren Raum gemessen wird. Perplexity wird immer gegen das Training eines bestimmten Referenzmodells berechnet, und diese Abhängigkeit erzeugt Probleme, die keine einzelne Definition für sich allein zeigen kann.

Faktor	Was sich ändert	Warum es geschieht
Welches Modell das Lesen übernimmt	Dasselbe Absatzstück kann bei einem Modell niedrig und bei einem anderen hoch bewertet werden	Perplexity wird immer nur im Vergleich zu den Trainingsdaten eines Modells gemessen, und verschiedene Modelle wurden mit unterschiedlichen Texten trainiert
Ob der Abschnitt weithin reproduzierter Text ist	Ein berühmtes historisches Dokument oder eine Lehrbuchdefinition kann eine niedrige Perplexity erzielen, selbst wenn eine Person jedes Wort davon in den Detektor eingegeben hat	Pangram Labs verweist auf die Declaration of Independence als Beispiel, sie wird in den Trainingsdaten so oft zitiert, dass ein Modell jeden Satz darin als nicht überraschend einstuft
Ob der Detektor Token-Wahrscheinlichkeiten überhaupt sehen kann	Geschlossene kommerzielle Modelle wie ChatGPT, Gemini und Claude legen die Wort-für-Wort-Wahrscheinlichkeiten, die Perplexity benötigt, nicht offen	Detektoren nähern den Wert mit einem Ersatzmodell mit offenem Zugriff an, statt Perplexity gegen das Modell zu berechnen, das den Text tatsächlich erzeugt hat

Nichts davon macht die Zahl bedeutungslos, es macht es nur riskanter, ihr als eigenständigem Urteil zu vertrauen. In der eigenen Dokumentation von GPTZero wurde einst eine grobe Faustregel veröffentlicht, nach der eine Perplexity über 85 eher als menschlich gelesen wird, doch ein Schwellenwert eines einzelnen Anbieters auf einem Modell lässt sich nicht auf ein anderes Werkzeug übertragen, das gegen ein anderes Modell gemessen wird. Ein Detektor, der einen einzelnen Wert ausgibt, verdichtet alle oben genannten Faktoren zu einer einzigen Zahl, ohne zu sagen, welche von ihnen ausschlaggebend war.

Was ein Perplexity-Wert tatsächlich aussagt

Kommerzielle Detektoren verbinden Perplexity mit Mustern auf Satzebene, der Klassifikator-Trainierung und mehreren anderen Signalen, bevor sie überhaupt eine einzelne Zahl in einem Bericht ausgeben. Das umfassendere Bild davon, wie AI-Detektoren tatsächlich funktionieren, wird separat behandelt, und es erklärt, woher der Rest dieser Zahl stammt.

Der Satz-zu-Satz-Rhythmus ist ein verwandtes, aber getrenntes Signal, das unter eigenen Gesichtspunkten vom burstiness checker erfasst wird, und er betrachtet, wie stark die Variation über eine Passage hinweg ist, statt ein einzelnes Wort zu betrachten.

Keine dieser Zahlen kann beweisen, wer ein Dokument geschrieben hat, einschließlich des geschätzten Human Score, den TextPulse aus einem eingereichten Entwurf berechnet und der den Text beschreibt, statt ein Urteil über ihn zu fällen. Eine vereinfachte Version derselben Idee, Wortschatzvielfalt statt vollständiger Modellwahrscheinlichkeit, treibt den free perplexity checker auf dieser Website an, den man an einem Absatz ausprobieren sollte, dessen Herkunft bereits bekannt ist, bevor man vertraut, was ein Bericht über den Text eines anderen sagt.

Der perplexity checker steht neben den übrigen free tools von TextPulse, sodass ein vollständiger Durchgang über einen Entwurf, Wortschatz, Rhythmus und alles andere, nicht ein Dutzend separate geöffnete Tabs gleichzeitig erfordert.

Perplexity ist eine von zwei Statistiken, auf die diese Systeme sich stützen. Die andere ist burstiness, die Variation in Satzlänge und Struktur über eine Passage hinweg, und unter beiden liegt die Token-Wahrscheinlichkeitsarithmetik, die überhaupt erst den Score erzeugt.

Eine Zahl in einem Bericht ist das Ende einer langen Kette von Arithmetik, nicht der Anfang einer Argumentation darüber, wer etwas geschrieben hat. Die interessantere Frage, sobald die Arithmetik nicht mehr rätselhaft ist, lautet, was ein Dokument überhaupt erst überraschend oder vorhersehbar gemacht hat, und das ist eine Frage nach dem Schreiben selbst.