Sind AI-Detektoren genau? Falschpositive und Bias

Turnitin behauptet, dass ihre Rate an falsch positiven Ergebnissen unter 1% liegt. Eine Gruppe unabhängiger Forschender testete mehrere Detektoren an einem breiteren Spektrum von Schreibproben von Nichtmuttersprachlern des Englischen. Sie stellten fest, dass die durchschnittliche Rate an falsch positiven Ergebnissen bei genau dieser Art von Schreiben über 60% lag. Beide Zahlen sind echt, beide wurden veröffentlicht, und beide beziehen sich auf Detektoren, die an denselben Markt verkauft werden. Sind KI-Detektoren genau? Das hängt davon ab, welche Population Sie getestet haben, welchen Detektor Sie verwendet haben und wie Ihr Anbieter es überhaupt definiert hat.

Dieser Beitrag wird nicht erneut erklären, wie ein Detektor diesen Wert berechnet. Der Mechanismus, Perplexity, Token-Wahrscheinlichkeit, wie der Klassifikator trainiert wird, wird an anderer Stelle ausführlich behandelt, und es lohnt sich, dies zuerst zu lesen, falls Sie das noch nicht getan haben. Entscheidend ist hier, was geschieht, sobald der Wert vorliegt: wie oft er falsch ist, über wessen Schreiben er am häufigsten falsch liegt und was eine falsche Anschuldigung für jemanden tatsächlich kostet, der nichts falsch gemacht hat.

Sind KI-Detektoren genau?

Nicht durchgängig, und die Lücke zwischen Marketingaussagen und unabhängigen Tests ist gut dokumentiert. Eine von Debora Weber-Wulff geleitete Gruppe von Forschenden veröffentlichte ihre Ergebnisse zu 14 Erkennungstools, darunter 12 kostenlose und zwei kommerzielle, die 2023 an einer Mischung aus menschlichem Text und ChatGPT-Text getestet wurden. Sie fanden heraus, dass keines dieser Tools genau oder zuverlässig ist, mit einer eingebauten Tendenz, maschinellen Text als menschlich zu kennzeichnen und nicht umgekehrt. Zwei der in diesem Test enthaltenen kommerziellen Tools waren Turnitin und PlagiarismCheck. Alle Tools in diesem Test schnitten schlechter ab, wenn der Text paraphrasiert wurde.

Doch zwei Jahre später ist die Lage nicht stagnierend. Ein Working Paper der Booth School der University of Chicago von Brian Jabarian und Alex Imas setzte drei Neuzugänge, Pangram, GPTZero und Originality.ai, sowie einen Open-Source-Konkurrenten mit fast 2.000 von Menschen verfassten Texten aus Blogs, Nachrichten, Rezensionen und Belletristik auf den Prüfstand. Unter kontrollierten Testbedingungen fiel das beste Werkzeug in diesem Vergleich nie unter 99,8 Prozent Genauigkeit und hielt seine Rate falsch positiver Ergebnisse auf niedrigem Niveau. Das Open-Source-Modell schnitt ebenso gut ab wie ein Zufallstreffer. Die Dinge sind tatsächlich besser geworden. So ungefähr. Ein wenig.

Der Haken ist jedoch das Wort kontrolliert. Benchmark-Passagen sind sauber, vollständig und unter bekannten Bedingungen erstellt. Ein eingereichter Aufsatz ist verlässlich nichts davon. Ergebnisse in der realen Welt müssen nicht mit den Laborergebnissen identisch sein, wie der Chief Product Officer von Turnitin selbst öffentlich gesagt hat, auch wenn das ein seltener und nützlicher Eingeständnis eines Anbieters ist. Der nächste Abschnitt stellt die Zahlen des Anbieters neben die unabhängigen Zahlen, damit die Lücke sichtbar ist und nicht nur behauptet wird.

Anbieterbehauptungen versus unabhängige Tests

Die folgende Tabelle stellt gegenüber, was vier Detektoren über sich selbst behaupten und was unabhängige Forschende gemessen haben, als sie die Werkzeuge direkt testeten. Lesen Sie die beiden mittleren Spalten zusammen, nicht nur die Anbieter-Spalte.

Detektor	Vom Anbieter angegebene Genauigkeit	Unabhängig beobachtet	Was der Anbieter über falsch positive Ergebnisse sagt
Turnitin	98% Konfidenzschwelle vor der Markierung, unter 1% falsch positive Ergebnisse auf Dokumentebene	Etwa 80% Genauigkeit, die beste von 12 Tools in einem Vergleich von 2023, bei einer früheren Version des Tools	Unter 1% auf Dokumentebene oberhalb einer 20% KI-generierten Schwelle, etwa 4% auf Satzebene
GPTZero	95.7% KI-Text-Erkennung bei einer falsch positiven Rate von 1% im unabhängigen RAID-Benchmark	96% Genauigkeit bei kurzen Passagen, falsch positive Rate unter 1% in einer Studie der University of Chicago Booth aus dem Jahr 2025	Berichtet eine falsch positive Rate von 1% im RAID-Benchmark
Originality.ai	99% Genauigkeit, 0.5% falsch positive Rate (Lite-Modell), 1.5% (Turbo-Modell)	Falsch positive Rate unter 1%, aber 10% bis 40% des KI-generierten Textes in derselben Booth-Studie übersehen	Veröffentlicht getrennte falsch positive Werte nach Modellstufe
Pangram	Fehlerraten, die nach eigener Aussage über 38 Mal niedriger sind als bei konkurrierenden Tools, behauptet keine Voreingenommenheit gegenüber nicht muttersprachlichen englischen Schreibenden	Genauigkeit nie unter 99.8%, falsch positive Rate nahe null, in der Booth-Studie	Behauptet nahe null liegende falsch positive Raten über 10 Textdomänen und 8 Sprachmodelle hinweg

Zwei Dinge fallen auf. Erstens stammen alle Anbieterangaben aus einem Labor, das vom Anbieter kontrolliert wird, und die Booth-Werte stammen von Forschenden, die nichts zu verkaufen haben. Zweitens erscheint Turnitin in dieser mittleren Spalte überhaupt nicht, da die Studie von 2025 es nicht getestet hat. In der Tabelle basiert der unabhängige Wert auf einem früheren Vergleich aus dem Jahr 2023, wurde jedoch mit einer älteren Version des Tools ermittelt, also bedenken Sie dies, wenn Sie die Tabelle als direkten Vergleich betrachten.

Wie genau ist die KI-Erkennung von Turnitin?

Turnitin veröffentlicht keine einzelne Genauigkeitszahl. Stattdessen veröffentlicht das Unternehmen einen Schwellenwert und einen Zielkonflikt. Das Unternehmen hat erklärt, dass es ein Dokument nur dann markiert, wenn es zu 98 Prozent sicher ist, dass der markierte Teil von AI geschrieben wurde, und dass dieser Schwellenwert dafür sorgt, dass die falsch-positiv-Rate auf Dokumentebene unter 1 Prozent bleibt. Turnitin hat geschätzt, dass es ungefähr 85 Prozent der mit AI unterstützten Texte erkennt und den Rest absichtlich durchlässt, statt das Risiko einer falschen Anschuldigung einzugehen.

Der tatsächliche Prozentsatz falsch-positiver Ergebnisse, den Turnitin auf Satzebene zurückgibt, dort also, wo eine Oberfläche bestimmte Zeilen hervorhebt statt ein ganzes Dokument, liegt tatsächlich näher bei 4 Prozent. Das ist die Zahl, die man kennen sollte, wenn ein Professor einen einzelnen markierten Absatz statt einer Gesamtpunktzahl des Dokuments als Screenshot festhält, denn ein hervorgehobener Satz birgt eine deutlich höhere Wahrscheinlichkeit, falsch zu sein, als die danebenstehende Dokumentpunktzahl.

Es ist auch erwähnenswert, dass Turnitin diese Lücke direkt eingeräumt hat. Das Unternehmen stellte fest, dass seine ersten Ergebnisse aus der Praxis, insbesondere bei kürzeren Dokumenten, höhere Raten falsch-positiver Ergebnisse aufwiesen, als auf Grundlage der Labortests erwartet worden war. Deshalb wurde die minimale Dokumentlänge, ab der eine Bewertung erfolgt, von 150 auf 300 Wörter angepasst. Das ist ein Anbieter, der sein eigenes Produkt anpasst, weil die veröffentlichte Zahl außerhalb des Labors nicht standhielt, was ebenso viel aussagt wie jede unabhängige Studie.

Was ein falsch-positives Ergebnis einen Studierenden tatsächlich kostet

Dies geschah einem Executive-MBA-Studierenden an der Yale's School of Management. Dem Studierenden wurde im buchstäblichsten Sinne ein Verstoß vorgeworfen. Der eingesetzte Detektor war GPTZero. Die Abschlussprüfung des Studierenden in einem Finanzkurs war von einem Lehrassistenten markiert worden, der den Text für lang und ausgearbeitet hielt, mit nahezu perfekter Zeichensetzung und Grammatik. Und dieser besondere Professor ließ den Text durch GPTZero laufen, das die Antworten als wahrscheinlich von AI generiert einstufte.

Er bestand den Kurs nicht und wurde für ein Jahr suspendiert. Seine im Februar 2025 beim Bundesgericht eingereichte Klage macht geltend, dass Yales eigene Richtlinie die Verwendung von Werkzeugen wie GPTZero genau aus diesem Grund einschränkt, nämlich wegen seiner dokumentierten Falsch-Positiv-Rate gegenüber nicht muttersprachlichen Englischsprechern, und dass er es unter Verstoß gegen diese Richtlinie verwendet habe. In seiner Eingabe wird außerdem angeführt, dass GPTZero bei akademischen Texten von Yales eigenem früheren Universitätspräsidenten und dem Dekan der Business School eine zu 100 Prozent von KI erzeugte Bewertung ausgab.

Der Richter lehnte es im Mai 2025 ab, eine einstweilige Verfügung zu erlassen. Der Fall ist bislang nicht entschieden worden, soweit ich schreibe. Der Kläger, ein französischer Staatsangehöriger, macht geltend, dass dieselbe bekannte Voreingenommenheit gegenüber nicht muttersprachlichen Englischsprechern dazu geführt habe, dass sein Schreiben sich so verhalten habe, wie es sich verhalten hat. Darauf gehen wir im nächsten Abschnitt ein. Was nicht zur Debatte steht, ist der Preis, ein Jahr Verlust in einem Studiengang, eine nicht bestandene Note, Rechtskosten und mehrere Monate des Streits über eine Bewertung statt des Erwerbs eines Abschlusses. Eine Falsch-Positiv-Rate von 1 Prozent klingt gering, bis eine große Population daraus eine konkrete Person macht.

Warum klassifizieren KI-Detektoren nicht muttersprachliche Englischsprecher falsch?

Schlecht, und zwar mit großem Abstand. Das ist das Ergebnis der Studie, die dies erstmals quantifiziert hat. Stanford-Forschende setzten sieben weit verbreitete GPT-Detektoren gegen 91 TOEFL-Aufsätze von nicht muttersprachlichen Englischsprechern und 88 Aufsätze von Achtklässlern aus den USA ein. Die Detektoren lasen die Aufsätze der Achtklässler fast immer korrekt. Bei den TOEFL-Aufsätzen, die von Erwachsenen verfasst worden waren, die fließend genug waren, um einen Englischtest auf Graduierten-Niveau abzulegen, lag die durchschnittliche Falsch-Positiv-Rate der Detektoren bei 61.3 Prozent. 89 der 91 Aufsätze wurden von mindestens einem der sieben Detektoren als von GPT erzeugt markiert, 18 dieser Aufsätze wurden von allen sieben Detektoren markiert.

Der Mechanismus ist derselbe, der den Rest der Erkennung bestimmt: vorhersehbarer Wortschatz und einfachere Satzkonstruktionen werden als geringe Perplexität gelesen, und geringe Perplexität wird als maschinell erzeugt gelesen, unabhängig davon, wer den Stift hält. Schreibende, die in einer zweiten Sprache arbeiten, greifen auf etablierte Formulierungen zurück, weil genau so Sprachbeherrschung in einer zusätzlichen Sprache tatsächlich aussieht, und genau dieses Profil ist es, das ein Detektor markieren soll.

Schreibende in dieser Lage sind mit dem Rat, einfach natürlicher zu schreiben, nicht gut beraten, da natürlich genau das war, was markiert wurde. TextPulse's Seite für akademische Schreibende mit Englisch als Zweitsprache behandelt die Formulierungsmuster hinter diesem Risiko ausführlicher, einschließlich dessen, was sie verändert, ohne zu verändern, was der Satz bedeutet.

Dies war kein Einzelfall. Im Dezember 2025 wurde ein neuer Benchmark veröffentlicht, der ausdrücklich dazu bestimmt war, Verzerrungen in diesen Detektoren zu bewerten. Er umfasste über 200,000 Stichproben aus mehreren demografischen Gruppen und Sprachen. Obwohl seit Stanford's erster Studie zwei Jahre vergangen waren und viele verschiedene Modellversionen derselben Detektoren einbezogen wurden, zeigte dieser Benchmark, dass die Verzerrung gegenüber Lernenden der englischen Sprache weiterhin vorhanden ist.

Dies gilt nicht für alle Anbieter. Pangram's eigene technische Dokumentation erklärt, dass sein Klassifikator nicht gegen nicht muttersprachliche Englischsprechende voreingenommen ist. Die Forscher von Chicago Booth haben diese Behauptung nicht unabhängig getestet, aber sie zeigt, dass die neuere Generation von Detektoren mit dem Problem im Blick entwickelt wird, statt es zu ignorieren.

Wenn Sie sehen möchten, wo Ihr eigenes Schreiben steht, bevor jemand anderes es bewertet, liefert ein kostenloser Perplexity-Checker Ihnen dieselbe zugrunde liegende Zahl, die ein Detektor berechnen würde, ohne zunächst etwas an eine Institution zu übermitteln.

Wer sonst markiert wird, und warum

Nicht muttersprachliche Englischsprechende tragen das am besten dokumentierte Risiko, doch dieselbe statistische Logik erfasst auch andere Texte. Das Team von Weber-Wulff fand, dass alle 14 von ihnen getesteten Tools weniger genau waren, wenn sie sie auf paraphrasierten Texten einsetzten, dies beschreibt einen bedeutenden Anteil akademischen Schreibens, das bereits von einer Korrekturleserin, einem Lektor oder der roten Korrektur eines Betreuers überarbeitet worden ist, bevor irgendjemand einen Detektor darauf ansetzt.

Nichts davon bedeutet, dass die Zahl bedeutungslos ist, nur dass sie durch weitere Belege gestützt werden muss, bevor sie etwas über eine bestimmte Person aussagt. Wenn Sie einen Text haben, der gleichförmig wirkt, mit ähnlichen Satzlängen und ähnlichem Rhythmus durchgehend, wird er als stärker maschinenähnlich eingestuft, unabhängig davon, wer ihn geschrieben hat oder warum. Dies lässt sich direkt mit einem kostenlosen Burstiness-Checker überprüfen, statt es zu vermuten.

Wie eine vertretbare KI-Erkennungsrichtlinie aussieht

Yale hatte bereits eine Richtlinie, die Berichten zufolge Tools wie GPTZero einschränkt, aus nahezu denselben Gründen, die dieser Artikel dargelegt hat, nämlich eine dokumentierte False-Positive-Rate und eine dokumentierte Voreingenommenheit gegenüber nicht muttersprachlichen Englischschreibenden. Es ist also weniger die Geschichte einer einzelnen unglücklichen Studentin als vielmehr die einer bestehenden Regel, die nicht befolgt wurde. Wenn eine Richtlinie tatsächlich den Unterschied zwischen einem Score und einem Urteil durchsetzt, dann wird ein Score zu einem Eingabewert und nicht zu einem Urteil.

• Behandeln Sie den Score als einen Eingabewert, niemals als alleinige Grundlage für einen Befund von Fehlverhalten
• Offenlegen Sie den veröffentlichten False-Positive-Rate des Tools gegenüber Studierenden, bevor Sie es gegen sie einsetzen
• Wenden Sie besondere Vorsicht bei kurzen Einreichungen und nicht muttersprachlichem Englisch an, beides dokumentierte Schwachstellen
• Gewährleisten Sie einen Weg zur Berufung, der nicht verlangt, eine Statistik zu widerlegen

Nichts davon ist exotisch. Es kommt eher der Art nahe, wie irgendein einzelnes forensisches Beweisstück anderswo behandelt werden sollte, nützlich, überprüfbar und niemals für sich allein ausreichend.

Für eine einzelne Autorin oder einen einzelnen Autor gilt dasselbe Prinzip schon vor dem Vorliegen eines Scores und nicht erst danach. Eine einzelne Zahl, von welchem Tool auch immer, ist eine Schätzung und kein Urteil, und sie als Gewissheit in beide Richtungen zu behandeln, also als sicher oder als erwischt, verlangt von der Zahl mehr, als sie tragen kann.

TextPulse's eigenes AI humanizer tool gibt auf derselben Logik einen Human Score aus: eine Schätzung, die aus Ihrem eigenen Text berechnet wird, nicht das Urteil eines Detektors darüber, nützlich als Hinweis darauf, wie ein Entwurf derzeit liest, statt als Versprechen darüber, was ein bestimmter Detektor sagen wird.

Die Frage der Genauigkeit zerfällt in engere Fragen, jede mit einer eigenen Seite. Die Rate, mit der Detektoren menschliches Schreiben markieren wird gesondert behandelt, ebenso die spezifischen Belege zur False Positive Rate von Turnitin und zur Genauigkeit von ZeroGPT. Wenn ein Score bereits gegen Sie verwendet wurde, gibt es praktische Beiträge dazu, was zu tun ist, wenn Ihnen vorgeworfen wird, AI verwendet zu haben, zu den Belegen, die Sie zusammenstellen können, um zu beweisen, dass Sie AI nicht verwendet haben, und zum Verfassen eines Einspruchsschreibens, das den Score nach seinen eigenen Maßstäben beantwortet.

Die Zahl in jedem Bericht wird sich weiter verändern, während Anbieter ihre Modelle neu trainieren und Forschende sie weiterhin an schwierigeren Fällen testen. Was sich jedoch nicht verändern sollte, ist die zugrunde liegende Gewohnheit: einen Score als eine Messung unter mehreren zu lesen, zu fragen, auf welcher Population er validiert wurde, und zu fragen, was der Anbieter über die Fälle nicht sagt, bei denen er weiterhin falsch liegt.