Falschpositive bei AI-Detektoren: Warum menschliches Schreiben markiert wird

Im Jahr 1982 veröffentlichte das New England Journal of Medicine eine Arbeit über Cytomegalovirus bei Patienten mit Knochenmarktransplantation. Sie bestand das Peer-Review und lag vier Jahrzehnte lang im Archiv. Im Jahr 2023 ließen Forschende sie durch einen AI-Schreiberkennungsdetektor laufen, den OpenAI öffentlich freigegeben hatte, und das Tool bewertete sie als zu 99,96 Prozent wahrscheinlich von AI generiert, siebenunddreißig Jahre bevor das Modell, von dem sie angeblich geschrieben worden war, überhaupt existierte. Das ist ein False Positive eines AI-Detektors in seiner reinsten Form, ein Dokument, das als maschinell geschrieben markiert wird, obwohl es unmöglich maschinell geschrieben sein kann.

Dieses Beispiel ist nur in seiner zeitlichen Einordnung extrem. Das zugrunde liegende Muster, ein Detektor, der formelhafte, vorhersehbare Prosa als maschinell erzeugt liest, unabhängig davon, wer sie geschrieben hat oder wann, zeigt sich ständig in gewöhnlichen Einreichungen: Essays, Anschreiben, Laborberichte, persönliche Stellungnahmen. Dieser Beitrag behandelt, was ein False Positive verursacht, welche Arten des Schreibens am stärksten betroffen sind und warum ein einzelner markierter Wert nicht die Beweiskraft hat, die er zu haben scheint.

Was ist ein False Positive eines AI-Detektors?

Ein False Positive eines AI-Detektors ist ein von Menschen verfasster Text, den ein Erkennungstool als von AI generiert bewertet. Dabei wird nichts über den Schreibprozess, die Ehrlichkeit oder die Fähigkeit der Autorin oder des Autors gemessen. Das Tool vergleicht die statistische Form des Satzes, also wie vorhersehbar Wortwahl und Struktur sind, mit der Form, die es mit maschineller Ausgabe zu assoziieren gelernt hat.

Anbieter geben False-Positive-Raten als eine einzelne kleine Prozentzahl an, meist unter ein oder zwei Prozent. Diese Zahl beschreibt einen kontrollierten Test an einem Benchmark, den der Anbieter erstellt hat, nicht eine Garantie für ein einzelnes Dokument. Die weitergehende Frage, ob AI-Detektoren überhaupt genau sind, wurde bereits unabhängig geprüft, und die Ergebnisse liegen ganz woanders, teils deutlich höher als jede Anbieterzahl. Dieser Beitrag bleibt enger gefasst: Welche Arten des Schreibens erhöhen dieses Risiko, und was kann ein markierter Wert jemandem sagen, und was nicht?

Welche Schreibmerkmale lassen menschlichen Text maschinell erzeugt erscheinen?

Vier Arten gewöhnlichen Schreibens bergen das größte Risiko, und keine davon setzt voraus, dass eine Person etwas falsch macht. Kurze Dokumente, stark formelhafte Texte, zitierte oder vorgegebene Materialien und Texte, die gründlich Korrektur gelesen wurden, neigen alle dazu, als vorhersehbarer zu gelten als frei verfasste Prosa, und genau diese Eigenschaft misst jeder Detektor tatsächlich. Ein kostenloser Burstiness-Checker misst dieselbe Variation direkt, was ein schnellerer Weg ist, das Muster zu erkennen, als eine Beschreibung davon zu lesen.

Einige Genres sind von vornherein formelhaft. Ein Methodenteil, ein Laborbericht, ein standardisiertes Anschreiben und eine Literaturübersicht belohnen alle die konventionelle Formulierung gegenüber der erfinderischen, weil die Konvention das Dokument für seine Leser nutzbar macht. Forschende haben dies direkt an realen Texten getestet: Sie ließen 14,400 Abstracts aus Fachzeitschriften, veröffentlicht zwischen 1980 und 2023, also Jahre bevor irgendein großes Sprachmodell existierte, durch einen öffentlich verfügbaren Detektor laufen. Bis zu 8 Prozent wurden unabhängig vom Veröffentlichungsjahr als von AI generiert markiert, und die Abstracts des New England Journal of Medicine wurden mit 10.24 Prozent markiert, der höchsten Falsch-Positiv-Rate unter den fünf getesteten Zeitschriften.

Der Test konnte nichts über ChatGPT erkannt haben, da ChatGPT in den meisten der Jahre, die er stichprobenartig erfasste, nicht existierte. Er erkannte Genre. Formeller gesagt, wie es die statistische Analyse des Erkennungsproblems von 2026 ausdrücken würde, gibt es keine Möglichkeit, einen Detektor zu bauen, der zwischen einem Satz unterscheidet, der vorhersehbar ist, weil er von Software geschrieben wurde, und einem Satz, der vorhersehbar ist, weil er die Art von Satz ist, die man in diesem Genre schreibt. Von außen sehen sie genau gleich aus.

Starke Bearbeitung drängt in eine ähnliche Richtung. Ein erster Entwurf trägt die spezifischen Unregelmäßigkeiten einer Autorin oder eines Autors: die ungewöhnliche Wortstellung, den Satz, der zu lang wird, weil der Gedanke es auch wurde. Ein gründlicher Korrekturdurchgang, besonders einer, der durch ein anderes Tool läuft, glättet genau diese Unregelmäßigkeiten meist weg. Der bislang größte unabhängige Vergleich von Erkennungstools testete 14 davon und stellte fest, dass die Genauigkeit bei jedem Tool weiter sank, sobald der Beispieltext paraphrasiert oder maschinell übersetzt worden war.

Schreibmerkmal	Warum es die scheinbare Unvorhersehbarkeit eines Dokuments verringert	Was die Evidenz zeigt
Kurze Einreichungen	Weniger Text lässt weniger Raum für die natürliche Variation, die menschlichen Rhythmus von maschinellem Rhythmus unterscheidet	Werte bei kurzen Dokumenten schwanken stärker aufgrund weniger ungewöhnlicher Sätze
Formelhafte oder fachspezifische Schreibweise	Die Gattungskonvention belohnt die erwartete Wendung gegenüber der erfinderischen	14,400 Abstracts aus der Zeit vor ChatGPT (1980 bis 2023) lösten dennoch bis zu 8% falsch positive Ergebnisse aus, die Abstracts einer Zeitschrift erreichten 10.24%
Stark bearbeitete oder paraphrasierte Entwürfe	Ein Glättungsgang beseitigt die individuellen Unregelmäßigkeiten, die ein Detektor als menschlich liest	Ein unabhängiger Vergleich von 14 Tools ergab, dass die Genauigkeit nach Paraphrasierung oder maschineller Übersetzung weiter sank
Zitat- oder Vorlagenmaterial	Die zitierte Passage trägt die statistische Signatur ihrer Quelle, nicht die der zitierenden Person	Detektoren, die Zitate nicht ausschließen, bewerten das umgebende Dokument anhand von übernommenem Text

Warum veröffentlichte Raten und Raten in der realen Anwendung nicht übereinstimmen

Jeder große Detektor veröffentlicht eine Falsch-Positiv-Rate von etwa einem Prozent oder weniger. Unabhängige Tests derselben Tools, die an unterschiedlichen Dokumenten unter unterschiedlichen Bedingungen durchgeführt werden, berichten regelmäßig etwas deutlich Höheres, manchmal um den Faktor zehn oder mehr. Beide Angaben können zutreffen und dennoch fast nichts Gemeinsames beschreiben, weil sie nicht dasselbe messen.

Turnitin ist genau deshalb ein nützliches Beispiel, weil es mehr Details veröffentlicht als die meisten Wettbewerber: eine Falsch-Positiv-Rate unter 1 Prozent auf Dokumentebene, sofern mehr als 20 Prozent einer Einreichung als von AI geschrieben markiert werden, zusammen mit einer Unternehmensangabe, dass die Ergebnisse in der Praxis von den eigenen Labortests abweichen. Die Washington Post ließ 2023 16 echte Dokumente durch dasselbe Tool laufen und stellte fest, dass mehr als die Hälfte zumindest teilweise falsch identifiziert zurückkam, darunter ein vollständig von Menschen verfasster Aufsatz, der als teilweise von AI generiert markiert wurde. Keine der beiden Zahlen ist erfunden. Sie stammen aus unterschiedlichen Stichproben, unterschiedlichen Schwellenwerten und unterschiedlichen Definitionen dessen, was als Markierung zählt.

Dieselbe Lücke zeigt sich branchenweit, nicht nur bei einem Unternehmen. Dieser Vergleich von 14 Tools ergab, dass jedes einzelne insgesamt unter 80 Prozent Genauigkeit blieb und dass sechs der vierzehn bei unverändertem menschlichem Schreiben bereits vor jeder Paraphrasierung ein Falsch-Positiv erzeugten. Eine veröffentlichte Zahl beschreibt einen Benchmark. Sie beschreibt nicht das Dokument, das gerade vor einer Professorin oder einem Professor liegt.

Warum ein sicheres Ergebnis keine sichere Anschuldigung ist

Falsch-Positiv-Rate klingt so, als bezeichne sie die Wahrscheinlichkeit, dass eine als problematisch markierte Studentin oder ein als problematisch markierter Student unschuldig ist. Aber nein. Sie beschreibt, wie ein Test bei allen Personen funktioniert, die ihn absolvieren. Und das sind unterschiedliche Fragen mit unterschiedlichen Antworten, genau wie bei jedem Screening-Test in der Medizin oder Sicherheit.

Eine statistische Analyse vom März 2026 durch eine Forscherin oder einen Forscher der Griffith University macht die zugrunde liegende Mathematik explizit. Betrachtet man AI-Erkennung als einen Test, der auf eine Population von studentischen Schreibenden angewendet wird, statt auf ein einzelnes isoliertes Dokument, dann zeigt sich ein Zielkonflikt: Immer wenn ein Teil dieser Population in einer Weise schreibt, die sich natürlich mit typischer AI-Ausgabe überschneidet, nahe an Genre-Konventionen, nahe am Bereich einer Zweitsprachenlernenden oder eines Zweitsprachenlernenden, muss jeder Detektor mit echter Fähigkeit, von AI geschriebenes Material zu erkennen, bei einem Teil dieses überlappenden Anteils Fehlalarme auslösen. Dies ist keine Behauptung darüber, dass ein bestimmter Detektor schlecht gebaut wäre. Es ist eine Eigenschaft des Testens einer vielfältigen Population mit einem einzigen Dokument und ohne weitere Beweise.

Das eigene illustrative Beispiel des Papiers zeigt das Ausmaß, um das es geht. Angenommen, 10 Prozent einer Studierendenpopulation schreiben hinreichend nah an typischer AI-Ausgabe, und ein Detektor ist darauf eingestellt, 80 Prozent der tatsächlich von AI geschriebenen Arbeiten zu erfassen. Die Mathematik verlangt dann eine durchschnittliche Falsch-Positiv-Rate von mindestens 7.5 Prozent in dieser Population. Das ist kein Fehler in der Konstruktion des Detektors, sondern eine direkte Folge davon, wie stark sich das Schreiben dieser Gruppe statistisch mit dem zu erkennenden Gegenstand überschneidet.

Auf eine Universität mit 10,000 Studierenden hochgerechnet, impliziert diese Untergrenze allein ungefähr 750 falsche Kennzeichnungen in der Population, eine mathematische Folge davon, eine diverse Population gegen ein einzelnes Dokument ohne weitere zu gewichtende Evidenz zu testen. Der Autor des Papiers stellt ausdrücklich klar, dass diese konkreten Zahlen illustrativ und nicht an einer realen Institution gemessen sind. Das Beispiel zeigt die Form des Problems, nicht eine spezifische Vorhersage für einen einzelnen Campus.

Nichts davon bedeutet, dass ein markierter Wert bedeutungslos ist. Es bedeutet, dass der Wert ein schwaches Signal auf Populationsebene ist, dem die Aufgabe gestellt wird, eine Frage über eine einzelne Person zu beantworten, eine Unstimmigkeit, die sich durch kein Maß an Herstellerpolitur für sich allein vollständig beheben lässt. Eine verantwortliche Lektüre behandelt die Zahl als Anlass, bessere Evidenz zu sammeln, Entwürfe, Versionsverlauf, die gewöhnliche Dokumentationsspur von jemandem, der tatsächlich etwas schreibt. TextPulse's free tools ermöglichen es einer Autorin oder einem Autor zu prüfen, wo ein Entwurf derzeit bei diesen gleichen Messungen steht, bevor es jemand anderes tut, was eine andere Nutzung der Technologie ist als der Versuch, einen bestimmten Detektor zu umgehen.

Welche Schreibenden dem höchsten Risiko ausgesetzt sind

Die Forschung zeigt zwei Gruppen, die stärker hervortreten als alle anderen, Menschen, die in einer Zweitsprache schreiben, und Menschen, die aus Gründen, die nichts damit zu tun haben, wie sie ihren Aufsatz geschrieben haben, von Natur aus sehr strukturiert oder repetitiv schreiben. Beide Arten von Schreibenden erscheinen auf derselben statistischen Signatur, die ein Detektor erfassen soll.

Nicht muttersprachliche Englischsprechende tragen das am besten dokumentierte Risiko. Unabhängige Tests haben wiederholt gezeigt, dass Detektoren flüssige akademische Texte in einer Zweitsprache deutlich häufiger als maschinell erzeugt fehlinterpretieren als Texte von Muttersprachlern. Die Seite von TextPulse für akademische ESL-Autorinnen und -Autoren geht den Mechanismus hinter diesem Risiko ausführlicher nach, einschließlich der Formulierungsmuster, die dafür verantwortlich sind.

Eine zweite, weniger diskutierte Gruppe sieht sich einem verwandten Problem gegenüber. Forschende verglichen ungefähr 60.000 Reddit-Beiträge, aufgeteilt in eine Teilmenge, die als wahrscheinlich von autistischen Autorinnen und Autoren verfasst identifiziert wurde, und eine allgemeine Stichprobe, und ließen beide durch einen auf GPT-2 basierenden Detektor laufen. Beide Gruppen blieben insgesamt unter 2 percent markiert, aber die wahrscheinlich autistische Teilmenge wurde mit einer signifikant höheren Rate markiert als die allgemeine Stichprobe. Schreiben, das zu wörtlicher, repetitiver, eng strukturierter Formulierung neigt, ein dokumentiertes Merkmal mancher autistischer Kommunikationsstile, erzeugt genau den Text mit geringer Variation, auf den ein Detektor ausgelegt ist.

Zwei Anbieter veröffentlichen genug, um die Behauptung zu überprüfen. Die eigene False-Positive-Rate von Turnitin wird gesondert dargestellt, und die Genauigkeit von ZeroGPT wird auf einer eigenen Seite untersucht. Wen diese Fehler am härtesten treffen, ist wiederum eine separate Frage, und warum nicht muttersprachliche Englischschreibende häufiger markiert werden hat eine eigene Antwort.

Nichts davon dürfte sich in absehbarer Zeit vereinfachen. Detektoren werden weiter besser darin werden, tatsächlich maschinell verfassten Text zu erkennen, und die Vielfalt der Populationen wird weiterhin eine gewisse Rate falscher Anschuldigungen erzeugen, die sich allein durch bessere Technik nicht vollständig beseitigen lässt. Die nützlichere Verschiebung findet an einigen Institutionen bereits statt, nämlich eine Punktzahl als Beginn eines Gesprächs statt als dessen Ende zu behandeln und zu fragen, auf welche Population eine veröffentlichte Rate tatsächlich getestet wurde, bevor man ihr vertraut, wenn sie auf das vorliegende Dokument zutrifft.