Turnitin-Fehlalarmrate: Was die Zahlen sagen

Die False-Positive-Rate von Turnitin ist keine einzelne Zahl. Das Unternehmen veröffentlicht zwei Werte: eine Angabe unter 1 Prozent auf Dokumentebene und eine, die auf Satzebene näher bei 4 Prozent liegt. Beide sind real, beide sind veröffentlicht, und keiner von beiden sagt für sich allein viel über die konkrete Arbeit aus, die vor einer konkreten Professorin oder einem konkreten Professor liegt.

Die Lücke zwischen diesen beiden Werten und das, was geschieht, sobald einer von ihnen auf eine tatsächliche Klasse statt auf ein einzelnes Dokument angewendet wird, ist der Gegenstand dieses Beitrags: was Turnitin selbst angibt, was die beiden Zahlen tatsächlich abdecken und welche Arithmetik einen Bruchteil eines Prozents in eine reale Zahl von Studierenden verwandelt.

Was ist die False-Positive-Rate von Turnitin, nach Turnitin?

Auf Dokumentebene lautet die eigene Formulierung des Unternehmens: "Our document false positive rate, incorrectly identifying fully human-written text as AI-generated within a document, is less than 1% for documents with 20% or more AI writing." Diese Bedingung ist ebenso wichtig wie die Zahl. Die Angabe unter 1 Prozent ist keine Behauptung über jede Arbeit, die Turnitin bewertet. Sie beschreibt nur die Teilmenge von Arbeiten, die in der eigenen Schätzung des Modells bereits eine Schwelle von 20 Prozent KI-geschriebenen Texts überschritten haben.

Auf Satzebene, wo eine Oberfläche einzelne Zeilen statt eines ganzen Dokuments hervorhebt, liegt Turnitins eigene Zahl ungefähr viermal höher. "Our sentence-level false positive rate is around 4%," erklärt das Unternehmen. "There is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written." Turnitin fügt hinzu, dass diese falschen Sätze nicht zufällig verteilt sind: In 54 Prozent der Fälle steht ein fälschlich markierter Satz unmittelbar neben echtem KI-Text, was das Unternehmen als einen Teil des Grundes anführt, weshalb eine Bewertung auf Dokumentebene sich tendenziell besser hält als jede einzelne hervorgehobene Zeile.

Dokumentebene und Satzebene sind nicht dieselbe Behauptung

Diese zweistufige Aufschlüsselung ist eine überarbeitete Darstellung, nicht Turnitins ursprüngliche Position. Bei der Einführung im April 2023 veröffentlichte das Unternehmen einen einzigen Wert von unter 1 Prozent, ganz ohne Unterscheidung zwischen Dokument und Satz. Nachdem Institutionen begannen, diese Zahl zu zitieren, und nachdem die Bildungspresse über höher als erwartet ausfallende falsch positive Ergebnisse in der Praxis berichtete, veröffentlichte Turnitins Chief Product Officer die oben verwendete Aufschlüsselung, zusammen mit zwei Produktänderungen, die als Reaktion vorgenommen wurden: die Anhebung der minimal bewertbaren Dokumentlänge von 150 auf 300 Wörter und die Änderung der Art und Weise, wie führende und abschließende Sätze in einem Dokument bewertet werden.

Die Untergrenze von 300 Wörtern besteht aus einem verwandten Grund. Turnitin erhöhte sie von einer ursprünglichen Mindestlänge von 150 Wörtern, nachdem das Unternehmen nach eigenen Angaben festgestellt hatte, dass die Genauigkeit mit mehr Text zunimmt. Eine kurze Einreichung, eine einseitige Reflexion, ein unvollständiger Entwurf, ein Diskussionsbeitrag, bietet dem Modell weniger Signal, mit dem es arbeiten kann, als die oben genannten falsch positiven Werte zugrunde lagen, und genau deshalb erhält alles unter dieser Untergrenze überhaupt keinen KI-Wert, statt einen unzuverlässigen.

Ebene	Von Turnitin angegebene Rate	Was tatsächlich abgedeckt wird
Auf Dokumentebene	Unter 1%	Nur Dokumente, die bereits als zu 20% oder mehr von KI geschrieben markiert wurden, der Gesamtprozentsatz für die gesamte Einreichung
Auf Satzebene	Etwa 4%	Jeder einzelne Satz, der innerhalb des Berichts über KI-Schreiben hervorgehoben wird, unabhängig vom Gesamtwert des Dokuments
Unter der 20% Dokumentenschwelle	Keine Zahl angezeigt	Turnitin zeigt anstelle eines Prozentsatzes ein Sternchen an und kennzeichnet das Ergebnis in diesem Bereich als weniger zuverlässig

Die Arithmetik: Was ein Bruchteil eines Prozents für eine reale Kohorte bedeutet

Die Berechnung wurde öffentlich gemacht, als die Vanderbilt University im August 2023 die mit der KI-Erkennung von Turnitin verbundenen Fehlerraten berechnete. Das beste Beispiel dafür, wie man diese Berechnung durchführt, ist Vanderbilts eigene Auswertung der Zahlen. In einem Blogbeitrag über ihre Entscheidung, den KI-Detektor von Turnitin abzuschalten, stellten sie fest: "[i]n 2022 reichten wir etwa 75,000 Arbeiten bei Turnitin ein, was bedeutet, dass Turnitins angegebene Falsch-Positiv-Rate von 1 percent bedeutet, dass etwa 750 studentische Arbeiten fälschlich als teilweise von AI verfasst hätten gekennzeichnet werden können."

Diese Zahl ist Vanderbilts eigene Extrapolation aus der veröffentlichten Zahl des Anbieters, angewandt auf das eigene Volumen von Vanderbilt, nicht ein separat gemessenes Ergebnis. Die Struktur der Rechnung lässt sich über die Studierendenzahl einer einzelnen Universität hinaus verallgemeinern. Eine Rate von unter 1 percent, angewandt auf einige hundert Arbeiten, erzeugt eine Handvoll fälschlich markierter Studierender, die leicht zu übersehen sind. Dieselbe Rate, angewandt auf Zehntausende von Arbeiten, also den Umfang, den eine tatsächliche Universität jedes Jahr einreicht, erzeugt Hunderte statt einer Handvoll, weil ein kleiner Prozentsatz und eine große Population miteinander multipliziert werden, statt isoliert betrachtet zu werden.

Nichts davon beweist, dass die reale Rate exakt mit dem Laborwert übereinstimmt. Turnitins eigener Chief Product Officer hat öffentlich eingeräumt, dass die Ergebnisse in der Praxis von Labortests abweichen, was mit ein Grund dafür ist, dass das Unternehmen seine Darstellung überhaupt überarbeitet hat. Die obige Rechnung behandelt Turnitins eigene angegebene Zahl als eine Eingabe, die ernst genommen werden sollte, nicht als Obergrenze dessen, was tatsächlich geschieht, sobald ein Tool Einreichungen bewertet, die nichts mit einem kuratierten Benchmark zu tun haben.

Was die Rate nicht abdeckt

Ein Ergebnis unter der 20 Prozent Schwelle erhält keinen kleinen Prozentwert. Stattdessen bekommt es ein Sternchen anstelle einer Zahl, eine Entscheidung, die Turnitin getroffen hat, weil dieser Bereich derjenige ist, in dem das Tool in beide Richtungen am wenigsten zuverlässig ist, was durch unabhängige Berichterstattung in der Bildungsfachpresse zusammen mit der eigenen Einordnung des Unternehmens als Bereich mit geringer Sicherheit gestützt wird. Eine leichte Überarbeitung, ein mit Hilfe überarbeiteter Absatz und der Rest ohne fremde Hilfe geschrieben, kann überhaupt keinen sichtbaren Wert ergeben, statt eines kleinen, was man wissen sollte, bevor eine fehlende Zahl entweder als Vorwurf oder als sauberes Gesundheitszeugnis gelesen wird. Der Leitfaden von TextPulse dazu, was als guter Turnitin Score gilt behandelt dieselbe Schwelle aus der Perspektive der Lesenden des Berichts.

Wie sollte eine veröffentlichte Rate falsch positiver Ergebnisse gelesen werden?

Als eine Kennzahl eines Anbieters über eine engere Bedingung, als sie zunächst zu beschreiben scheint, nicht als Aussage über die Arbeit, die vor einer bestimmten Professorin oder einem bestimmten Professor liegt. Turnitin rahmt die eigenen Ergebnisse auf dieselbe Weise: Das Unternehmen erklärt ausdrücklich, dass seine Technologie zur Erkennung von KI Schreiben nicht "a determination of misconduct" liefert, sondern nur "data for educators to make an informed decision." Die breitere Evidenz dazu, ob KI Detektoren überhaupt genau sind, stützt dieselbe Lesart: Eine veröffentlichte Rate beschreibt einen Referenzwert, nicht das Dokument, das gerade bewertet wird.

Autorinnen und Autoren, die wissen wollen, wo ihr eigener Entwurf auf derselben Art statistischer Messung liegt, statt zu raten, können ihn direkt mit einem kostenlosen Perplexity Checker prüfen, bevor irgendetwas davon den Detektor einer Institution erreicht. Das ist eine andere Nutzung der Technologie als der Versuch, im Nachhinein mit einem Wert zu argumentieren, und es ist der einzige Fall, in dem eine Autorin oder ein Autor, nicht eine Verwaltung, die Zahl zuerst sieht.

Die Genauigkeit von ZeroGPT wird separat untersucht für alle, deren Institution stattdessen dieses System verwendet. Die Gruppe, die von diesen Fehlern am stärksten betroffen ist, nicht muttersprachliche englische Schreibende, ist Gegenstand einer eigenen Seite.

Die am stärksten von dieser Mathematik betroffene Bevölkerungsgruppe ist ebenfalls nicht gleichmäßig verteilt. Nicht muttersprachliche englische Schreibende tragen das größte dokumentierte Risiko, auf der falschen Seite einer dieser Prozentangaben zu landen, und genau auf dieses Publikum ist TextPulse's Seite für akademische ESL-Autorinnen und -Autoren ausgerichtet. Turnitin wird diese Zahlen weiter überarbeiten, während es sein Modell neu trainiert. Was sich nicht ändern wird, ist die Mathematik selbst: Eine so kleine Rate braucht immer noch eine so große Population, in der sie verschwinden kann, und die meisten realen Einreichungen haben dieses Glück nicht.