Winston AI Review: Die 99,98% Genauigkeitsbehauptung vs. die Belege

Winston AI wirbt mit einer Genauigkeit von 99,98%, dem höchsten selbst beanspruchten Wert aller gängigen AI-Detektoren. Die Zahl steht auf der Startseite des Unternehmens neben den Worten "The Most Trusted AI Detector", und sie stammt aus den eigenen internen Tests des Unternehmens, nicht aus einem externen Labor. Neben dieser Angabe werden keine Methodik, keine Größe des Testdatensatzes, kein Verhältnis von menschlichen zu AI-generierten Beispielen und kein Betriebsschwellenwert veröffentlicht. Diese Lücke zwischen der Behauptung und ihrer Dokumentation ist das Erste, was eine sorgfältige Leserin oder ein sorgfältiger Leser über dieses Werkzeug wissen muss.

Das Zweite ist, dass Winston tatsächlich von externen Stellen getestet wurde, was mehr ist, als manche Detektoren von sich behaupten können. Der RAID-Benchmark, eine begutachtete Studie, die auf der ACL 2024 vorgestellt wurde, setzte Winston gegen ungefähr 6,2 Millionen maschinell erzeugte Texte ein und ermittelte eine Gesamtgenauigkeit von 71,0% bei auf 5% festgelegter Falsch-Positiv-Rate. Das liegt weit entfernt von 99,98%. Außerdem belegte Winston damit den zweiten Platz unter den vier getesteten kommerziellen Detektoren, vor GPTZero und ZeroGPT. Beide Fakten sind wichtig, und keines hebt das andere auf.

Im Folgenden geht es darum, was Winston ist und für wen es entwickelt wurde, was der Anbieter behauptet, was ein Selbst-Benchmark von 99,98% statistisch bedeuten kann und nicht bedeuten kann, und was die unabhängigen Zahlen tatsächlich zeigen.

Was ist Winston AI und wer nutzt es?

Winston AI ist ein kostenpflichtiger, abonnementbasierter Detektor, der sich ausdrücklich an Lehrkräfte und Content-Publisher richtet. Die Funktionsliste liest sich wie ein Arbeitsablauf für Lehrkräfte: Die Website des Unternehmens beschreibt OCR, das Text aus gescannten Dokumenten, Fotos und Handschrift extrahiert, eine Google Classroom-Integration, die unter den unterstützten Plattformen aufgeführt ist, einen Plagiatsprüfer neben der AI-Erkennung und eine Dokumentenorganisation zur Verwaltung von Einreichungsstapeln. Der Anbieter gibt an, dass er Ausgaben von ChatGPT, Gemini, Claude, LLaMA "and much more" erkennt.

Der markanteste Teil der Oberfläche ist die Ausgabe auf Satzebene. Anstatt nur einen einzelnen Prozentsatz zurückzugeben, erzeugt Winston das, was es eine AI prediction map nennt, eine farbcodierte, satzweise Bewertung, welche Teile eines Dokuments als maschinell erzeugt erscheinen. Für Lehrende ist diese Karte nützlicher als ein bloßer Wert, weil sie zeigt, wo sich der Verdacht des Werkzeugs konzentriert. Sie ist jedoch auch leicht überzuinterpretieren, ein Punkt, der unten behandelt wird.

Was behauptet das Unternehmen?

Die zentrale Behauptung auf der Homepage von Winston AI lautet "99.98% Accurate." Zum Zeitpunkt dieses Schreibens veröffentlicht die Seite, die diese Zahl trägt, nicht, wie der Testkorpus aufgebaut wurde, wie viele Stichproben er enthielt, welche Mischung aus menschlichem und AI-Text verwendet wurde oder auf welchen Entscheidungsschwellenwert der Detektor eingestellt war, als die Zahl gemessen wurde. Das ist in dieser Branche nicht ungewöhnlich, die gleiche Lücke zwischen den Genauigkeitsbehauptungen der Anbieter und unabhängigen Belegen zieht sich durch nahezu jeden Detektor auf dem Markt. Die Version dieser Behauptung von Winston ist schlicht die größte Zahl, die jemand dafür angegeben hat.

Was kann ein 99.98% Selbstbenchmark tatsächlich bedeuten?

Nehmen Sie die Arithmetik für einen Moment ernst. Eine Genauigkeitsrate von 99.98% bedeutet 2 Fehler in jeweils 10,000 Stichproben. Um diese Zahl überhaupt zu messen, braucht ein Unternehmen einen gelabelten Testdatensatz von mindestens Zehntausenden Dokumenten, bei denen die wahre Herkunft jedes Textes mit Sicherheit bekannt ist. Dann beschreibt die Zahl nur die Leistung auf diesem Korpus, diese AI-Modelle, diese Prompts, diese Genres, diese Textlänge, bei einem gewählten Schwellenwert.

All dies setzt keinen bösen Willen voraus. Ein Detektor, der auf Aufsätzen trainiert wurde, die von populären Chat-Modellen erzeugt wurden, und dann an einem Korpus von Aufsätzen getestet wird, die von populären Chat-Modellen erzeugt wurden, wird tatsächlich nahezu die Höchstwerte erreichen. Das Problem ist die Übertragbarkeit. In dem Moment, in dem der eingehende Text von einem anderen Modell, einer anderen Sampling-Strategie oder von einer Autorin oder einem Autor stammt, deren natürlicher Stil ungewöhnlich gleichförmig ist, beschreibt der Korpus, auf dem der Benchmark gemessen wurde, den zu bewertenden Text nicht mehr. Ein interner Benchmark ist ein kontrolliertes Experiment, das von der Partei mit dem stärksten Interesse an seinem Ergebnis unter Bedingungen ihrer eigenen Wahl durchgeführt wird. Er ist ein Beleg, aber die schwächste Art von Beleg, und die fehlende Methodik bedeutet, dass niemand außerhalb des Unternehmens ihn überhaupt überprüfen kann.

Was zeigt unabhängiges Testen?

Der strengste öffentliche Test, der Winston einschließt, ist RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors, eine begutachtete Studie von Dugan und Kolleginnen und Kollegen, die auf der ACL 2024 vorgestellt wurde. RAID bewertete 12 Detektoren, darunter vier kommerzielle Produkte, anhand von ungefähr 6.2 Millionen Generierungen aus 11 Sprachmodellen, 8 Schreibdomänen, 4 Decoding-Strategien und 11 adversarialen Angriffen, wobei jeder Detektor auf dieselbe False-Positive-Rate von 5% kalibriert wurde, sodass die Werte vergleichbar sind.

Detektor	Gesamtgenauigkeit in RAID (FPR auf 5% festgelegt)
Originality.ai	85.0%
Winston AI	71.0%
GPTZero	66.5%
ZeroGPT	65.5%

Zwei Lesarten dieser Tabelle sind gleichzeitig ehrlich. Winstons 71.0% liegen bei weitem nicht bei 99.98%, und Winston hat dennoch zwei seiner drei kommerziellen Rivalen auf dem schwierigsten verfügbaren öffentlichen Benchmark geschlagen. Die Durchschnittswerte verbergen zudem eine aufschlussreiche Streuung. In den modellbezogenen Ergebnissen von RAID erzielte Winston 99.6% bei ChatGPT-Ausgaben und 98.8% bei GPT-4-Ausgaben, also nahe an der eigenen beworbenen Angabe, fiel jedoch auf 47.6% bei GPT-2-Text und 24.8% bei Text aus dem Basismodell MPT-30B. Bei paraphrasiertem maschinellem Text sank die Genauigkeit auf 52.6%.

Diese Streuung ist die ganze Geschichte der Behauptung von 99.98% im Kleinen. Bei Text, der dem ähnelt, wofür der Detektor vermutlich abgestimmt wurde, also bei neueren Chat-Modellen, die schlichte Prosa verfassen, arbeitet Winston nahe an seiner Marketingangabe. Außerhalb dieser Verteilung fällt die Leistung steil ab. Ein interner Benchmark, der aus Text innerhalb der Verteilung aufgebaut ist, kann tatsächlich eine nahezu perfekte Zahl liefern und Ihnen dennoch fast nichts über die unübersichtliche Mischung aus Modellen, Bearbeitungen und Paraphrasen sagen, die ein realer Posteingang enthält. Die statistischen Signale, auf die Detektoren angewiesen sind, werden in unserer Erläuterung zu wie AI-Detektoren funktionieren ausführlicher behandelt.

Falschpositive: Wer wird geschädigt?

Das Design von RAID macht einen Kompromiss sichtbar, den das Marketing der Anbieter selten offenlegt: Jeder Genauigkeitswert in der Studie wurde gemessen, nachdem die Falsch-Positiv-Rate auf 5% festgelegt worden war. Bei dieser Kalibrierung wird 1 von 20 tatsächlich menschlichen Dokumenten markiert. Ein Detektor kann diese Rate senken, indem er seine Schwelle anhebt, aber nur, indem er weniger AI-Text erfasst, die beiden Zahlen bewegen sich gemeinsam, und ein Anbieter, der nur eine davon nennt, zitiert nur die Hälfte eines Ergebnisses.

Die Last dieser Fehler ist nicht gleichmäßig verteilt. Schreiben, das formelhaft, konventionell und wenig variabel ist, wirkt für jeden statistischen Detektor maschinenartig, und diese Beschreibung trifft auf Methodenteile, Literaturübersichten und die sorgfältige Prosa von Autorinnen und Autoren zu, die in einer zweiten Sprache arbeiten. Das Muster von AI detectors flagging non-native English speakers at elevated rates ist branchenweit dokumentiert, und nichts an Winston's Methode nimmt es davon aus. Die Satz-für-Satz-Vorhersagekarte verdient dieselbe Vorsicht, ein rot hervorgehobener Satz ist eine statistische Beobachtung über Wortmuster, kein Beleg für die Urheberschaft. Studierende, die mit einer ungerechtfertigten Markierung konfrontiert sind, sollten bei der Dokumentation ansetzen, nicht bei einem Geständnis, unser Leitfaden zu how to prove you did not use AI behandelt, was tatsächlich überzeugt.

Preisgestaltung und Zugang

Winston ist ein kostenpflichtiges Produkt mit einer begrenzten Testphase. Winston nennt eine 14-tägige kostenlose Testphase mit 2,000 Credits, einen Essential-Tarif für $18 pro Monat, oder $10 pro Monat bei jährlicher Abrechnung, mit 100,000 monatlichen Credits, einen Advanced-Tarif für $29 pro Monat, oder $16 jährlich, der Teamplätze und größere Scans hinzufügt, sowie darüber hinaus eine Elite-Stufe. Für eine einzelne Lehrkraft, die eine ganze Klasse von Einreichungen prüft, bewegt sich Winston damit im Bereich eines Impulskaufs, günstiger als institutionelle Verträge, leistungsfähiger als die meisten kostenlosen Werkzeuge.

Winstons Platz in der Detektorlandschaft

Nach den unabhängigen Belegen ist Winston ein kommerzieller Detektor im mittleren Preissegment, der besser abschneidet als die kostenlose Stufe des Marktes und schlechter als die eigene Werbung. Er eignet sich für Lehrkräfte, die Satz-für-Satz-Sichtbarkeit, Classroom-Integration und Plagiatsprüfung in einem preisgünstigen Werkzeug wünschen und jedes Ergebnis als Anlass für ein Gespräch und nicht als Urteil behandeln. Er eignet sich nicht für Personen, die den Score als Beweis benötigen, denn der Score keines Detektors leistet das.

Der vollständige Vergleich

Winston ist ein Detektor in einem überfüllten Feld, und seine Lücke von 71% gegenüber 99.98% ist ein Beispiel für ein branchenweites Muster. Wie er sich im Vergleich zu Turnitin, GPTZero, Originality, ZeroGPT und den übrigen auf derselben evidenzorientierten Grundlage schlägt, zeigt unser vollständiger Leitfaden zu AI detectors compared.

Was unsere eigene Forschung zeigt

In der Detektor-Übereinstimmungsstudie von TextPulse Research bewerteten neun kommerzielle KI-Detektoren dieselben 90 akademischen Texte. Einer davon war ein Hybridtext mit 455 Wörtern: ein von Menschen geschriebener Anfang und Schluss um einen KI-generierten Mittelteil von 168 Wörtern. Winston AI bewertete diesen Text mit 7% KI, während die Urteile der anderen Tools zu denselben Wörtern von 0% bis 95.7% KI reichten. Das vollständige Paper, das Korpus und die Score-Matrix aller Tools sind frei zugänglich unter TextPulse Research.