Ist ZeroGPT genau?

ZeroGPT Genauigkeit, nach der eigenen aktuellen Behauptung des Unternehmens, ist eine Rate, die sich „auf >98% bei internen Auswertungen zubewegt“, eine Zahl, von der das Unternehmen einräumt, dass sie aus Tests stammt, die es an sich selbst durchgeführt hat, und nicht aus einem externen Labor. Dieser eine Vorbehalt, intern, ist bereits fast alles, was ein Leser braucht, bevor er irgendeine Prozentzahl eines kostenlosen Detektors als gesicherte Tatsache behandelt.

ZeroGPT ist einer der am häufigsten genutzten kostenlosen KI-Detektoren, vor allem weil er nichts kostet und innerhalb von Sekunden eine Antwort liefert. Dieselbe Lücke zwischen Anbieterbehauptungen und unabhängigen Tests, die bei KI-Detektoren allgemein sichtbar wird, zeigt sich auch hier. Im Folgenden geht es darum, was das Unternehmen derzeit über seine eigene Genauigkeit und Methode angibt, was diese Methode tatsächlich zu messen scheint und warum ein Werkzeug wie dieses bei der Art von Texten, die akademische Leser einreichen, in bestimmten, vorhersehbaren Fällen fehlgeht.

Was ist ZeroGPT Genauigkeit, nach Angaben des Unternehmens?

ZeroGPTs eigene FAQ erklärt, dass das Unternehmen „branchenführende Genauigkeit liefert und kontinuierlich verbessert wird, um eine erstklassige Leistung zu erhalten, und sich auf >98% bei internen Auswertungen zubewegt“. Das ist die Behauptung eines Anbieters über sein eigenes Produkt, vom Unternehmen selbst getestet, formuliert mit einer tatsächlichen Absicherung, die in der Wortwahl enthalten ist: „sich auf“ eine Zahl „zubewegt“ ist nicht dasselbe wie sie zu erreichen und zu halten, und „interne Auswertungen“ bedeutet, dass keine externe Partei eine entsprechende Zahl veröffentlicht hat. Auf der Seite steht nichts dazu, wie groß dieser interne Testdatensatz war, was er enthielt oder wer außerhalb des Unternehmens die Methodik geprüft hat.

Das Unternehmen empfiehlt mindestens 150 bis 200 Wörter Text für ein stabiles Ergebnis, wobei 500 bis 1,000 Wörter oder mehr die Zuverlässigkeit weiter verbessern, und erklärt ausdrücklich, dass sehr kurze oder stark bearbeitete Ausschnitte "weniger Signale tragen." Diese einzelne Offenlegung ist wichtiger als der prozentuale Wert in der Überschrift. Es ist die eigene Anerkennung des Anbieters, dass die Zuverlässigkeit der Bewertung nur so groß ist wie die Länge und Unverändertheit des Eingabetextes, eine Bedingung, die eine echte Einreichung nicht immer erfüllt.

Welche Methode verwendet ZeroGPT tatsächlich?

ZeroGPT nennt sein zugrunde liegendes System DeepAnalyse, das auf seiner eigenen Website als eine "mehrstufige Methodik beschrieben wird, die darauf ausgelegt ist, die Genauigkeit zu optimieren und gleichzeitig falsch positive und negative Ergebnisse zu minimieren" und einen Text "von der Makroebene bis zur Mikroebene" liest. Die FAQ beschreibt darunter etwas Spezifischeres hinter dem Branding: eine Analyse von "Token-Mustern, Burstiness, Entropie und Ensemble-Klassifikator-Merkmalen, die auf gemischten Datensätzen trainiert wurden."

Burstiness und Entropie sind nicht einzigartig für ZeroGPT. Es sind dieselben statistischen Eigenschaften, also wie stark Satzlänge und Rhythmus variieren und wie vorhersehbar jedes nächste Wort ist, die TextPulse's eigene Erläuterung zu wie AI-Detektoren funktionieren als allgemeinen Mechanismus hinter dieser gesamten Werkzeugkategorie behandelt. Ein kostenloser Perplexity-Checker zeigt genau diese zugrunde liegende Zahl direkt, ohne dass ein Autor zunächst dem Prozentsatz eines einzelnen Anbieters vertrauen muss.

Warum bringen akademische Texte diese Detektoren aus dem Tritt?

Die ZeroGPT-FAQ formuliert es so: "hochpolierte, formelhafte oder niedrig-entropische Texte können AI ähneln." Akademische Prosa ist auf hochpolierte, formelhafte, niedrig-entropische Texte ausgelegt. Ein Methodenteil, ein Literaturüberblick und ein formales Anschreiben belohnen alle die konventionelle Formulierung gegenüber der erfinderischen, weil Konvention überhaupt erst das ist, was das Dokument für seine Leserschaft nutzbar macht, und genau diese Konvention ist das niedrig-entropische Muster, das die eigene Offenlegung des Anbieters als Risiko benennt.

Unabhängige, peer-reviewte Tests zeigen, warum sich dieser Fehlermodus bei manchen Schreibenden stärker auswirkt als bei anderen. Eine Stanford-Studie aus dem Jahr 2023 setzte sieben weit verbreitete Detektoren, darunter ZeroGPT, auf 91 echten TOEFL-Aufsätzen von nicht muttersprachlichen Englischsprechern und 88 Aufsätzen von Achtklässlern aus den USA ein. ZeroGPT stufte 48 Prozent der TOEFL-Aufsätze als KI-generiert ein, gegenüber 0 Prozent der Aufsätze der Achtklässler, also dieselbe Richtung des Fehlers, die jeder Detektor in dieser Studie zeigte, nur in unterschiedlichem Ausmaß.

An dieser Lücke ist nichts spezifisch für ZeroGPT, und nichts daran ist neue Information. Es ist dasselbe Muster der Benachteiligung nicht muttersprachlicher Schreibender, das über die gesamte Detektorbranche hinweg dokumentiert ist und auf TextPulse's eigener Seite darüber, warum KI-Detektoren gegen nicht muttersprachliche Sprecher voreingenommen sind, ausführlicher behandelt wird. Was die Lücke konkret über ein kostenloses Verbraucherwerkzeug zeigt, ist, dass die vom Anbieter selbst offengelegte Einschränkung, Schreiben mit geringer Entropie wirke maschinell erzeugt, nicht hypothetisch ist. Ein peer-reviewter Test hat dies bei genau diesem Produkt Jahre vor dem heutigen FAQ des Unternehmens festgestellt, das den Mechanismus in eigenen Worten benannte.

Kann ein kostenloser Detektorwert irgendetwas über ein einzelnes Dokument beweisen?

Für sich genommen nicht. Ein ZeroGPT-Prozentsatz ist kein Beweis für irgendetwas über ein bestimmtes Dokument, weder in die eine noch in die andere Richtung. Es handelt sich um die Schätzung eines Modells, das auf internen Tests beruht, die das Unternehmen nicht in einer Form veröffentlicht hat, die von Personen außerhalb des Unternehmens überprüft werden könnte, und das auf Texte angewendet wird, deren Länge, Bearbeitungsgeschichte und Genre die Bewertung auf Weisen verändern, die das eigene FAQ des Anbieters bereits anerkennt. Einen einzelnen kostenlosen Wert als Urteil zu behandeln, verlangt von diesem Wert mehr, als das Unternehmen, das ihn ausgibt, für ihn beansprucht.

Wofür ein Score wirklich nützlich ist, ist enger und alltäglicher: ein schneller, kostenloser Überblick darüber, wo ein Entwurf derzeit auf derselben Art statistischer Messung liegt, die auch ein kostenpflichtiges institutionelles Tool ausführt, bevor ihn sonst jemand sieht. TextPulse's kostenlose Tools decken denselben Bereich direkt ab, ohne dass eine Autorin oder ein Autor raten muss, welchem von mehreren kostenlosen Detektoren zuerst zu trauen ist.

Genauigkeitsangaben verschleiern, wen die Fehler treffen und was sie auslöst. Zu wissen, wann a, an und the zu verwenden sind, beseitigt eines der Muster, das eine Markierung auslöst, und was ein falsch positives Ergebnis tatsächlich bedeutet, wird gesondert dargestellt.

Nichts davon macht die Zahl von ZeroGPT bedeutungslos, und nichts davon macht die Zahl für sich allein ausreichend. Ein Score ist eine erste Schätzung, erzeugt durch eine Methode, die das Unternehmen nur in groben Zügen beschreibt und für externe Tests nicht geöffnet hat, bei Texten, deren Genre allein das Ergebnis verschieben kann, bevor irgendjemand etwas falsch gemacht hat. Die beiden Wörter, die auf dieser FAQ-Seite die meiste Information tragen, sind nicht die Prozentzahl. Es sind die Absicherungen direkt daneben: intern und in Richtung. Ein kostenloser Score ist ein Ausgangspunkt für ein Gespräch über einen Entwurf, nicht dessen Schlussplädoyer.

Was unsere eigene Forschung zeigt

In der Detektor-Übereinstimmungsstudie von TextPulse Research bewerteten neun kommerzielle KI-Detektoren dieselben 90 akademischen Texte. Einer davon war ein Hybridtext mit 455 Wörtern: ein von Menschen geschriebener Anfang und Schluss um einen KI-generierten Mittelteil von 168 Wörtern. ZeroGPT bewertete diesen Text mit 7.6% KI, während die Urteile der anderen Tools zu denselben Wörtern von 0% bis 95.7% KI reichten. Das vollständige Paper, das Korpus und die Score-Matrix aller Tools sind frei zugänglich unter TextPulse Research.