Kann Turnitin humanisierten KI-Text erkennen?

Turnitin beantwortet diese Frage auf seiner eigenen Support-Seite, und die Antwort ist spezifischer als beide Seiten der üblichen Debatte. Sein KI-Schreibindikator, Turnitin sagt, umfasst bereits die Erkennung von KI-generierten Inhalten, die möglicherweise humanisiert wurden oder durch einen Bypasser geleitet wurden, um der Erkennung zu entgehen. Das ist ein Anbieter, der sein eigenes Produkt beschreibt. Es ist auch der richtige Ausgangspunkt, weil er zeigt, was das Modell nach eigener Aussage abdecken soll.

Kann Turnitin also humanisierten Text erkennen? Die Frage hat eine engere und nützlichere Form. Turnitins Modell sucht nicht nach dem Fingerabdruck eines Humanizers und führt keine Liste von Tools. Es bewertet Prosa Satz für Satz danach, wie stark das Schreiben den statistischen Mustern maschinell erzeugten Textes entspricht, und bildet dann den Durchschnitt dieser Werte über das gesamte Dokument. Ob eine humanisierte Passage weiterhin einen hohen Wert erhält, hängt davon ab, wie stark die Umschreibung dieses Muster verändert hat und wie viel des Dokuments überhaupt umgeschrieben wurde.

Kann Turnitin humanisierten Text erkennen? Was Turnitin behauptet

Die veröffentlichte Position lautet schlicht ja. Auf die Frage, ob es Inhalte erkennen kann, die durch einen Humanizer verarbeitet wurden, heißt es in der Anleitung: "Yes, Turnitin's AI indicator includes detection of AI-generated content that may have been humanized or passed through a bypasser to avoid detection." Auf derselben Seite wird für KI-Paraphrasierungstools dieselbe Antwort gegeben.

Diese Behauptung erscheint nicht als zweite Zahl irgendwo im Bericht. Turnitin fasst sie in den einzelnen Prozentsatz für KI-Schreiben zusammen, und die veröffentlichte Definition dieses Prozentsatzes sagt das direkt: Er umfasst Text, den das Modell als wahrscheinlich von KI erzeugt oder als wahrscheinlich von KI erzeugt und dann von einem KI-Paraphrasierer oder Bypasser verändert eingestuft hat. Es gibt einen Wert, und er berücksichtigt die Umschreibung bereits so weit, wie das Modell dazu in der Lage ist.

Lesen Sie sorgfältig, das ist eine Aussage über die Abdeckung und nicht eine Aussage über die Genauigkeit. Turnitin sagt, dass humanisierter Text beim Aufbau des Modells im Geltungsbereich lag. Es geht bei Weitem nicht so weit zu sagen, dass jedes humanisierte Dokument hohe Werte erzielt, und die eigenen veröffentlichten Zahlen weiter unten beschreiben ein Modell, das einzelne Sätze als unsicher behandelt.

Was der AI Writing Indicator tatsächlich bewertet

Es ist kein Prozentsatz. Es ist ein Bruchteil des Textes, also kein Vertrauenswert. Es ist ein Maß dafür, wie viel Text innerhalb Ihres Dokuments unser Modell für wahrscheinlich von AI generiert hält. Wir nennen das qualifizierten Text, womit Prosa-Sätze in einem Langform-Schreibformat gemeint sind. Aufzählungen, Code, Tabellen oder kurze Fragmente sind nicht enthalten. Deshalb können Sie für dieselbe Arbeit unterschiedliche Zahlen sehen, je nachdem, wie viel davon fortlaufende Prosa ist.

Der zugrunde liegende Mechanismus ist einfach genug, um ihn sich vorzustellen. Turnitin teilt ein Dokument in überlappende Segmente von ungefähr einigen hundert Wörtern, etwa fünf bis zehn Sätzen pro Segment, die so überlappen, dass jeder Satz im Kontext bewertet wird. Jeder Satz erhält einen Wert zwischen 0 und 1. Die Segmentwerte werden dann über das gesamte Dokument gemittelt, um die eine Zahl zu erzeugen, die eine Lehrkraft sieht. Eine schrittweise Darstellung von wie Turnitin AI erkennt geht jeden Abschnitt ausführlicher durch.

Dieser Mittelungsschritt ist für humanisierten Text wichtiger als alles andere in der Pipeline, und er ist der Teil, den fast niemand berücksichtigt. Die Zahl, die eine Lehrkraft liest, ist ein arithmetischer Mittelwert der Urteile auf Segmentebene. Ein Dokument kann zur Hälfte umgeschrieben sein und aus Gründen, die wenig mit der Qualität der Überarbeitung zu tun haben, irgendwo im Mittelfeld landen.

Warum humanisierte Ausgaben manchmal dennoch hohe Werte erzielen

Der häufigste Grund ist die Abdeckung. Ein Humanizer, der auf Einleitung und Schluss angewendet wird, lässt den Literaturüberblick und die Diskussion unberührt, und diese Abschnitte gehen mit ihren ursprünglichen Werten direkt in den Durchschnitt ein. In einem langen Kapitel verändert das Umschreiben der ersten Seiten nur einige wenige Segmente und lässt den Rest genau so, wie er war, was eine geringere Verschiebung erzeugt, als die Autorin oder der Autor von einer als erheblich empfundenen Überarbeitung erwartet.

Der zweite Grund ist die Tiefe der Überarbeitung. Ein Durchgang, der Vokabular ersetzt, während Satzlängen, Satzgliedreihenfolge und Übergangswahl beibehalten werden, lässt das Muster, auf das der Klassifikator trainiert wurde, weitgehend intakt. Das Modell bewertet die Form der Prosa, daher bewirkt das Ändern der Wörter, die diese Form ausfüllen, weniger, als die meisten Menschen annehmen. Ein free perplexity checker zeigt, wie vorhersehbar ein Abschnitt nach einer Überarbeitung noch liest, was ein aussagekräftigeres Signal ist als ein Wort-für-Wort-Vergleich von vorher und nachher.

Der dritte Grund ist, dass eine Überarbeitung ihre eigene Regelmäßigkeit einführen kann. Eine Software, die auf jeden Absatz dieselbe Transformation anwendet, erzeugt ein neues Muster, das ebenso regelmäßig ist wie das alte. Wenn jeder Satz denselben Typ von Satzverbindung durch sich hindurch hat, oder wenn jedem Satz dieselbe Art von Abschwächungsklausel an derselben Stelle hinzugefügt wird, werden diese Sätze von einem Klassifikator als ebenso gleichmäßig wahrgenommen, wie sie es gewesen wären, wenn sie von Anfang an alle gleich lang gewesen wären.

Situation	Was der AI-Score tut	Warum
Nur ein Teil des Dokuments wurde umgeschrieben	Fällt weniger stark als erwartet	Unveränderte Segmente gehen mit ihren ursprünglichen Werten in den Durchschnitt ein
Wortschatz geändert, Satzstruktur beibehalten	Verändert sich nur sehr wenig	Der Klassifikator bewertet Muster auf Satzebene, die der Austausch unverändert gelassen hat
Sätze im gesamten Text tatsächlich umstrukturiert	Verändert sich stärker	Der gleichförmige Rhythmus, den das Modell darauf trainiert wurde zu erkennen, wird unterbrochen
Weniger als 300 Wörter Prosa eingereicht	Es wird überhaupt kein Score erzeugt	Turnitin verlangt 300 Wörter qualifizierender Prosa, bevor es einen Prozentsatz ausgibt
Ergebnis liegt unter 20 Prozent	Ein Sternchen statt einer Zahl	Turnitin kennzeichnet Ergebnisse in diesem Bereich als weniger zuverlässig

Warum dieselbe Überarbeitung manchmal einen niedrigen Score erzeugt

Ein humanisiertes Dokument kann aus Gründen, die nichts mit der Überarbeitung zu tun haben, mit einem niedrigen Score zurückkommen. Turnitin benötigt mindestens 300 Wörter qualifizierender Prosa, bevor überhaupt ein AI-Prozentsatz erzeugt wird, eine Untergrenze, die es von ursprünglich 150 Wörtern aus den angegebenen Gründen angehoben hat, dass die Genauigkeit mit etwas mehr Text steigt. Ein kurzer reflektierender Text erzeugt keine Zahl, und ein fehlender Score ist nicht dasselbe wie ein sauberer.

Turnitin kennzeichnet einen Bereich unter 20 Prozent mit einem Sternchen, statt einen genauen Prozentsatz anzugeben, weil es in diesem Bereich eine höhere Häufigkeit von falsch positiven Ergebnissen gibt. Zum Zeitpunkt der Einführung wurde dieses Verhalten auch in der Bildungsberichterstattung erwähnt, wobei gesagt wurde, dass Ergebnisse, die als weniger als 20 Prozent AI-generiert gemeldet wurden, eine höhere Häufigkeit von falsch positiven Ergebnissen aufwiesen und Turnitin daher Hinweise hinzufügte. Ein Dokument, das in diesem Bereich liegt, wurde als ein Bereich markiert, den Turnitin nicht genau angibt, was etwas anderes ist als freigegeben zu sein.

Es gibt darüber hinaus eine institutionelle Schranke über allem. Turnitin verarbeitet eine Einreichung zur Erkennung von KI-Schreiben nur dann, wenn die Institution die Funktion aktiviert hat, und Administratoren können sie kontoweit deaktivieren. Die Vanderbilt University tat genau das im August 2023 und verwies dabei auf die damals veröffentlichte Falsch-Positiv-Rate von 1 Prozent von Turnitin bei ungefähr 75,000 jährlichen Einreichungen, auf eine Verzerrung gegen nicht muttersprachliche englische Schreibende und auf einen Mangel an Transparenz darüber, wie das Modell funktioniert. Ein Student an einer Institution mit deaktivierter Funktion erhält für keine Einreichung einen KI-Score, unabhängig davon, ob sie humanisiert ist oder nicht.

Und wo die Umformulierung tatsächlich strukturell war, kann der Score sinken, weil sich das gemessene Muster verändert hat. Turnitin berichtet eine Schätzung, die aus Schreibmustern berechnet wird, daher wird Text mit abweichenden Mustern anders bewertet. Der Mechanismus wirkt in beide Richtungen, und genau das ist der unangenehme Teil, originale menschliche Texte erzielen mitunter aus genau demselben Grund hohe Werte.

Was jeder Anbieter von Humanizern behauptet und was dokumentiert ist

Eine Regel bestimmt die Tabelle. Die mittlere Spalte enthält die eigene Marketingsprache des Anbieters, übernommen von der eigenen Website, sofern diese eine solche Formulierung bietet. Die rechte Spalte hält fest, was tatsächlich hinter jeder Behauptung steht, was in den meisten Fällen überhaupt kein Datensatz, kein Datum und keine Methode ist. Es gibt keinen öffentlichen direkten Vergleichstest für diese Marken.

Marke	Was der Anbieter behauptet	Was dokumentiert ist
Undetectable.ai	Führt das Bestehen von AI-Detektoren als Produktmerkmal ohne zugehörige Zahl auf und bietet an, die Kosten der Humanisierung zu erstatten, wenn die Ausgabe als nicht menschlich eingestuft wird	Die Erstattung ist eine kommerzielle Bedingung, es gibt keinen Datensatz, kein Datum und kein detektorbezogenes Ergebnis, das die Behauptung stützt
QuillBot	Erhebt auf seinen eigenen Seiten für die Humanizer-Funktion keinen Erkennungs- oder Umgehungsanspruch. Der separate AI-Detektor wird nur als Werkzeug zur Erkennung von AI-generierten Inhalten beschrieben	QuillBot verkauft den Humanizer innerhalb einer allgemeinen Schreibsuite und erhebt dafür keinen Turnitin-spezifischen Anspruch
WriteHuman	Auf einem Humanizer-Leaderboard auf Platz eins geführt und als der Premium-AI-Humanizer für ernsthaftes Schreiben beschrieben	Das Leaderboard nennt keine Methodik und keine Stichprobe, und WriteHuman fügt der Platzierung keine numerische Genauigkeitszahl hinzu
Walter Writes AI	Vermarktet breite Humanisierung in über 80 Sprachen ohne einen Turnitin-spezifischen Anspruch	Keine Testdaten in die eine oder andere Richtung
HIX Bypass	Vermarktet Umgehungsseiten für einzelne Detektoren ohne eine Turnitin-spezifische Zahl	HIX Bypass und BypassGPT sind getrennte Produkte auf getrennten Domains, daher sollte bestätigt werden, welches Produkt eine Behauptung beschreibt
StealthGPT	Ein durchschnittlicher Humanwert von 98% auf Turnitin und 95% auf GPTZero, jeweils aus einem angegebenen Lauf von 30 Stichproben ohne Erkennungen, plus Geld-zurück-Garantie, wenn ein Abonnent erkannt wird	Selbst berichtet. Neben den Zahlen werden kein Datensatz, keine Stichprobenauswahl, kein Datum und keine Methode veröffentlicht, und 30 Dokumente sind ein kleiner Lauf für eine Behauptung über ein Modell, das Millionen von Einreichungen bewertet
Phrasly	Positioniert sich als Entferner von AI-Erkennung, veröffentlicht jedoch keine Testdaten	Keine öffentliche Behauptung in die eine oder andere Richtung. In Rezensionen kursierende Zahlen sind zweiter Hand und werden hier aus Prinzip ausgeschlossen
Grammarly	Vermarktet sein Umschreiben überhaupt nicht als Umgehung von Erkennung. Die Seite des AI-Detektors behauptet eine Erkennungsgenauigkeit von 99% und eine Platzierung auf Rang eins im unabhängigen Benchmark von RAID	Dieselbe Grammarly-Seite erklärt, dass kein AI-Detektor zu 100% genau ist. Die Authorship-Funktion kennzeichnet Text als von einem Menschen getippt, mit AI erstellt oder mit Grammarly bearbeitet
TextPulse	Eine Bestehensrate von 92.33% bei Turnitin AI, 89.12% bei Originality.ai und 87.91% bei GPTZero, gemessen an einem akademischen Korpus mit 2,000 Dokumenten	Von TextPulse gemessen und veröffentlicht, also wie jede Zahl darüber selbst berichtet. Die Korpusgröße und die Detektoren werden genannt, für kein einzelnes Dokument wird ein bestimmtes Detektorergebnis versprochen

Drei Dinge ergeben sich aus dieser Tabelle. Die meisten dieser Tools veröffentlichen überhaupt keine Detektorbehauptung, die überprüft werden könnte. Einige verbinden eine Stichprobengröße mit einer Zahl, was mehr ist, als der Rest der Kategorie vorzuweisen hat. Und keines von ihnen veröffentlicht einen Datensatz, den jemand außerhalb des Unternehmens selbst ausführen könnte. Anerkennung, wo jede Marke sie verdient, allerdings. Undetectable.ai stellt hinter seine Behauptung eine Rückerstattung, was eine konkrete Verpflichtung und nicht nur ein Adjektiv ist. WriteHuman veröffentlicht exakte Anfragen und Wortobergrenzen pro Tarif, sodass ein Käufer weiß, was er erhält. Grammarly qualifiziert seine eigene Genauigkeitszahl auf derselben Seite, auf der sie genannt wird, was mehr ist, als die meisten Detektor-Anbieter tun. Und dass QuillBot es ablehnt, überhaupt eine Bypass-Behauptung aufzustellen, ist die am besten vertretbare Position auf der Liste.

Warum niemand außerhalb des Anbieters diese Zahlen überprüfen kann

Ein Anbieter von Humanizern, der eine Turnitin-Bestehensrate behauptet, beschreibt Durchläufe über ein Konto, das er kontrolliert, auf von ihm ausgewählten Dokumenten, an einem Datum, das er gewöhnlich nicht angibt, gegen einen Klassifikator, den Turnitin überarbeitet, sobald neue Sprachmodelle erscheinen. Das gilt für die Dreißig-Stichproben-Zahl von StealthGPT und ebenso für die Zahl von 2.000 Dokumenten, die diese Website veröffentlicht. Die Größe des Korpus verändert, wie viel Rauschen in einer Zahl steckt. Sie macht aus einer Selbstauskunft kein Audit.

Die andere Hälfte des Problems ist, dass Turnitins eigene Liste der Modelle, die es nach eigener Aussage erkennt, mit neuen Veröffentlichungen bearbeitet wird. Diese Bestehensrate, gemessen am Klassifikator des letzten Quartals, beschreibt den Klassifikator des letzten Quartals und sonst nichts. Warum das bedeutet, dass niemand einen besten AI Humanizer zum Umgehen von Turnitin benennen kann, wird gesondert dargelegt. Jede Zahl auf jeder Startseite eines Humanizers, einschließlich dieser Website, ist eine Momentaufnahme, die ein Datum trägt, das der Anbieter möglicherweise nie veröffentlicht hat.

Wie man eine Bypass-Behauptung liest, bevor man dafür bezahlt

Vier Fragen trennen eine Behauptung, die es wert ist, abgewogen zu werden, von einer Behauptung, die man ignorieren sollte, und sie gelten für jede Zeile in der obigen Tabelle, einschließlich der letzten.

• Wie viele Dokumente wurden getestet, und wer hat sie ausgewählt? Ein Prozentsatz ohne Stichprobengröße ist ein Slogan mit einer Zahl.
• An welchem Datum, und gegen welche Detektorversion? Erkennungsmodelle werden überarbeitet, wenn neue Sprachmodelle veröffentlicht werden, und eine undatierte Trefferquote veraltet schnell.
• Ist die Garantie eine Rückerstattung oder ein Ergebnis? Ein Geld-zurück-Versprechen verlagert ein kleines finanzielles Risiko und ändert überhaupt nichts an einem Gremium für akademische Integrität.
• Was sagt der Anbieter dazu, was mit einem Zitat, einem Fachbegriff oder einem Blockzitat geschieht? Die meisten Seiten zu Humanizern sagen dazu nichts, und genau das ist bereits eine Antwort.

Diese letzte Frage entscheidet für alle, die akademische Arbeiten einreichen, über mehr als die Arithmetik des Detektors. Eine Überarbeitung, die gut bewertet wird und einen Methodensatz stillschweigend verallgemeinert, hat Ihnen genau das gekostet, woran Sie gemessen wurden. TextPulse's akademischer Humanizer dokumentiert die Erhaltung von Zitaten in APA, MLA, IEEE, Chicago, Harvard und Vancouver, friert Begriffe ein, um die genaue Wortwahl vor einem Lauf zu sichern, und trainiert auf begutachtetem akademischem Text mit einer Ausgabe, die auf Flesch-Kincaid Stufe 13 bis 18 gehalten wird. Das sind Behauptungen darüber, was mit dem Text geschieht, und das ist eine andere Art von Behauptung als ein Prozentsatz über einen Detektor, und eine Leserin oder ein Leser kann sie innerhalb einer Minute an der Ausgabe überprüfen.

Was die Punktzahl für Studierende in jedem Fall bedeutet

Turnitin stellt klar, dass der Indikator für KI-Schreiben kein Befund von Fehlverhalten ist. Auf der Produktseite von Turnitin heißt es ausdrücklich, dass Turnitin Originality "does not make a determination of misconduct through our AI writing detection (or similarity checking) technology." Außerdem wird klargestellt, dass Turnitin Informationen bereitstellt, damit Lehrkräfte auf Grundlage der Richtlinien ihrer Einrichtung eine informierte Entscheidung treffen können. Dies wird durch den Hinweis bekräftigt, dass das Modell "may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."

Studierende sehen die Punktzahl standardmäßig nicht. Turnitin erklärt ausdrücklich, dass der Indikator und der Bericht zur Erkennung von KI-Text nicht für Studierende sichtbar sind, und der einzige Weg, einen davon zu sehen, besteht darin, dass eine Lehrperson den Bericht als PDF herunterlädt und weitergibt. Wenn eine Studentin oder ein Student den eigenen Entwurf prüft, wird ein anderes Werkzeug geprüft, das mit anderen Daten trainiert wurde, und die beiden Zahlen sind nicht verpflichtet, übereinzustimmen.

Damit bleibt der Teil, den keine Punktzahl entscheidet. Ob KI-Unterstützung überhaupt erlaubt war, ist eine Frage des Kurses und der Institution, und eine AI use policy beantwortet sie auf eine Weise, die ein Prozentsatz nie leistet. Eine hohe Punktzahl bei erlaubter, offengelegter Nutzung ist ein Gespräch mit Belegen im Hintergrund. Eine niedrige Punktzahl bei nicht offengelegter Nutzung, die die Richtlinie verbietet, ist weiterhin nicht offengelegte Nutzung.

Für eine Person, die ihren eigenen Entwurf überarbeitet, ist die praktische Lesart all dessen, dass die Punktzahl dem Schreiben folgt. Das Modell von Turnitin misst Satzmuster über ein ganzes Dokument hinweg, daher erzeugen teilweise Überarbeitungen nur teilweise Veränderungen und Änderungen auf der Ebene des Wortschatzes überhaupt nur sehr geringe Veränderungen. Die vollständige Anleitung zu how to humanize AI text arbeitet die strukturellen Änderungen durch, die das Muster verändern, in der Reihenfolge, die es am stärksten verschiebt.

Der AI humanizer von TextPulse wendet diese strukturellen Änderungen auf ein ganzes Dokument auf einmal an und gibt einen geschätzten Human Score aus, der aus dem Text selbst berechnet wird, niemals eine Vorhersage darüber, was ein benannter Detektor sagen wird. Kein Werkzeug kann ein Turnitin-Ergebnis versprechen, weil kein Werkzeug in das Modell von Turnitin hineinsehen kann. Jedes Produkt, das etwas anderes behauptet, beschreibt ein Ergebnis, das es nicht beobachten kann.

Die Unterscheidung zwischen einem Humanizer und einem Paraphraser ist hier wichtig, ebenso wie der Grund, warum paraphrasierter Text dennoch markiert wird.

Die Zahl ist der am wenigsten interessante Teil davon. Was das Ergebnis entscheidet, sind die zwanzig Minuten, nachdem eine Lehrkraft es angesehen hat: ob die Arbeit ihre Herleitung zeigen kann, eine Entwurfsgeschichte, eine Reihe von Notizen, Quellen, über die die Verfasserin oder der Verfasser sprechen kann, ohne sie zu öffnen. Diese Belege stehen jeder Person zur Verfügung, die die Arbeit geleistet hat, und sie überdauern eine Bewertung, die eine Überarbeitung nicht verändern konnte.