Turnitin Ähnlichkeitswert vs. KI-Wert: Zwei verschiedene Berichte

Ein Bericht enthält zwei Zahlen: einen Ähnlichkeitsscore von 3 Prozent und einen AI-Score von 88 Prozent. Die naheliegende Lesart ist, dass beide dasselbe messen müssen, sodass die niedrige Zahl bedeuten sollte, dass auch die hohe Zahl wahrscheinlich falsch ist. So funktioniert es nicht. Turnitin Similarity vs AI Score ist ein Vergleich zwischen zwei getrennten Systemen, die zwei getrennte Dinge prüfen, und eine Einreichung kann bei dem einen niedrig und bei dem anderen hoch ausfallen, ohne dass eine der beiden Zahlen ein Fehler ist.

Es ist älter als das AI-System, entwickelt, um Text zu erfassen, der mit etwas bereits Vorhandenem übereinstimmt. Es ist neuer, in denselben Similarity Report als eigene unabhängige Messung aufgenommen, entwickelt, um abzuschätzen, ob Prosa maschinell erzeugt wirkt, unabhängig davon, ob sie überhaupt mit etwas übereinstimmt. Nach der eigenen Dokumentation von Turnitin sind sie vollständig unabhängig und beeinflussen einander nicht. Alles Weitere in diesem Beitrag.

Turnitin Similarity vs AI Score: Was jede Zahl berichtet

Turnitin behandelt die beiden als unterschiedliche Messungen, die in einem Produkt gebündelt sind, nicht als zwei Ansichten eines Ergebnisses. Der Similarity Report vergleicht eine Einreichung mit einer Datenbank aus Webinhalten, wissenschaftlichen Publikationen und zuvor eingereichten studentischen Arbeiten und gibt den Prozentsatz des Textes der Einreichung zurück, der mit etwas bereits in dieser Datenbank übereinstimmt. Die Erkennung von AI-Schreiben läuft mit einem völlig anderen Modell, das in denselben Bericht als eigener unabhängiger Score aufgenommen wurde, ein Modell, das darauf trainiert ist zu beurteilen, wie stark die Prosa eines Abschnitts maschinell erzeugtem Schreiben ähnelt, ganz ohne Bezug auf eine externe Datenbank. Die ausführlichere Funktionsweise von wie Turnitins AI-Klassifikator zu dieser Zahl gelangt wird gesondert behandelt, entscheidend ist hier, dass er eine andere Frage beantwortet als die Similarity-Engine, die im selben Bericht enthalten ist.

Was der Similarity Score tatsächlich misst

Ähnlichkeit ist eine Zuordnungsaufgabe, kein Urteil. Turnitins eigene Hinweise sind eindeutig, das Tool prüft nicht auf Plagiat. Es prüft auf Übereinstimmungen und überlässt die Interpretation der Lehrperson, die den Bericht liest. Ein korrekt abgesetztes Zitat, eine Formulierung aus dem Methodenteil, die in einem gesamten Teilgebiet geteilt wird, ein Literaturverzeichnis, das so formatiert ist, wie jedes Paper in der Zeitschrift sein Literaturverzeichnis formatiert, all dies kann als Übereinstimmung erscheinen, weil das System überlappende Textfolgen zählt, statt zu beurteilen, ob die Überlappung legitim ist.

Das ist auch der Grund, warum ein Ähnlichkeitswert von null weniger beweist, als es scheint. Er bedeutet, dass die Einreichung keinen langen, zusammenhängenden Textabschnitt enthält, der anderswo in Turnitins indexierten Quellen gefunden wurde. Er sagt nichts darüber aus, wie die vorhandenen Sätze erzeugt wurden, denn einen Satz zu erzeugen, der in keiner Datenbank mit etwas übereinstimmt, ist nicht dieselbe Fähigkeit wie einen Satz zu erzeugen, den ein Sprachmodell nicht vorhergesagt hätte.

Was der AI Score tatsächlich misst

Der AI Score hat keine Datenbank, mit der er abgeglichen wird. Ein Klassifikator liest die eingereichte Prosa und schätzt anhand von Mustern, die er aus Beispielen menschlichen und von AI erzeugten Schreibens gelernt hat, wie wahrscheinlich es ist, dass diese Prosa von einem Modell und nicht von einer Person stammt. An dieser Schätzung hängt nichts davon ab, ob der genaue Satz jemals zuvor irgendwo erschienen ist. Ein Satz kann völlig einzigartig sein, von niemandem vor dieser Einreichung getippt worden sein und dennoch statistisch typisch für AI-Ausgaben wirken, wenn seine Wortwahl und sein Rhythmus dem Muster folgen, das ein Sprachmodell gewöhnlich erzeugt.

Dies ist dasselbe statistische Terrain, das im umfassenderen Überblick über wie AI-Detektoren tatsächlich funktionieren vollständig behandelt wird: Vorhersagbarkeit auf Wortebene und Rhythmus auf Satzebene, zusammengeführt in einem Dokumentwert. Turnitins Version dieses Klassifikators ist proprietär, aber die zugrunde liegende Prämisse, dass erzeugter Text statistisch typischer zu sein pflegt als menschliches Schreiben, ist dieselbe, die unter jedem Tool dieser Kategorie liegt.

	Ähnlichkeitsscore	AI-Score
Was er misst	Wie viel des Textes der Einreichung mit anderen indexierten Dokumenten übereinstimmt	Wie stark die Prosa statistisch typischem, von AI erzeugtem Schreiben ähnelt
Was einen hohen Wert auslöst	Lange Zitate, gängige fachspezifische Formulierungen, wiederverwendetes Material oder eine Übereinstimmung mit einer früheren Einreichung	Ein gleichförmiger Satzrhythmus und durchgehend vorhersehbare Wortwahl im gesamten Dokument
Was ein hoher Wert nicht beweist	Dass der übereinstimmende Text unzulässig verwendet wurde. Korrekt zitierte Materialien können dennoch als Übereinstimmung erfasst werden.	Dass ein einzelner Satz von AI erzeugt wurde. Der Klassifikator liest das Gesamtmuster des Dokuments, nicht eine Zeile isoliert.

Kann ein Paper 0 Prozent Ähnlichkeit und einen 90 Prozent AI-Score haben?

Ja, und die Kombination ist kein Fehler. Die beiden Scores beantworten unterschiedliche Fragen, daher sind alle vier Kombinationen aus hoch und niedrig möglich, und jede von ihnen impliziert etwas anderes darüber, wie der Text entstanden ist.

• Niedrige Ähnlichkeit, niedriger AI-Score: gewöhnliches, originelles Schreiben, das zugleich mit typischer menschlicher Variation lesbar ist. Der häufige Fall bei den meisten echten studentischen Arbeiten.
• Niedrige Ähnlichkeit, hoher AI-Score: originelle Sätze, die von nirgendwo kopiert wurden, aber statistisch vorhersehbar klingen, so wie generierter Text es typischerweise tut. Das Merkmal unredigierten AI-Schreibens, das niemand aus einer vorhandenen Quelle paraphrasiert hat.
• Hohe Ähnlichkeit, niedriger AI-Score: Text, der einer vorhandenen, von Menschen verfassten Quelle eng entspricht, ohne die statistische Gleichförmigkeit, die ein Klassifikator mit Generierung verbindet. Kopierter Text, vom älteren Werkzeug erfasst, nicht vom neueren.
• Hohe Ähnlichkeit, hoher AI-Score: Text, der einer vorhandenen Quelle entspricht, die selbst von AI erzeugt wurde, etwa eine zuvor eingereichte, von AI geschriebene Arbeit oder eine Seite mit von AI erzeugtem Text, die bereits aus dem offenen Web indexiert wurde.

Keine dieser Kombinationen erfordert auf der Softwareseite etwas Ungewöhnliches. Sie ergeben sich aus der Tatsache, dass ein System nach einer Übereinstimmung sucht und das andere nach einem Muster, und ein Text kann entweder eine dieser Eigenschaften tragen, beide oder keine von beiden.

Was ein hoher AI Score beweist und was nicht

Ein hoher AI Score ist eine statistische Schätzung, keine aus dem Text herausgepresste Geständnisaussage. Er besagt, dass die vor dem Klassifikator liegende Prosa in ihrer Wortwahl und ihrem Rhythmus der Art von Schreiben ähnelt, mit der das Modell darauf trainiert wurde, sie mit AI-Generierung zu verbinden. Er identifiziert keinen bestimmten Satz als mit Sicherheit maschinell geschrieben, und er weiß nichts darüber, wie das Dokument tatsächlich erstellt wurde, sondern nur, wie es sich nach seiner Fertigstellung liest. TextPulse vertritt zu seinen eigenen Zahlen dieselbe Position: Was es ausgibt, ist ein geschätzter Human Score, der aus dem vorliegenden Text berechnet wird, kein Urteil darüber, welches Werkzeug, falls überhaupt eines, das Dokument berührt hat.

Die praktische Reaktion auf beide Zahlen, einen niedrigen Similarity Score oder einen hohen AI Score, ist dieselbe: Man sollte sie als Anlass nehmen, genauer hinzusehen, nicht als Befund, den man auf den ersten Blick akzeptieren oder verwerfen sollte. Entwürfe, Notizen und die Versionshistorie belegen, wie ein Dokument tatsächlich geschrieben wurde, auf eine Weise, die ein Prozentsatz auf keinem der beiden Berichte je leisten kann. Wer wissen möchte, worauf ein Klassifikator in seinem eigenen Entwurf tatsächlich reagiert, kann dasselbe Muster auf Wortebene selbst mit einem kostenlosen Perplexity-Checker sehen, lange bevor ein Bericht erzeugt wird.

TextPulse's free tools collection deckt die anderen statistischen Ebenen ab, die man prüfen sollte, bevor ein Entwurf einem Lehrenden auch nur nahekommt, nicht nur die beiden hier verglichenen.

Sobald die beiden Zahlen getrennt betrachtet werden, lautet die nächste Frage was als guter Turnitin Score gilt. Für den anderen Detektor, dem Studierende am häufigsten begegnen, wird wie GPTZero funktioniert auf einer eigenen Seite behandelt.

Die beiden Zahlen werden weiterhin nebeneinander im selben Bericht stehen, und sie werden von Menschen in Eile weiterhin als eine einzige Zahl gelesen werden. Zu wissen, welche Frage jede von ihnen tatsächlich beantwortet, ist das, was ein verwirrendes Paar von Prozentwerten in zwei getrennte, nützliche Informationsstücke verwandelt.