Score de similarité Turnitin vs score IA : deux rapports différents

Un rapport arrive avec deux chiffres, un score de similarité de 3 pour cent et un score d’IA de 88 pour cent. La lecture naturelle est qu’ils doivent mesurer la même chose, donc le chiffre faible devrait signifier que le chiffre élevé est probablement faux lui aussi. Ce n’est pas ainsi que cela fonctionne. Turnitin similarity vs AI score est une comparaison entre deux systèmes distincts qui vérifient deux choses distinctes, et une soumission peut obtenir un score faible sur l’un et élevé sur l’autre sans que l’un ou l’autre chiffre soit une erreur.

Il est plus ancien que celui de l’IA, conçu pour repérer un texte correspondant à quelque chose qui existe déjà. Il est plus récent, ajouté au même Similarity Report comme sa propre mesure indépendante, conçu pour estimer si une prose ressemble à un texte généré par machine, qu’elle corresponde ou non à quoi que ce soit. Ils sont complètement indépendants et n’ont aucune influence l’un sur l’autre, selon la propre documentation de Turnitin. Tout le reste dans ce texte.

Turnitin Similarity vs AI Score: Ce que chaque chiffre indique

Turnitin traite les deux comme des mesures différentes regroupées dans un seul produit plutôt que comme deux vues d’un même résultat. Le Similarity Report compare une soumission à une base de données de contenus web, de publications universitaires et de travaux d’étudiants déjà soumis, puis renvoie le pourcentage du texte de la soumission qui correspond à quelque chose déjà présent dans cette base de données. La détection de l’écriture par IA utilise un modèle entièrement différent, ajouté à ce même rapport comme son propre score indépendant, un modèle entraîné pour juger à quel point la prose d’un passage ressemble à une écriture générée par machine, sans aucune référence à une base de données externe. Les mécanismes plus complets de la manière dont le classificateur d’IA de Turnitin parvient à ce chiffre sont traités séparément, ce qui importe ici est qu’il répond à une question différente de celle du moteur de similarité situé dans le même rapport.

Ce que le score de similarité mesure réellement

La similarité est un exercice de correspondance, non un jugement. Les propres indications de Turnitin sont explicites, l’outil ne vérifie pas le plagiat. Il vérifie les recoupements et laisse l’interprétation à l’enseignant qui lit le rapport. Une citation correctement mise en retrait, une formule de section méthodologique partagée par tout un sous-domaine, une liste de références formatée de la même manière que chaque article du journal formate sa liste de références, tout cela peut être signalé comme une correspondance, parce que le système compte les chaînes de texte qui se recoupent plutôt que de juger si le recoupement est légitime.

C’est aussi pourquoi un score de similarité de zéro prouve moins qu’il n’y paraît. Cela signifie que le dépôt ne contient aucun long passage continu de texte trouvé ailleurs dans les sources indexées de Turnitin. Cela ne dit rien sur la manière dont les phrases qui s’y trouvent ont été produites, car produire une phrase qui ne correspond à rien dans une base de données n’est pas la même compétence que produire une phrase qu’un modèle de langage n’aurait pas prédite.

Ce que mesure réellement le score d’IA

Le score d’IA n’a aucune base de données à laquelle se comparer. Un classificateur lit la prose soumise et estime, à partir de schémas qu’il a appris à partir d’exemples d’écriture humaine et d’écriture générée par IA, quelle est la probabilité que cette prose provienne d’un modèle plutôt que d’une personne. Rien dans cette estimation ne dépend du fait que la phrase exacte soit déjà apparue quelque part auparavant. Une phrase peut être entièrement unique, n’avoir jamais été tapée par qui que ce soit avant ce dépôt, et pourtant être lue comme statistiquement typique d’une production d’IA si ses choix lexicaux et son rythme suivent le schéma qu’un modèle de langage tend à produire.

C’est le même territoire statistique que celui couvert en détail dans l’analyse plus large de comment les détecteurs d’IA fonctionnent réellement, la prévisibilité au niveau des mots et le rythme au niveau des phrases, réunis en un seul score de document. La version de ce classificateur par Turnitin est propriétaire, mais le principe sous-jacent, à savoir que le texte généré tend à être plus statistiquement typique que l’écriture humaine, est le même qui sous-tend chaque outil de cette catégorie.

	Score de similarité	Score IA
Ce qu’il mesure	La part du texte du devoir qui correspond à d’autres documents indexés	À quel point la prose ressemble à une écriture générée par IA statistiquement typique
Ce qui déclenche un nombre élevé	De longues citations, des formulations courantes propres au domaine, du contenu réutilisé, ou une correspondance avec un devoir antérieur	Un rythme de phrase uniforme et des choix de mots constamment prévisibles dans l’ensemble du document
Ce qu’un nombre élevé ne prouve pas	Que le texte correspondant a été utilisé de manière inappropriée. Un contenu correctement cité peut tout de même être signalé comme correspondance.	Qu’une phrase isolée a été générée par IA. Le classificateur lit le schéma global du document, et non une ligne prise isolément.

Un article peut-il avoir 0 Percent de similarité et un score IA de 90 Percent ?

Oui, et cette combinaison n’est pas un dysfonctionnement. Les deux scores répondent à des questions différentes, donc les quatre combinaisons de valeurs élevées et faibles sont possibles, et chacune implique quelque chose de différent sur la manière dont le texte a été produit.

• Faible similarité, faible score IA, une écriture originale ordinaire qui se lit aussi avec la variation humaine typique. Le cas courant pour la plupart des travaux étudiants authentiques.
• Faible similarité, score IA élevé, des phrases originales, non copiées de nulle part, qui se lisent comme statistiquement prévisibles, de la manière dont le texte généré tend à le faire. La signature d’une écriture IA non éditée, que personne n’a paraphrasée à partir d’une source existante.
• Forte similarité, faible score IA, un texte correspondant de près à une source existante rédigée par un humain, sans la platitude statistique qu’un classificateur associe à la génération. Du texte copié, repéré par l’ancien outil plutôt que par le plus récent.
• Forte similarité, score IA élevé, un texte correspondant à une source existante qui était elle-même générée par IA, par exemple un devoir rédigé par IA déjà soumis auparavant ou une page de texte produit par IA déjà indexée depuis le web ouvert.

Aucune de ces combinaisons ne requiert quoi que ce soit d’inhabituel du côté du logiciel. Elles découlent du fait qu’un système vérifie une correspondance et que l’autre vérifie un motif, et qu’un morceau de texte peut porter l’une ou l’autre propriété, les deux, ou aucune des deux.

Ce qu’un score IA élevé prouve, et ne prouve pas

Un score IA élevé est une estimation statistique, non un aveu extrait du texte. Il indique que la prose devant le classificateur ressemble, par ses choix lexicaux et son rythme, au type d’écriture que le modèle a été entraîné à associer à la génération par IA. Il n’identifie pas une phrase précise comme étant certainement écrite par une machine, et il ne sait rien de la manière dont le document a été réellement produit, seulement de la façon dont il se lit une fois achevé. TextPulse adopte la même position à propos de ses propres chiffres, ce qu’il indique est un Human Score estimé calculé à partir du texte devant lui, et non un verdict sur l’outil, s’il y en a un, qui a touché le document.

La réponse pratique à l’un ou l’autre chiffre, un score de similarité faible ou un score IA élevé, est la même, le considérer comme une raison d’examiner plus attentivement, et non comme un constat à accepter ou à écarter d’un coup d’œil. Les brouillons, les notes et l’historique des versions disent comment un document a réellement été rédigé d’une manière qu’un pourcentage ne peut jamais dire, dans l’un ou l’autre rapport. Quiconque souhaite savoir à quoi un classificateur réagit réellement dans son propre brouillon peut voir le même motif au niveau des mots par lui-même avec un free perplexity checker, bien avant qu’un rapport ne soit généré.

La collection d’outils gratuits de TextPulse couvre les autres couches statistiques qu’il vaut la peine de vérifier avant qu’un brouillon n’arrive entre les mains d’un enseignant, et pas seulement les deux comparées ici.

Une fois les deux chiffres séparés, la question suivante est ce qui compte comme un bon score Turnitin. Pour l’autre détecteur que les étudiants rencontrent le plus souvent, comment GPTZero fonctionne est traité sur sa propre page.

Les deux chiffres continueront à figurer côte à côte dans le même rapport, et ils continueront à être lus comme un seul chiffre par des personnes pressées. Savoir à quelle question chacun répond réellement est ce qui transforme une paire de pourcentages confuse en deux informations distinctes et utiles.