Taux de faux positifs de Turnitin : ce que disent les chiffres

Le taux de faux positifs de Turnitin n’est pas un seul chiffre. L’entreprise en publie deux, une valeur inférieure à 1 pour cent au niveau du document, et une autre plus proche de 4 pour cent au niveau de la phrase. Les deux sont réels, les deux sont publiés, et aucun des deux, pris isolément, ne dit grand-chose sur le mémoire précis qui se trouve devant un professeur précis.

L’écart entre ces deux chiffres, et ce qui se passe une fois que l’un ou l’autre est appliqué à une classe réelle plutôt qu’à un seul document, est ce que cet article examine, ce que Turnitin affirme lui-même, ce que couvrent réellement les deux chiffres, et l’arithmétique qui transforme une fraction de pour cent en un nombre réel d’étudiants.

Quel est le taux de faux positifs de Turnitin, selon Turnitin ?

Au niveau du document, selon les propres mots de l’entreprise, "Our document false positive rate, incorrectly identifying fully human-written text as AI-generated within a document, is less than 1% for documents with 20% or more AI writing." Cette condition compte autant que le chiffre. La valeur inférieure à 1 pour cent n’est pas une affirmation sur chaque mémoire évalué par Turnitin. Elle décrit seulement le sous-ensemble de mémoires qui ont déjà dépassé un seuil de 20 pour cent de texte rédigé par AI dans l’estimation du modèle lui-même.

Au niveau de la phrase, où une interface met en évidence des lignes individuelles plutôt qu’un document entier, le chiffre propre à Turnitin est environ quatre fois plus élevé. "Our sentence-level false positive rate is around 4%," indique l’entreprise. "There is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written." Turnitin ajoute que ces phrases erronées ne se dispersent pas au hasard, 54 percent du temps, une phrase signalée à tort se trouve immédiatement à côté d’un texte réellement rédigé par AI, ce que l’entreprise présente comme une partie de la raison pour laquelle un score au niveau du document tend à être plus fiable qu’une seule ligne mise en évidence.

Le niveau du document et le niveau de la phrase ne correspondent pas à la même affirmation

Cette répartition en deux niveaux correspond à un message révisé, et non à la position initiale de Turnitin. Lors du lancement en avril 2023, l’entreprise a publié un seul chiffre inférieur à 1 %, sans aucune distinction entre document et phrase. Après que des institutions ont commencé à citer ce chiffre et après que la presse spécialisée dans l’éducation a signalé des faux positifs réels plus élevés que prévu, le directeur produit de Turnitin a publié la décomposition utilisée ci-dessus, ainsi que deux modifications du produit apportées en réponse, à savoir le relèvement de la longueur minimale d’un document pouvant être évalué de 150 à 300 mots, et la modification de la manière dont les phrases initiales et finales d’un document sont notées.

Le seuil de 300 mots existe pour une raison liée. Turnitin l’a relevé à partir d’un minimum initial de 150 mots après avoir constaté, selon les propres termes de l’entreprise, que la précision augmente avec davantage de texte. Un devoir court, une réflexion d’une page, un brouillon partiel, une publication de forum, donnent au modèle moins de signal sur lequel s’appuyer que celui sur lequel les chiffres de faux positifs ci-dessus ont été mesurés, ce qui explique en partie pourquoi tout texte en dessous de ce seuil ne reçoit aucun score d’IA, plutôt qu’un score peu fiable.

Niveau	Taux déclaré par Turnitin	Ce que cela couvre réellement
Niveau du document	Inférieur à 1 %	Uniquement les documents déjà signalés à 20 % ou plus comme rédigés par IA, le pourcentage global pour l’ensemble du devoir
Niveau de la phrase	Environ 4 %	Toute phrase individuelle mise en évidence dans le rapport d’écriture par IA, quel que soit le score global du document
En dessous du seuil de 20 % du document	Aucun chiffre affiché	Turnitin affiche un astérisque au lieu d’un pourcentage, marquant le résultat comme moins fiable dans cette plage

L’arithmétique, ce que signifie une fraction de pour cent pour une cohorte réelle

Le calcul a été rendu public lorsque Vanderbilt University a calculé les taux d’erreur associés à la détection par IA de Turnitin en août 2023. Le meilleur exemple de la manière de faire ce calcul est le propre calcul des chiffres de Vanderbilt. Dans un billet de blog consacré à leur décision de désactiver le détecteur d’IA de Turnitin, ils ont noté, "[i]n 2022 we submitted around 75,000 papers to Turnitin, which means that Turnitin's stated 1 percent false positive rate means around 750 student papers could have been incorrectly labeled as having some of it written by AI."

Ce chiffre est la propre extrapolation de Vanderbilt à partir du nombre publié par le fournisseur, appliquée au propre volume de Vanderbilt, et non un résultat mesuré séparément. La logique de l’arithmétique se généralise au-delà de l’effectif d’une seule université. Un taux inférieur à 1 pour cent appliqué à quelques centaines de travaux produit une poignée d’étudiants signalés à tort, facile à négliger. Le même taux appliqué à des dizaines de milliers de travaux, l’échelle qu’une université réelle soumet chaque année, produit des centaines plutôt qu’une poignée, parce qu’un petit pourcentage et une grande population sont multipliés ensemble plutôt qu’examinés isolément.

Rien de tout cela ne prouve que le taux dans le monde réel corresponde exactement au chiffre de laboratoire. Le chief product officer de Turnitin a lui-même reconnu publiquement que les résultats dans le monde réel diffèrent des tests en laboratoire, ce qui explique en partie pourquoi l’entreprise a d’abord révisé sa communication. L’arithmétique ci-dessus traite le chiffre avancé par Turnitin comme une donnée à prendre au sérieux, et non comme un plafond de ce qui se produit réellement une fois qu’un outil évalue des soumissions qui ne ressemblent en rien à un référentiel de référence sélectionné.

Ce que le taux ne couvre pas

Un résultat inférieur au seuil de 20 percent ne reçoit pas un petit pourcentage en annexe. Il reçoit un astérisque à la place d’un nombre, un choix que Turnitin a fait parce que cette plage est celle où l’outil est le moins fiable dans un sens comme dans l’autre, ce que confirment des reportages indépendants de la presse éducative ainsi que la propre présentation de faible confiance de l’entreprise pour cette plage. Une légère révision, un paragraphe corrigé avec de l’aide et le reste rédigé sans assistance, peut ne produire aucun score visible du tout plutôt qu’un petit score, ce qu’il est utile de savoir avant qu’un nombre manquant soit lu soit comme une accusation, soit comme un certificat de bonne conduite. Le guide de TextPulse sur ce qui compte comme un bon score Turnitin couvre ce même seuil du point de vue du lecteur du rapport.

Alors, comment faut-il lire un taux de faux positifs publié ?

Comme un chiffre du fournisseur portant sur une condition plus étroite que celle qu’il semble d’abord décrire, et non comme une affirmation sur le document posé devant un professeur particulier. Turnitin présente sa propre sortie de la même manière, l’entreprise indique clairement que sa technologie de détection de l’écriture par IA ne fournit pas "a determination of misconduct", seulement "data for educators to make an informed decision." Les éléments de preuve plus larges sur la question de savoir si les détecteurs d’IA sont exacts en général confirment la même lecture, un taux publié décrit un point de référence, et non le document en cours d’évaluation.

Les auteurs qui veulent savoir où se situe leur propre brouillon sur le même type de mesure statistique, plutôt que de deviner, peuvent le vérifier directement avec un free perplexity checker avant qu’il n’atteigne le détecteur d’une institution. C’est un usage différent de la technologie que de tenter de contester un score après coup, et c’est le seul cas où un auteur, plutôt qu’un administrateur, voit le nombre en premier.

L’exactitude de ZeroGPT est examinée séparément pour toute personne dont l’institution utilise cet outil à la place. Le groupe sur lequel ces erreurs pèsent le plus lourdement, les auteurs d’anglais non natifs, fait l’objet de sa propre page.

La population la plus exposée à cette arithmétique n’est pas répartie de manière uniforme non plus. Les auteurs anglophones non natifs supportent le risque documenté le plus élevé de se retrouver du mauvais côté de l’un quelconque de ces pourcentages, ce qui correspond exactement au public autour duquel est construite la page de TextPulse pour les rédacteurs universitaires ESL. Turnitin continuera de réviser ces chiffres à mesure qu’il réentraîne son modèle. Ce qui ne changera pas, c’est l’arithmétique elle-même, un taux aussi faible a encore besoin d’une population aussi vaste pour s’y dissoudre, et la plupart des véritables soumissions n’ont pas cette chance.