Les détecteurs d'IA sont-ils exacts ? Faux positifs et biais

Turnitin affirme que son taux de faux positifs est inférieur à 1%. Un groupe de chercheurs indépendants a testé plusieurs détecteurs sur une gamme plus large d’échantillons d’écriture provenant de locuteurs non natifs de l’anglais. Ils ont constaté que le taux moyen de faux positifs dépassait 60% pour ce même type d’écriture. Les deux chiffres sont réels, les deux ont été publiés, et les deux concernent des détecteurs vendus sur le même marché. Les détecteurs d’IA sont-ils précis ? Cela dépend de la population que vous avez testée, du détecteur que vous avez utilisé, et de la manière dont votre fournisseur l’a défini au départ.

Ce billet ne réexpliquera pas comment un détecteur calcule ce score. Le mécanisme, la perplexité, la probabilité des jetons, la manière dont le classifieur est entraîné, est présenté en détail ailleurs, et il vaut la peine de le lire d’abord si ce n’est pas déjà fait. Ce qui importe ici, c’est ce qui se passe une fois que le score existe, à quelle fréquence il est erroné, à propos de quelle écriture il est le plus souvent erroné, et ce qu’une fausse accusation coûte réellement à quelqu’un qui n’a rien fait de mal.

Les détecteurs d’IA sont-ils précis ?

Pas de manière constante, et l’écart entre les affirmations marketing et les tests indépendants est bien documenté. Un groupe de chercheurs dirigé par Debora Weber-Wulff a publié ses résultats sur 14 outils de détection, dont 12 gratuits et deux commerciaux, qui ont été testés sur un mélange de textes humains et de ChatGPT en 2023. Ils ont constaté qu’aucun de ces outils n’est précis ou fiable, avec un biais intégré qui les pousse à étiqueter le texte machine comme humain plutôt que l’inverse. Deux des outils commerciaux inclus dans ce test étaient Turnitin et PlagiarismCheck. Tous les outils de ce test ont obtenu de moins bons résultats lorsque le texte était paraphrasé.

Mais deux ans plus tard, les choses ne stagnent pas. Un livre blanc de la Booth School de l'Université de Chicago, rédigé par Brian Jabarian et Alex Imas, a soumis trois nouveaux venus, Pangram, GPTZero et Originality.ai, ainsi qu'un concurrent open source, à l'épreuve avec près de 2.000 textes rédigés par des humains, issus de blogs, d'actualités, de critiques et de fiction. Dans des conditions de test contrôlées, le meilleur outil du groupe n'est jamais descendu en dessous de 99.8 percent de précision et a maintenu son taux de faux positifs à un niveau faible. Le modèle open source a fait aussi bien qu'un répondant au hasard. Les choses se sont vraiment améliorées. En quelque sorte. Un peu.

Mais le piège tient au mot contrôlées. Les passages de référence sont propres, complets et produits dans des conditions connues. Un essai soumis n'est jamais de ces choses de manière fiable. Les résultats dans le monde réel peuvent ne pas être identiques aux résultats de laboratoire, comme le directeur produit de Turnitin l'a lui-même dit publiquement, même si c'est un aveu rare et utile de la part d'un fournisseur. La section suivante place les chiffres du fournisseur à côté de ceux de l'étude indépendante afin que l'écart soit visible plutôt qu'affirmé.

Les affirmations des fournisseurs face aux tests indépendants

Le tableau ci-dessous met en regard ce que quatre détecteurs affirment à leur propre sujet et ce que des chercheurs indépendants ont mesuré lorsqu'ils ont testé directement les outils. Lisez ensemble les deux colonnes du milieu, et non la seule colonne du fournisseur.

Détecteur	Précision revendiquée par le fournisseur	Observée indépendamment	Ce que le fournisseur dit à propos des faux positifs
Turnitin	Seuil de confiance de 98% avant signalement, moins de 1% de faux positifs au niveau du document	Environ 80% de précision, le meilleur des 12 outils dans une comparaison de 2023, sur une version antérieure de l'outil	Moins de 1% au niveau du document au-dessus d'un seuil de 20% de texte rédigé par IA, environ 4% au niveau de la phrase
GPTZero	95.7% de détection de texte IA avec un taux de faux positifs de 1% sur le benchmark indépendant RAID	96% de précision sur de courts passages, taux de faux positifs inférieur à 1% dans une étude de 2025 de la University of Chicago Booth	Indique un taux de faux positifs de 1% sur le benchmark RAID
Originality.ai	99% de précision, taux de faux positifs de 0.5% (modèle Lite), 1.5% (modèle Turbo)	Taux de faux positifs inférieur à 1%, mais 10% à 40% de texte rédigé par IA non détecté dans la même étude Booth	Publie des chiffres distincts de faux positifs selon le niveau de modèle
Pangram	Taux d'erreur qu'il dit être plus de 38 fois inférieurs à ceux des outils concurrents, affirme n'avoir aucun biais contre les auteurs non natifs de l'anglais	Précision jamais inférieure à 99.8%, taux de faux positifs proche de zéro, dans l'étude Booth	Affirme des taux de faux positifs proches de zéro sur 10 domaines textuels et 8 modèles de langage

Deux points ressortent. Premièrement, tous les chiffres des fournisseurs proviennent d'un laboratoire contrôlé par le fournisseur, et les chiffres de Booth proviennent de chercheurs qui n'ont rien à vendre. Deuxièmement, Turnitin n'apparaît pas du tout dans cette colonne centrale, car l'étude de 2025 ne l'a pas testé. Dans le tableau, son chiffre indépendant repose sur une comparaison antérieure de 2023, mais celle-ci a été réalisée sur une version plus ancienne de l'outil, il faut donc garder cela à l'esprit lorsque vous examinez le tableau comme une comparaison à périmètre constant.

Quelle est la précision de la détection IA de Turnitin ?

Turnitin ne publie pas un seul chiffre de précision. Il publie plutôt un seuil et un compromis. L’entreprise a déclaré qu’elle ne signale un document que lorsqu’elle est confiante à 98 percent que la partie signalée est rédigée par IA, et que ce seuil est ce qui maintient le taux de faux positifs au niveau du document en dessous de 1 percent. Turnitin a estimé qu’il détecte environ 85 percent des textes aidés par IA, laissant passer le reste délibérément plutôt que de risquer une accusation erronée.

Le pourcentage réel de faux positifs que Turnitin renvoie au niveau de la phrase, là où une interface met en évidence des lignes précises plutôt qu’un document entier, est en réalité plus proche de 4 percent. C’est le chiffre qu’il faut connaître si un professeur fait une capture d’écran d’un seul paragraphe signalé plutôt que d’un score pour l’ensemble du document, car une phrase mise en évidence comporte une probabilité sensiblement plus élevée d’être erronée que le score du document à côté.

Il convient aussi de noter que Turnitin a reconnu directement cet écart. Ils ont constaté que leurs premiers résultats en conditions réelles, en particulier pour les documents plus courts, présentaient des taux de faux positifs plus élevés que ce qui était attendu d’après leurs tests en laboratoire. Ils ont donc ajusté la longueur minimale du document à partir de laquelle un score est attribué, de 150 à 300 words. C’est un fournisseur qui ajuste son propre produit parce que le chiffre publié ne tenait pas hors du laboratoire, ce qui en dit autant que n’importe quelle étude indépendante.

Ce qu’un faux positif coûte réellement à un étudiant

Cela est arrivé à un étudiant en executive MBA à la School of Management de Yale. L’étudiant a été accusé d’une violation, au sens le plus littéral possible. Le détecteur en cause était GPTZero. L’examen final de l’étudiant dans un cours de finance avait été signalé par un assistant d’enseignement qui pensait que le texte était long et élaboré, avec une ponctuation et une grammaire presque parfaites. Et ce professeur en particulier le faisait passer par GPTZero, qui a évalué les réponses comme probablement générées par IA.

Il a échoué au cours et a été suspendu pendant un an. Sa plainte, déposée devant un tribunal fédéral en février 2025, affirme que la propre politique de Yale limite l’utilisation d’outils tels que GPTZero précisément pour cette raison, à savoir son taux documenté de faux positifs à l’encontre des locuteurs non natifs de l’anglais, et qu’il l’a utilisé en violation de cette politique. Son dépôt cite également que GPTZero a attribué un score de 100 percent de contenu généré par AI à des écrits universitaires de l’ancien président de l’université de Yale et du doyen de la business school.

Le juge a refusé d’ordonner une injonction préliminaire en mai 2025. L’affaire n’a pas encore été tranchée, au moment où j’écris. Le demandeur, un ressortissant français, affirme que le même biais connu à l’encontre des locuteurs non natifs de l’anglais a provoqué le résultat observé dans son écriture. C’est ce que nous examinons dans la section suivante. Ce qui ne fait pas débat, c’est le coût, une année perdue dans un programme de diplôme, une note éliminatoire, des frais juridiques et plusieurs mois passés à se battre au sujet d’un score au lieu d’obtenir un diplôme. Un taux de faux positifs de 1 percent paraît faible jusqu’à ce qu’une population importante en fasse un cas individuel.

Pourquoi les détecteurs d’AI classent-ils à tort les locuteurs non natifs de l’anglais ?

Très mal, et de loin. C’est la conclusion de l’étude qui a d’abord chiffré le phénomène. Des chercheurs de Stanford ont testé sept détecteurs de GPT largement utilisés sur 91 dissertations TOEFL rédigées par des locuteurs non natifs de l’anglais et 88 dissertations d’élèves américains de huitième année. Les détecteurs ont presque toujours correctement lu les dissertations de huitième année. En ce qui concerne les dissertations TOEFL, rédigées par des adultes suffisamment compétents pour passer un test d’anglais de niveau universitaire, les détecteurs ont affiché en moyenne un taux de faux positifs de 61.3 percent. Quatre-vingt-neuf des 91 dissertations ont été signalées comme ayant été générées par GPT par au moins un des sept détecteurs, 18 de ces dissertations ont été signalées par les sept détecteurs.

Le mécanisme est le même que celui qui régit le reste de la détection, un vocabulaire prévisible et une construction de phrases plus simple sont interprétés comme une faible perplexité, et une faible perplexité est interprétée comme une production machine, indépendamment de la personne qui tient le stylo. Les auteurs qui travaillent dans une deuxième langue s’appuient sur des formulations bien établies parce que c’est ainsi que se manifeste réellement l’aisance dans une langue supplémentaire, et c’est précisément le profil qu’un détecteur a été conçu pour signaler.

Les auteurs dans cette situation ne sont pas bien servis par le conseil consistant à simplement écrire de manière plus naturelle, puisque le naturel est précisément ce qui a été signalé. La page de TextPulse pour les auteurs académiques ESL couvre plus en détail les schémas de formulation à l’origine de ce risque, y compris ce qui les modifie sans changer le sens de la phrase.

Il ne s’agissait pas d’un cas isolé. En décembre 2025, un nouveau benchmark a été publié, explicitement conçu pour évaluer le biais dans ces détecteurs. Il comprenait plus de 200,000 échantillons couvrant plusieurs groupes démographiques et langues. Bien que cela se soit produit deux ans après la première étude de Stanford et qu’il inclue de nombreuses versions différentes des mêmes détecteurs, ce benchmark a révélé que le biais à l’encontre des apprenants de l’anglais est toujours présent.

Ce n’est pas le cas pour tous les fournisseurs. La propre documentation technique de Pangram indique que son classifieur n’est pas biaisé contre les locuteurs non natifs de l’anglais. Les chercheurs de Chicago Booth n’ont pas testé cette affirmation de manière indépendante, mais cela montre que la génération plus récente de détecteurs est construite en tenant compte du problème plutôt qu’en l’ignorant.

Si vous voulez voir où se situe votre propre texte avant que quelqu’un d’autre ne l’évalue, un vérificateur de perplexité gratuit vous donne le même nombre sous-jacent qu’un détecteur calculerait, sans rien soumettre d’abord à une institution.

Qui d’autre est signalé, et pourquoi

Les locuteurs non natifs de l’anglais supportent le risque documenté le plus élevé, mais la même logique statistique s’applique aussi à d’autres écrits. L’équipe de Weber-Wulff a constaté que les 14 outils qu’elle a testés étaient moins précis lorsqu’elle les appliquait à des textes paraphrasés, ce qui décrit une part significative de l’écriture académique qui a été relue par un correcteur, un éditeur ou le stylo rouge d’un directeur avant que quiconque n’y applique un détecteur.

Rien de tout cela ne signifie que le nombre est dénué de sens, seulement qu’il a besoin d’être corroboré avant de signifier quoi que ce soit au sujet d’une personne précise. Si vous avez un texte qui se lit comme uniforme, avec des longueurs de phrases similaires, un rythme similaire tout au long du texte, il obtiendra un score plus proche d’un texte généré par une machine, quel que soit son auteur ou son objectif. Cela peut être vérifié directement à l’aide d’un free burstiness checker plutôt que d’être supposé.

À quoi ressemble une politique de détection de l’IA défendable

Yale avait déjà une politique qui, selon les informations disponibles, restreint des outils comme GPTZero, pour des raisons proches de celles exposées dans cet article, à savoir un taux de faux positifs documenté et un biais documenté à l’encontre des auteurs dont l’anglais n’est pas la langue maternelle. Il ne s’agit donc pas tant de l’histoire d’un étudiant malchanceux que d’une règle existante qui n’a pas été appliquée. Lorsqu’une politique fait réellement respecter la différence entre un score et un verdict, alors un score devient une donnée parmi d’autres plutôt qu’un verdict.

• Traiter le score comme une donnée parmi d’autres, jamais comme le seul fondement d’une conclusion de faute
• Communiquer aux étudiants le taux de faux positifs publié de l’outil avant de l’utiliser contre eux
• Appliquer une prudence accrue aux devoirs courts et aux écrits en anglais de locuteurs non natifs, deux points faibles documentés
• Garantir une voie de recours qui ne nécessite pas de réfuter une statistique

Rien de tout cela n’a rien d’exotique. Cela se rapproche davantage de la manière dont toute pièce isolée de preuve médico-légale devrait être traitée ailleurs, utile, vérifiable, et jamais suffisante à elle seule.

Pour un auteur individuel, le même principe s’applique avant qu’un score n’existe plutôt qu’après. Un chiffre unique, quel que soit l’outil, est une estimation plutôt qu’un verdict, et le traiter comme une certitude dans l’un ou l’autre sens, sûr ou pris, exige du chiffre davantage qu’il ne peut en soutenir.

L'outil AI humanizer de TextPulse indique un Human Score selon cette même logique, une estimation calculée à partir de votre propre texte, et non un verdict d'un détecteur à son sujet, utile comme signal de la manière dont un brouillon se lit actuellement plutôt que comme promesse sur ce qu'un détecteur précis dira.

La question de l'exactitude se divise en questions plus étroites, chacune ayant sa propre page. Le taux auquel les détecteurs signalent des textes humains est traité séparément, tout comme les éléments de preuve spécifiques sur le taux de faux positifs de Turnitin et sur l'exactitude de ZeroGPT. Si un score a déjà été utilisé contre vous, il existe des ressources pratiques sur ce qu'il faut faire lorsque vous êtes accusé d'avoir utilisé AI, sur les preuves que vous pouvez rassembler pour prouver que vous n'avez pas utilisé AI, et sur la rédaction d'une lettre d'appel qui répond au score selon ses propres termes.

Le nombre figurant sur n'importe quel rapport continuera d'évoluer à mesure que les fournisseurs réentraîneront leurs modèles et que les chercheurs continueront de les tester sur des cas plus difficiles. Mais ce qui ne devrait pas changer, c'est l'habitude qui se trouve en dessous, lire un score comme une mesure parmi plusieurs, demander sur quelle population il a été validé, et demander ce que le fournisseur ne dit pas à propos des cas qu'il se trompe encore à identifier.