Les détecteurs d'IA sont-ils précis ? Faux positifs et biais

Turnitin affirme que son taux de faux positifs est inférieur à 1%. Un groupe de chercheurs indépendants a testé plusieurs détecteurs sur un éventail plus large d’échantillons d’écriture provenant de locuteurs non natifs de l’anglais. Ils ont constaté que le taux moyen de faux positifs dépassait 60% pour ce même type d’écriture. Les deux chiffres sont réels, les deux ont été publiés, et les deux concernent des détecteurs vendus au même marché. Les détecteurs d’IA sont-ils exacts ? Cela dépend de la population testée, du détecteur utilisé, et de la manière dont votre fournisseur l’a défini au départ.

Ce billet ne réexpliquera pas comment un détecteur calcule ce score. Le mécanisme, la perplexité, la probabilité des jetons, la manière dont le classificateur est entraîné, est présenté en détail ailleurs, et il vaut la peine de le lire d’abord si ce n’est pas déjà fait. Ce qui importe ici, c’est ce qui se passe une fois que le score existe, à quelle fréquence il est erroné, pour l’écriture de qui il est le plus souvent erroné, et ce qu’une fausse accusation coûte réellement à quelqu’un qui n’a rien fait de mal.

Les détecteurs d’IA sont-ils exacts ?

Pas de manière constante, et l’écart entre les affirmations marketing et les tests indépendants est bien documenté. Un groupe de chercheurs dirigé par Debora Weber-Wulff a publié ses résultats sur 14 outils de détection, dont 12 gratuits et deux commerciaux, qui ont été testés sur un mélange de textes humains et de textes de ChatGPT en 2023. Ils ont constaté qu’aucun de ces outils n’est exact ou fiable, avec un biais intégré qui les pousse à étiqueter le texte machine comme humain plutôt que l’inverse. Deux des outils commerciaux inclus dans ce test étaient Turnitin et PlagiarismCheck. Tous les outils de ce test ont obtenu de moins bons résultats lorsque le texte était paraphrasé.

Mais deux ans plus tard, les choses ne stagnent pas. Un livre blanc de la Booth School de l'Université de Chicago, rédigé par Brian Jabarian et Alex Imas, a soumis trois nouveaux venus, Pangram, GPTZero et Originality.ai, ainsi qu'un concurrent open source, à une série d'épreuves à partir de près de 2.000 textes rédigés par des humains, tirés de blogs, d'articles de presse, de critiques et de fiction. Dans des conditions de test contrôlées, le meilleur outil de l'ensemble n'est jamais descendu en dessous de 99.8 percent de précision et a maintenu son taux de faux positifs à un niveau faible. Le modèle open source a fait aussi bien qu'un répondant au hasard. Les choses se sont vraiment améliorées. En quelque sorte. Un peu.

Mais le piège tient au mot contrôlées. Les passages de référence sont propres, complets et produits dans des conditions connues. Un essai soumis n'est jamais de façon fiable l'un de ces cas. Les résultats dans le monde réel peuvent ne pas être identiques aux résultats de laboratoire, comme le chief product officer de Turnitin l'a déclaré publiquement, même si c'est un aveu rare et utile de la part d'un fournisseur. La section suivante place les chiffres du fournisseur à côté de ceux de l'étude indépendante afin que l'écart soit visible plutôt qu'affirmé.

Les affirmations des fournisseurs face aux tests indépendants

Le tableau ci-dessous met en regard ce que quatre détecteurs affirment pour eux-mêmes et ce que des chercheurs indépendants ont mesuré lorsqu'ils ont testé directement les outils. Lisez ensemble les deux colonnes du milieu, et non la seule colonne du fournisseur.

Détecteur	Précision revendiquée par le fournisseur	Observée indépendamment	Ce que le fournisseur dit à propos des faux positifs
Turnitin	Seuil de confiance de 98% avant signalement, moins de 1% de faux positifs au niveau du document	Environ 80% de précision, le meilleur des 12 outils dans une comparaison de 2023, sur une version antérieure de l'outil	Moins de 1% au niveau du document au-dessus d'un seuil de 20% de texte rédigé par IA, environ 4% au niveau de la phrase
GPTZero	95.7% de détection de texte IA à un taux de faux positifs de 1% sur le benchmark indépendant RAID	96% de précision sur de courts passages, taux de faux positifs inférieur à 1% dans une étude de 2025 de la Booth School of Business de l'University of Chicago	Indique un taux de faux positifs de 1% sur le benchmark RAID
Originality.ai	99% de précision, taux de faux positifs de 0.5% (modèle Lite), 1.5% (modèle Turbo)	Taux de faux positifs inférieur à 1%, mais omission de 10% à 40% du texte rédigé par IA dans la même étude Booth	Publie des chiffres distincts de faux positifs selon le niveau de modèle
Pangram	Taux d'erreur qu'il dit être plus de 38 fois inférieurs à ceux des outils concurrents, affirme n'avoir aucun biais à l'encontre des auteurs dont l'anglais n'est pas la langue maternelle	Précision jamais inférieure à 99.8%, taux de faux positifs proche de zéro, dans l'étude Booth	Affirme des taux de faux positifs proches de zéro dans 10 domaines textuels et 8 modèles de langage

Deux éléments ressortent. Premièrement, toutes les valeurs du fournisseur proviennent d'un laboratoire contrôlé par le fournisseur et les valeurs Booth proviennent de chercheurs qui n'ont rien à vendre. Deuxièmement, Turnitin n'apparaît pas du tout dans cette colonne centrale, car l'étude de 2025 ne l'a pas testé. Dans le tableau, sa valeur indépendante est fondée sur une comparaison antérieure de 2023, mais elle a été obtenue sur une version plus ancienne de l'outil, il faut donc garder cela à l'esprit lorsque l'on examine le tableau comme une comparaison à périmètre constant.

Quelle est la précision de la détection IA de Turnitin ?

Turnitin ne publie pas un seul chiffre de précision. Il publie plutôt un seuil et un compromis. L’entreprise a déclaré qu’elle ne signale un document que lorsqu’elle est confiante à 98 pour cent que la partie signalée est rédigée par une IA, et que ce seuil est ce qui maintient le taux de faux positifs au niveau du document en dessous de 1 pour cent. Turnitin a estimé qu’il détecte environ 85 pour cent des textes aidés par une IA, laissant passer le reste délibérément plutôt que de risquer une accusation erronée.

Le pourcentage réel de faux positifs que Turnitin renvoie au niveau de la phrase, là où une interface met en évidence des lignes précises plutôt qu’un document entier, est en réalité plus proche de 4 pour cent. C’est le chiffre qu’il faut connaître si un professeur fait une capture d’écran d’un seul paragraphe signalé plutôt que d’un score portant sur l’ensemble du document, car une phrase mise en évidence comporte une probabilité sensiblement plus élevée d’être erronée que le score du document à côté d’elle.

Il convient aussi de noter que Turnitin a reconnu directement cet écart. Ils ont constaté que leurs premiers résultats en conditions réelles, en particulier pour les documents plus courts, présentaient des taux de faux positifs plus élevés que ce qui était attendu d’après leurs tests en laboratoire. Ils ont donc ajusté la longueur minimale du document à évaluer, de 150 à 300 mots. C’est un fournisseur qui ajuste son propre produit parce que le chiffre publié ne tenait pas hors du laboratoire, ce qui en dit autant que n’importe quelle étude indépendante.

Ce qu’un faux positif coûte réellement à un étudiant

Cela est arrivé à un étudiant en Executive MBA à la School of Management de Yale. L’étudiant a été accusé d’une violation, au sens le plus littéral possible. Le détecteur en cause était GPTZero. L’examen final de l’étudiant dans un cours de finance avait été signalé par un assistant d’enseignement qui pensait que le texte était long et élaboré, avec une ponctuation et une grammaire presque parfaites. Et ce professeur précis l’a fait passer dans GPTZero, qui a évalué les réponses comme probablement générées par une IA.

Il a échoué au cours et a été suspendu pendant un an. Sa plainte, déposée devant un tribunal fédéral en février 2025, soutient que la propre politique de Yale limite l’utilisation d’outils tels que GPTZero précisément pour cette raison, son taux documenté de faux positifs à l’encontre des locuteurs non natifs de l’anglais, et qu’il l’a utilisé en violation de cette politique. Son dépôt cite également que GPTZero a attribué un score de 100 percent de texte généré par IA à des écrits universitaires de l’ancien président de l’université de Yale et du doyen de l’école de commerce.

Le juge a refusé d’ordonner une injonction préliminaire en mai 2025. L’affaire n’a pas encore été tranchée, au moment où j’écris. Le demandeur, un ressortissant français, soutient que le même biais connu à l’encontre des locuteurs non natifs de l’anglais a provoqué le résultat observé dans son écriture. C’est ce que nous examinons dans la section suivante. Ce qui n’est pas contesté, en revanche, c’est le coût, une année perdue dans un programme de diplôme, une note éliminatoire, des frais juridiques et plusieurs mois passés à se battre au sujet d’un score au lieu d’obtenir un diplôme. Un taux de faux positifs de 1 percent paraît faible jusqu’à ce qu’une population importante en fasse un cas particulier.

Quels traits d’écriture font paraître un texte humain comme s’il avait été produit par une machine

Quatre types d’écriture ordinaire présentent le plus de risque, et aucun n’implique qu’une personne ait fait quoi que ce soit de mal. Les documents courts, l’écriture fortement stéréotypée, les passages cités ou rédigés à partir de modèles, et les textes qui ont été relus de manière intensive tendent tous à obtenir un score de prévisibilité plus élevé que la prose rédigée librement, qui est la seule propriété que chaque détecteur mesure réellement. Un vérificateur de burstiness gratuit mesure directement cette même variation, ce qui constitue un moyen plus rapide d’en voir le motif que d’en lire une description.

Certains genres sont formulaires par conception. Une section de méthodes, un compte rendu de laboratoire, une lettre de motivation standard et une revue de littérature récompensent tous la formule conventionnelle plutôt que l’inventive, parce que la convention est ce qui rend le document utilisable pour son lecteur. Des chercheurs ont testé cela directement sur des écrits réels, ils ont soumis 14,400 résumés de revues publiés entre 1980 et 2023, des années antérieures à l’existence de tout grand modèle de langage, à un détecteur accessible au public. Jusqu’à 8 percent ont été signalés comme générés par IA, quel que soit l’année de publication, et les résumés du New England Journal of Medicine ont été signalés à 10.24 percent, le taux de faux positifs le plus élevé parmi les cinq revues testées.

Le test n’aurait pas pu détecter quoi que ce soit à propos de ChatGPT, puisque ChatGPT n’existait pas pendant la plupart des années qu’il a échantillonnées. Il détectait le genre. Plus formellement, comme l’indiquerait l’analyse statistique du problème de détection en 2026, il n’existe aucun moyen de construire un détecteur qui distingue une phrase prévisible parce qu’elle a été écrite par un logiciel d’une phrase prévisible parce qu’elle correspond au type de phrase que l’on écrit dans son genre. De l’extérieur, elles se ressemblent exactement.

Une révision lourde pousse dans une direction similaire. Un premier jet porte les irrégularités propres à un auteur, l’ordre des mots inhabituel, la phrase qui s’allonge parce que la pensée s’est allongée. Une relecture approfondie, surtout lorsqu’elle est effectuée à l’aide d’un autre outil, tend à lisser précisément ces irrégularités. La plus grande comparaison indépendante des outils de détection à ce jour en a testé 14 et a constaté que la précision diminuait encore, pour chaque outil, une fois que le texte échantillon avait été paraphrasé ou traduit automatiquement.

Trait d’écriture	Pourquoi cela réduit l’imprévisibilité apparente d’un document	Ce que montrent les preuves
Soumissions courtes	Moins de texte laisse moins de place à la variation naturelle qui distingue le rythme humain du rythme machine	Les scores des documents courts varient davantage sous l’effet de quelques phrases inhabituelles
Écriture formulée de manière stéréotypée ou propre à une discipline	La convention du genre récompense l’expression attendue plutôt que l’expression inventive	14,400 résumés de revues antérieurs à ChatGPT (1980 à 2023) ont tout de même déclenché jusqu’à 8% de faux positifs, les résumés d’une revue ont atteint 10.24%
Brouillons fortement révisés ou paraphrasés	Une phase de polissage atténue les irrégularités individuelles qu’un détecteur lit comme humaines	Une comparaison indépendante de 14 outils a montré que la précision diminuait encore après paraphrase ou traduction automatique
Matériel cité ou fondé sur des modèles	Le passage cité porte la signature statistique de sa source, et non celle de l’auteur qui le cite	Les détecteurs qui n’excluent pas les citations évaluent le document environnant à partir du texte emprunté

Pourquoi les détecteurs d’IA classent-ils à tort les locuteurs non natifs de l’anglais ?

Mal, et de loin. C’est la conclusion de l’étude qui a d’abord chiffré ce phénomène. Des chercheurs de Stanford ont testé sept détecteurs GPT largement utilisés sur 91 dissertations TOEFL rédigées par des locuteurs non natifs de l’anglais et 88 dissertations d’élèves américains de huitième année. Les détecteurs ont presque toujours correctement lu les dissertations de huitième année. En ce qui concerne les dissertations TOEFL, rédigées par des adultes suffisamment compétents pour passer un test d’anglais de niveau universitaire, les détecteurs ont affiché en moyenne un taux de faux positifs de 61.3 percent. Quatre-vingt-neuf des 91 dissertations ont été signalées comme ayant été générées par GPT par au moins un des sept détecteurs, 18 de ces dissertations ont été signalées par les sept détecteurs.

Le mécanisme est le même que celui qui régit le reste de la détection, un vocabulaire prévisible et une construction de phrases plus simple se lisent comme une faible perplexité, et une faible perplexité se lit comme un texte produit par une machine, quel que soit celui qui tient la plume. Les auteurs qui travaillent dans une deuxième langue s’appuient sur des formulations bien établies parce que c’est ainsi que se manifeste réellement l’aisance dans une langue supplémentaire, et c’est précisément le profil qu’un détecteur a été conçu pour signaler.

Les auteurs dans cette situation ne sont pas bien servis par le conseil consistant à simplement écrire de manière plus naturelle, puisque le naturel est précisément ce qui a été signalé. La page de TextPulse pour les auteurs universitaires ESL examine plus en détail les schémas de formulation à l’origine de ce risque, y compris ce qui les modifie sans changer le sens de la phrase.

Il ne s’agissait pas d’un cas isolé. En décembre 2025, un nouveau benchmark a été publié, explicitement conçu pour évaluer le biais dans ces détecteurs. Il comprenait plus de 200,000 échantillons couvrant plusieurs groupes démographiques et langues. Bien que cela se soit produit deux ans après la première étude de Stanford et qu’il inclue de nombreuses versions différentes des mêmes détecteurs, ce benchmark a révélé que le biais à l’égard des apprenants de l’anglais est toujours présent.

Ce n’est pas le cas pour tous les fournisseurs. La documentation technique de Pangram indique que son classifieur n’est pas biaisé contre les locuteurs non natifs de l’anglais. Les chercheurs de Chicago Booth n’ont pas testé cette affirmation de manière indépendante, mais cela montre que la génération plus récente de détecteurs est conçue en tenant compte du problème plutôt qu’en l’ignorant.

Si vous voulez voir où se situe votre propre texte avant que quelqu’un d’autre ne l’évalue, un vérificateur de perplexité gratuit vous donne le même nombre sous-jacent qu’un détecteur calculerait, sans rien soumettre d’abord à une institution.

Qui d’autre est signalé, et pourquoi

Les locuteurs non natifs de l’anglais supportent le plus grand risque documenté, mais la même logique statistique s’applique aussi à d’autres écrits. L’équipe de Weber-Wulff a constaté que les 14 outils qu’elle a testés étaient moins précis lorsqu’elle les appliquait à des textes paraphrasés, ce qui décrit une part significative de l’écriture académique qui a été relue par un correcteur, un éditeur ou le stylo rouge d’un directeur avant que quiconque n’y applique un détecteur.

Rien de tout cela ne signifie que le chiffre est dénué de sens, seulement qu’il doit être corroboré avant de signifier quoi que ce soit au sujet d’une personne précise. Si vous avez un texte qui paraît uniforme, avec des longueurs de phrases similaires et un rythme similaire du début à la fin, il obtiendra un score plus proche d’un texte produit par une machine, quel qu’en soit l’auteur ou la raison. Cela peut être vérifié directement à l’aide d’un outil gratuit de vérification de la burstiness plutôt que d’être supposé.

Un deuxième groupe, moins discuté, est confronté à un problème connexe. Des chercheurs ont comparé environ 60,000 publications Reddit, réparties entre un sous-ensemble identifié comme probablement rédigé par des auteurs autistes et un échantillon général, puis ont soumis les deux à un détecteur fondé sur GPT-2. Les deux groupes sont restés globalement sous le seuil de 2 percent signalés, mais le sous-ensemble probablement autiste a été signalé à un taux significativement plus élevé que l’échantillon général. Une écriture qui tend vers des formulations littérales, répétitives et fortement structurées, caractéristique documentée de certains styles de communication autistes, produit exactement le texte à faible variation qu’un détecteur est conçu pour repérer.

Pourquoi un score confiant n’est pas une accusation confiante

Taux de faux positifs semble renvoyer à la probabilité qu’un étudiant signalé comme problématique soit innocent. Mais non. Cela décrit la manière dont un test fonctionne pour toutes les personnes qui le passent. Et ce sont des questions différentes, avec des réponses différentes, comme pour tout test de dépistage en médecine ou en sécurité.

Une analyse statistique de mars 2026 menée par un chercheur de Griffith University rend explicite la mathématique sous-jacente. Si l’on considère la détection de l’IA comme un test appliqué à une population de rédacteurs étudiants plutôt qu’à un document isolé, un compromis apparaît, dès lors qu’une certaine part de cette population écrit d’une manière qui se recoupe naturellement avec la production typique de l’IA, proche des conventions du genre, proche de la gamme d’un apprenant de langue seconde, tout détecteur ayant une réelle capacité à repérer des travaux rédigés par l’IA doit se tromper sur une partie de cette fraction qui se recoupe. Il ne s’agit pas d’une affirmation selon laquelle un détecteur particulier serait mal conçu. C’est une propriété du fait de tester une population diverse à partir d’un seul document et sans autre élément de preuve.

L’exemple illustratif du propre article montre l’ampleur en jeu. Supposons que 10 percent d’une population étudiante écrive d’une manière suffisamment proche de la production typique de l’IA, et qu’un détecteur soit réglé pour repérer 80 percent des travaux réellement rédigés par l’IA. La mathématique exige alors un taux moyen de faux positifs d’au moins 7.5 percent dans cette population. Ce n’est pas un défaut de l’ingénierie du détecteur, c’est une conséquence directe du degré de recoupement statistique entre l’écriture de ce groupe et ce qui est détecté.

À l’échelle d’une université de 10,000 étudiants, cette seule borne inférieure implique environ 750 faux signalements dans l’ensemble de la population, conséquence mathématique du fait de tester une population diverse à l’aide d’un seul document, sans autre élément de preuve à prendre en compte. L’auteur de l’article précise clairement que ces chiffres particuliers sont donnés à titre illustratif et non mesurés dans un établissement réel. L’exemple montre la forme du problème plutôt qu’une prédiction spécifique pour un campus donné.

À quoi ressemble une politique de détection de l’IA défendable

Yale avait déjà une politique qui, selon les informations disponibles, restreint des outils comme GPTZero, pour des raisons proches de celles exposées dans cet article, à savoir un taux de faux positifs documenté et un biais documenté à l’encontre des rédacteurs dont l’anglais n’est pas la langue maternelle. Il ne s’agit donc pas tant de l’histoire d’un étudiant malchanceux que de celle d’une règle existante qui n’a pas été appliquée. Lorsqu’une politique impose réellement la distinction entre un score et un verdict, un score devient alors une donnée parmi d’autres plutôt qu’un verdict.

• Traitez le score comme une donnée parmi d’autres, jamais comme le seul fondement d’une conclusion de manquement
• Communiquez aux étudiants le taux de faux positifs publié de l’outil avant de l’utiliser contre eux
• Appliquez une prudence accrue aux soumissions courtes et aux écrits en anglais de locuteurs non natifs, deux points faibles documentés
• Garantissez une voie de recours qui ne nécessite pas de réfuter une statistique

Rien de tout cela n’a rien d’exotique. Cela se rapproche davantage de la manière dont toute pièce isolée de preuve médico-légale devrait être traitée ailleurs, utile, vérifiable, et jamais suffisante à elle seule.

Pour un auteur individuel, le même principe s’applique avant qu’un score n’existe plutôt qu’après. Un chiffre unique, quel que soit l’outil, est une estimation plutôt qu’un verdict, et le traiter comme une certitude dans l’un ou l’autre sens, sans risque ou pris, exige du chiffre davantage qu’il ne peut étayer.

L’outil de humanisation IA de TextPulse lui-même outil de humanisation IA indique un Human Score selon cette même logique, une estimation calculée à partir de votre propre texte, et non le verdict d’un détecteur à son sujet, utile comme signal de la manière dont un brouillon se lit actuellement plutôt que comme promesse sur ce que dira un détecteur précis.

La question de l’exactitude se divise en questions plus étroites, chacune avec sa propre page. Les éléments précis sur le taux de faux positifs de Turnitin et sur l’exactitude de ZeroGPT sont traités séparément. Si un score a déjà été utilisé contre vous, il existe des éléments pratiques sur quoi faire lorsque vous êtes accusé d’avoir utilisé l’IA, sur les preuves que vous pouvez réunir pour prouver que vous n’avez pas utilisé l’IA, et sur la rédaction d’une lettre d’appel qui répond au score selon ses propres termes.

Le chiffre figurant sur tout rapport continuera d’évoluer à mesure que les fournisseurs réentraîneront leurs modèles et que les chercheurs continueront de les tester sur des cas plus difficiles. Mais ce qui ne devrait pas évoluer, c’est l’habitude qui le sous-tend, lire un score comme une mesure parmi plusieurs, demander sur quelle population il a été validé, et demander ce que le fournisseur ne dit pas à propos des cas qu’il se trompe encore.