Faux positifs des détecteurs d'IA, pourquoi l'écriture humaine est signalée

En 1982, le New England Journal of Medicine a publié un article sur le cytomégalovirus chez des patients ayant subi une greffe de moelle osseuse. Il a passé l’évaluation par les pairs et est resté dans les archives pendant quatre décennies. En 2023, des chercheurs l’ont soumis à un détecteur d’écriture par IA qu’OpenAI avait rendu public, et l’outil l’a évalué comme étant probable à 99,96 percent d’avoir été généré par IA, trente-sept ans avant l’existence du modèle par lequel il était censé avoir été écrit. C’est un faux positif de détecteur d’IA dans sa forme la plus pure, un document signalé comme rédigé par une machine alors qu’il ne peut manifestement pas l’être.

Cet exemple n’est extrême que par son calendrier. Le schéma sous-jacent, un détecteur lisant une prose formulée de manière stéréotypée et prévisible comme si elle était produite par une machine, indépendamment de son auteur ou de sa date, apparaît constamment dans des soumissions ordinaires, dissertations, lettres de motivation, rapports de laboratoire, déclarations personnelles. Cet article examine ce qui provoque un faux positif, quels types d’écriture sont les plus exposés, et pourquoi un score signalé isolément n’est pas la preuve qu’il semble être.

Qu’est-ce qu’un faux positif de détecteur d’IA ?

Le faux positif de détecteur d’IA est un texte rédigé par un humain qu’un outil de détection évalue comme généré par IA. Rien dans le processus, l’honnêteté ou la compétence de l’auteur n’est mesuré. L’outil compare la forme statistique de la phrase, le degré de prévisibilité des choix lexicaux et de la structure, à la forme qu’il a appris à associer à une production de machine.

Les fournisseurs indiquent des taux de faux positifs sous la forme d’un seul petit pourcentage, généralement inférieur à un ou deux percent. Ce chiffre décrit un test contrôlé sur un benchmark construit par le fournisseur, et non une garantie concernant un document individuel. La question plus large de savoir si les détecteurs d’IA sont exacts en général a déjà été testée de manière indépendante, et les résultats se situent ailleurs, parfois bien au-dessus de tout chiffre annoncé par un fournisseur. Cet article reste plus étroit, quels types d’écriture augmentent ce risque, et ce qu’un score signalé peut et ne peut pas dire à quiconque.

Quels traits d’écriture font paraître un texte humain comme produit par une machine ?

Quatre types d’écriture ordinaire présentent le plus de risque, et aucun n’implique qu’une personne fasse quoi que ce soit de mal. Les documents courts, l’écriture fortement formulée, les passages cités ou fondés sur des modèles, et l’écriture qui a été relue de manière approfondie tendent tous à obtenir des scores plus prévisibles que la prose composée librement, qui est la seule propriété que tout détecteur mesure réellement. Un free burstiness checker mesure directement cette même variation, ce qui constitue un moyen plus rapide d’en voir le schéma que d’en lire une description.

Certains genres sont formulés par conception. Une section de méthodes, un rapport de laboratoire, une lettre de motivation standard et une revue de littérature privilégient tous l’expression conventionnelle plutôt que l’expression inventive, parce que la convention est ce qui rend le document utilisable pour son lecteur. Des chercheurs ont testé cela directement sur des écrits réels, ils ont soumis 14,400 résumés de revues publiés entre 1980 et 2023, des années avant l’existence de tout large language model, à un détecteur accessible publiquement. Jusqu’à 8 percent ont été signalés comme générés par AI, indépendamment de l’année de publication, et les résumés du New England Journal of Medicine ont été signalés à 10.24 percent, le taux de faux positifs le plus élevé des cinq revues testées.

Le test n’aurait pas pu détecter quoi que ce soit à propos de ChatGPT, puisque ChatGPT n’existait pas pendant la plupart des années qu’il a échantillonnées. Il détectait le genre. Plus formellement, comme le dirait l’analyse statistique du problème de détection en 2026, il n’existe aucun moyen de construire un détecteur qui distingue une phrase prévisible parce qu’elle a été écrite par un logiciel d’une phrase prévisible parce que c’est le type de phrase que l’on écrit dans son genre. Elles se ressemblent exactement de l’extérieur.

Une révision lourde pousse dans une direction similaire. Un premier brouillon porte les irrégularités propres à un auteur, l’ordre inhabituel des mots, la phrase qui s’allonge parce que la pensée l’a fait. Une relecture approfondie, surtout lorsqu’elle est effectuée avec un autre outil, tend à lisser précisément ces irrégularités. La plus vaste comparaison indépendante des outils de détection à ce jour en a testé 14 et a constaté que la précision diminuait encore, pour chaque outil, une fois que le texte d’échantillon avait été paraphrasé ou traduit automatiquement.

Trait d’écriture	Pourquoi cela réduit l’imprévisibilité apparente d’un document	Ce que montrent les preuves
Soumissions courtes	Moins de texte laisse moins de place à la variation naturelle qui distingue le rythme humain du rythme machine	Les scores sur les documents courts varient davantage sous l’effet de quelques phrases inhabituelles
Écriture formulique ou propre à une discipline	La convention du genre récompense la formule attendue plutôt que la formule inventive	14,400 résumés de revues antérieurs à ChatGPT (1980 to 2023) ont encore déclenché jusqu’à 8% de faux positifs, les résumés d’une revue atteignant 10.24%
Brouillons fortement révisés ou paraphrasés	Une phase de polissage lisse les irrégularités individuelles qu’un détecteur lit comme humaines	Une comparaison indépendante de 14 outils a montré que la précision diminuait encore après paraphrase ou traduction automatique
Matériel cité ou fondé sur un modèle	Le passage cité porte la signature statistique de sa source, et non celle de l’auteur qui cite	Les détecteurs qui n’excluent pas les citations évaluent le document environnant à partir du texte emprunté

Pourquoi les taux publiés et les taux observés dans la pratique ne coïncident pas

Chaque détecteur majeur publie un taux de faux positifs proche de un pour cent ou inférieur. Des tests indépendants des mêmes outils, menés sur différents documents dans différentes conditions, signalent régulièrement quelque chose de bien plus élevé, parfois d’un facteur de dix ou davantage. Les deux chiffres peuvent être exacts tout en décrivant presque rien de commun, parce qu’ils ne mesurent pas la même chose.

Turnitin est un exemple utile précisément parce qu’il publie davantage de détails que la plupart de ses concurrents, un taux de faux positifs inférieur à 1 percent au niveau du document, à condition que plus de 20 percent d’une soumission soit signalé comme rédigé par IA, ainsi qu’une déclaration de l’entreprise selon laquelle les résultats en conditions réelles diffèrent de ses propres tests en laboratoire. Le Washington Post a fait passer 16 documents réels par le même outil en 2023 et a constaté que plus de la moitié revenaient au moins partiellement mal identifiés, y compris un essai entièrement rédigé par un humain marqué comme partiellement généré par IA. Aucun de ces deux chiffres n’est fabriqué. Ils proviennent d’échantillons différents, de seuils différents et de définitions différentes de ce qui compte comme un signalement.

Le même écart apparaît dans l’ensemble du secteur, pas seulement chez une seule entreprise. Cette comparaison de 14 outils a montré que chacun d’entre eux restait en deçà de 80 percent de précision globale, et que six des quatorze produisaient un faux positif sur une écriture humaine non modifiée avant même que toute paraphrase n’entre en jeu. Un chiffre publié décrit un benchmark. Il ne décrit pas le document qui se trouve actuellement devant un professeur.

Pourquoi un score confiant n’est pas une accusation confiante

Taux de faux positifs semble renvoyer à la probabilité qu’un étudiant signalé comme problématique soit innocent. Mais non. Cela décrit la manière dont un test fonctionne pour l’ensemble des personnes qui le passent. Et ce sont des questions différentes, avec des réponses différentes, comme pour tout test de dépistage en médecine ou en sécurité.

Une analyse statistique de mars 2026 menée par un chercheur de Griffith University rend les mathématiques sous-jacentes explicites. Si l’on considère la détection de l’IA comme un test appliqué à une population de rédacteurs étudiants plutôt qu’à un document isolé, un compromis apparaît, dès lors qu’une certaine part de cette population écrit d’une manière qui se superpose naturellement à la production typique de l’IA, proche des conventions du genre, proche de la gamme d’un apprenant de langue seconde, tout détecteur ayant une réelle capacité à repérer les travaux rédigés par IA doit se tromper sur une partie de cette fraction qui se recoupe. Il ne s’agit pas d’une affirmation selon laquelle un détecteur particulier serait mal conçu. C’est une propriété du fait de tester une population diverse à partir d’un seul document et sans autre élément de preuve.

L’exemple illustratif du document lui-même montre l’ampleur en jeu. Supposons que 10 percent d’une population étudiante écrive d’une manière suffisamment proche de la production typique de OpenAI, et qu’un détecteur soit réglé pour repérer 80 percent des travaux effectivement rédigés par OpenAI. Les mathématiques exigent alors un taux moyen de faux positifs d’au moins 7.5 percent dans cette population. Ce n’est pas un défaut de l’ingénierie du détecteur, c’est une conséquence directe du degré de recouvrement statistique entre l’écriture de ce groupe et ce qui est détecté.

À l’échelle d’une université de 10,000 étudiants, cette seule borne inférieure implique environ 750 faux signalements dans l’ensemble de la population, conséquence mathématique du fait de tester une population diverse à l’aide d’un seul document, sans autre élément de preuve à prendre en compte. L’auteur du document précise explicitement que ces chiffres particuliers sont donnés à titre illustratif et non mesurés dans une institution réelle. L’exemple montre la forme du problème plutôt qu’une prédiction spécifique pour un campus donné.

Rien de tout cela ne signifie qu’un score signalé est dénué de sens. Cela signifie que le score n’est qu’un signal faible, au niveau de la population, à qui l’on demande de répondre à une question concernant un individu unique, un décalage qu’aucun raffinement commercial ne peut entièrement combler à lui seul. Une lecture responsable considère le nombre comme une invitation à réunir de meilleures preuves, brouillons, historique des versions, traces ordinaires laissées par quelqu’un qui écrit réellement quelque chose. Les outils gratuits de TextPulse permettent à un auteur de vérifier où se situe actuellement un brouillon au regard de ces mêmes mesures avant que quelqu’un d’autre ne le fasse, ce qui constitue un usage différent de la technologie de celui qui consiste à tenter de déjouer un détecteur particulier.

Quels auteurs sont exposés au risque le plus élevé

La recherche montre deux groupes qui se distinguent davantage que tous les autres, les personnes qui écrivent dans une deuxième langue et les personnes qui, par nature, écrivent de manière très structurée ou répétitive pour des raisons sans rapport avec la façon dont elles ont rédigé leur essai. Ces deux types d’auteurs présentent la même signature statistique que celle qu’un détecteur est conçu pour repérer.

Les locuteurs non natifs de l’anglais supportent le risque documenté le plus élevé. Des tests indépendants ont montré à plusieurs reprises que les détecteurs interprètent à tort l’écriture académique fluide en langue seconde comme générée par une machine à des taux bien plus élevés que l’écriture native. La page de TextPulse pour les rédacteurs universitaires ESL explique plus en détail le mécanisme à l’origine de ce risque, y compris les schémas de formulation qui le provoquent.

Un second groupe, moins souvent évoqué, est confronté à un problème connexe. Des chercheurs ont comparé environ 60,000 publications Reddit, réparties entre un sous-ensemble identifié comme probablement rédigé par des auteurs autistes et un échantillon général, puis ont soumis les deux à un détecteur fondé sur GPT-2. Les deux groupes sont restés en dessous de 2 percent de signalements au total, mais le sous-ensemble probablement autiste a été signalé à un taux significativement plus élevé que l’échantillon général. Une écriture qui tend vers des formulations littérales, répétitives et fortement structurées, caractéristique documentée de certains styles de communication autistes, produit exactement le texte à faible variation qu’un détecteur est conçu pour repérer.

Deux fournisseurs publient suffisamment d’éléments pour vérifier l’affirmation. Le taux de faux positifs propre à Turnitin est présenté séparément, et la précision de ZeroGPT est examinée sur sa propre page. La question de savoir sur qui ces erreurs pèsent le plus lourd est encore distincte, et pourquoi les rédacteurs non natifs de l’anglais sont signalés plus souvent a sa propre réponse.

Rien de tout cela ne devrait devenir plus simple de sitôt. Les détecteurs continueront à s’améliorer pour repérer les textes réellement rédigés par une machine, et la diversité des populations continuera à produire un certain taux de fausses accusations que de meilleures méthodes d’ingénierie ne peuvent pas entièrement éliminer. Le changement le plus utile est déjà en cours dans certaines institutions, considérer un score comme le point de départ d’une conversation plutôt que comme son terme, et demander sur quelle population un taux publié a réellement été testé avant de supposer qu’il s’applique au document qui se trouve devant elles.