Comment fonctionnent les détecteurs d'IA ? Perplexité, burstiness et probabilité des tokens

Votre université a commencé à faire passer les soumissions dans un détecteur d'IA, et un rapport est revenu avec un chiffre auquel vous ne vous attendiez pas. Avant d'essayer de le contester, il est utile de savoir ce que ce chiffre signifie. Comment fonctionnent les détecteurs d'IA ? Ils ne lisent pas l'écriture machine comme le ferait une personne. Ils mesurent à quel point votre texte est prévisible pour un modèle de langage, puis transforment cette prévisibilité en score. Rien dans ce processus n'examine ce que vous voulez dire, votre argument, ni si vous avez réellement écrit le texte.

J'ai passé des années à construire des outils qui décomposent le texte statistiquement, et la chose la plus utile à comprendre à propos de la détection est la suivante, il s'agit d'une mesure de la typicité, et non de l'origine. Une fois cela compris, la technologie et ses limites deviennent beaucoup plus claires.

Ce qu'un détecteur mesure réellement

Un détecteur ne sait pas qui a écrit quoi que ce soit. Ce qu'il possède, c'est un modèle de langage et une fonction de score. Le modèle lit votre texte de gauche à droite, et à chaque point il produit une distribution de probabilité sur le mot qui devrait venir ensuite. Donnez-lui les mots "the results of the" et il classera "study" au plus haut, "experiment" un peu plus bas, et "marmalade" quelque part près de zéro.

Le détecteur pose donc une seule question à votre document, à quelle fréquence ce texte a-t-il choisi le mot que le modèle attendait ? Une rédaction qui continue à tomber sur des mots à forte probabilité paraît produite par une machine, parce que c'est exactement ce que fait un générateur de texte. Le modèle échantillonne à partir du sommet de sa propre distribution, encore et encore, pendant des milliers de jetons.

C'est pourquoi toute cette catégorie repose sur des bases plus fragiles que ne le suggère le discours commercial. Un détecteur ne trouve pas de filigrane ni d'empreinte. Il constate que votre prose est statistiquement peu surprenante, et une prose peu surprenante a de nombreuses causes autres qu'un chatbot.

Perplexity, à quel point le modèle est surpris

La mesure principale s’appelle la perplexité, et elle est plus simple qu’elle n’en a l’air. Prenez la probabilité que le modèle a attribuée à chaque mot qui est effectivement apparu, faites la moyenne des logarithmes de ces probabilités, puis exponentiez le résultat. Ce qui en sort est un nombre unique qui décrit à quel point votre document a surpris le modèle. Vous pouvez vérifier la perplexité de votre propre brouillon plutôt que de la deviner.

Une faible perplexité signifie que le texte a suivi la direction attendue par le modèle. Une forte perplexité signifie qu’il a continué à prendre des tournants que le modèle n’attendait pas. L’écriture humaine tend à se situer plus haut, parce que les personnes vont chercher le nom commun rare et précis, la construction inhabituelle, la phrase qui commence de manière inattendue. Le texte généré tend à se situer plus bas, parce que le processus de décodage est conçu pour éviter exactement ces mouvements.

Comparez deux façons d’ouvrir une section de méthodes. "The results of the study were statistically significant" est une séquence que presque n’importe quel modèle prédirait avec une grande confiance, parce qu’elle ne contient aucune information inattendue. "Two of the three cohorts drifted before week six, which we had not planned for" est beaucoup moins prévisible, parce qu’elle contient une information précise et maladroite qui ne pouvait pas être devinée à partir du reste de l’article. La seconde coûte au détecteur une véritable surprise, et c’est cette surprise qui est enregistrée comme humaine.

Burstiness: la variance, pas la moyenne

La perplexité à elle seule ne suffit pas, parce qu’un document peut aboutir en moyenne à un nombre parfaitement raisonnable tout en étant suspectement uniforme en dessous. Ce qui compte, c’est la variation dans votre texte, et c’est ce que mesure la burstiness: à quel point la longueur des phrases et la perplexité au niveau de la phrase varient au fil de l’écriture. Un vérificateur de burstiness vous montrera directement cette dispersion.

Nous accélérons quand nous sommes confiants et nous ralentissons quand nous émettons des réserves, et ce rythme se retrouve dans la prose. Les gens écrivent par à-coups. Un paragraphe peut s’ouvrir sur une phrase déclarative courte de huit mots, enchaîner avec une phrase de trente-quatre mots qui comporte trois propositions et une parenthèse, puis revenir à quelque chose de plus vif.

La sortie du modèle ne fait pas cela de manière fiable. Les phrases se regroupent autour de la longueur moyenne. Les paragraphes arrivent en ensembles bien ordonnés. Chaque section commence par reformuler son propre titre. Le texte se lit aisément et obtient un mauvais score, car une faible variance entre les phrases est l’un des signaux les plus forts dont dispose un détecteur. Ce n’est pas une phrase isolée qui le trahit. C’est l’uniformité.

Signal	Ce qu’il mesure	Pourquoi le texte machine obtient un faible score
Perplexity	À quel point le modèle est surpris par vos choix de mots, en moyenne sur l’ensemble du document	L’échantillonnage de décodage privilégie par conception des jetons à forte probabilité
Burstiness	Dans quelle mesure la longueur des phrases et la prévisibilité varient dans le texte	La sortie se regroupe autour de la moyenne au lieu d’osciller
Token probability	La vraisemblance par mot à partir de laquelle les deux autres sont calculées	De longues séquences de choix pris individuellement sans particularité

Token probability et origine du score

Ces deux nombres sont construits à partir d’un troisième, la log-vraisemblance par jeton, la matière première à partir de laquelle tout le reste est calculé. Certains outils vous la montrent directement, en mettant en évidence les passages où votre texte était le plus prévisible. Ces mises en évidence ne sont pas des accusations visant des phrases précises, quelle que soit l’implication de l’interface. Ce sont les parties qui ont le plus contribué à une valeur au niveau du document.

Les approches de recherche ont dépassé les simples seuils. DetectGPT et ses descendants examinent la courbure, ils perturbent légèrement votre texte et vérifient si la vraisemblance diminue selon le schéma que le texte généré tend à présenter. D’autres comparent le même passage sous deux modèles différents et utilisent leur désaccord comme signal.

Une conséquence importe pour toute personne faisant l’objet d’une évaluation. Comme les métriques sont calculées par rapport à un modèle de référence particulier, un score est toujours relatif à ce modèle. Deux détecteurs peuvent lire le même paragraphe et être en désaccord complet, sans qu’aucun ne soit défaillant. Ils répondent à la même question avec des points de référence différents.

La deuxième conséquence est moins souvent signalée. Un modèle ne peut considérer un passage comme prévisible que si ce passage ressemble à ce sur quoi il a été entraîné, de sorte que la qualité de la détection se dégrade à mesure que l’écart s’élargit entre le modèle de référence et ce qui a produit le texte. Des générateurs plus récents, des disciplines inhabituelles et des langues autres que l’anglais ouvrent tous cet écart. C’est en partie pourquoi une précision mesurée dans un benchmark contrôlé survit rarement au contact d’un véritable lot de soumissions.

Pourquoi le texte généré par IA est-il détecté du tout

Comment un modèle de langage choisit son mot suivant

Livré à lui-même, un modèle de langage se contenterait de présenter sa liste complète classée des mots suivants possibles et de laisser autre chose choisir. En pratique, une stratégie de décodage effectue automatiquement ce choix, mot après mot, et la stratégie en cours modifie l’apparence de la sortie même lorsque le modèle sous-jacent ne change jamais.

Le décodage greedy sélectionne toujours le seul mot le plus probable. Dans l’article qui a introduit le nucleus sampling comme solution, Ari Holtzman et ses coauteurs ont observé que suivre cette stratégie conduit à un texte qui est, selon leurs propres termes, 'bland and strangely repetitive.' Le beam search, qui suit plusieurs prolongements probables à la fois avant d’en retenir un, rencontre une version similaire du même problème.

Les stratégies d’échantillonnage réintroduisent une certaine part d’aléa, mais de manière contrôlée. La température ajuste la netteté avec laquelle le modèle privilégie ses propres premiers choix avant qu’un mot ne soit tiré. Le nucleus sampling, parfois appelé top-p, tronque la distribution au plus petit ensemble de mots dont la probabilité cumulée dépasse un seuil et ne tire que dans cet ensemble, décrit dans l’article original comme un échantillonnage à partir d’un noyau dynamique de la distribution plutôt que de sa queue peu fiable.

Même les réglages les moins déterministes de cet ensemble s’appuient malgré tout sur une liste restreinte construite autour de ce que le modèle juge déjà probable. L’écriture humaine n’a jamais été produite en classant un vocabulaire et en tirant dans le haut de cette liste, elle dépasse donc constamment cette sélection restreinte. Le sens réside parfois dans le mot qui n’a jamais figuré sur la liste.

Platitude du vocabulaire, moins de mots, plus sûrs

La platitude du vocabulaire est la version, au niveau du mot, de la même habitude. À chaque point d’une phrase, des dizaines de mots pourraient plausiblement la poursuivre, mais quelques-uns se situent très au-dessus des autres dans le classement du modèle, et le décodage retombe sans cesse sur ce petit groupe. Si l’on multiplie ce choix par chaque phrase d’un document, l’éventail des mots effectivement employés se resserre de manière mesurable par rapport à une écriture humaine de longueur comparable.

L’effet s’accumule plutôt qu’il ne reste constant. Un modèle qui privilégie le mot le mieux classé dans la première phrase a plus de chances de créer un contexte où le mot le mieux classé dans la deuxième phrase est lui aussi courant, parce que les mots courants ont tendance à suivre les mots courants. Un rédacteur humain interrompt sans cesse cette dérive, en cherchant le terme technique précis, le verbe légèrement inhabituel, le mot qui nomme la chose réelle plutôt qu’une approximation prudente de celle-ci. Cette différence apparaît sous la forme d’un vocabulaire de travail mesurablement plus restreint dans la version générée, même lorsque les deux versions décrivent les mêmes faits sous-jacents.

C’est une propriété de l’ensemble du passage, et non d’un seul choix lexical. Un mot prudent ne prouve rien. Une page entière de tels mots, phrase après phrase, cherchant toujours le même rang de vocabulaire courant, voilà ce que le signal au niveau du mot d’un détecteur est réellement conçu pour repérer.

Uniformité syntaxique, les mêmes formes, répétées

L’uniformité syntaxique est la version, au niveau de la phrase. Il ne s’agit pas de la longueur d’une phrase. Il s’agit du nombre de formes grammaticales distinctes qu’un passage emploie, de la manière dont les phrases s’ouvrent, de la façon dont les propositions s’attachent les unes aux autres, de la fréquence à laquelle un mot de transition assure la liaison d’une idée à la suivante. Un modèle qui continue de prédire la structure suivante statistiquement probable se fixe dans une petite rotation de formes et la répète.

Un paragraphe peut faire varier la longueur de ses phrases tout en restant syntaxiquement plat si chaque phrase suit la même structure sujet-verbe-complément, s’ouvre avec le même type de transition, ou se résout de la même manière. La prévisibilité réside dans le schéma, et non dans le nombre de mots, une distinction abordée plus en détail dans le guide sur ce que la burstiness mesure réellement.

Ce qui se resserre	Ce que le texte optimisé pour le décodage tend à faire	Ce que l’écriture humaine tend à faire
Choix des mots	Retient le mot courant le plus probable à chaque étape	Privilégie le mot précis ou moins courant qui désigne la chose réelle
Ouverture de phrase	Répète une petite rotation d’ouvertures transitionnelles sûres	Varie la manière dont une phrase commence, y compris avec des ouvertures qu’un modèle classerait comme moins probables
Structure des propositions	Répète une ou deux formes grammaticales préférées sur un passage	Mélange des structures simples et complexes selon ce dont une phrase a besoin

Les choix qu’un humain tend seulement à faire

L’envers d’une bande étroite est ce qui se situe en dehors d’elle. Une personne qui décrit des événements réels cherche la valeur exacte plutôt qu’une valeur arrondie, admet la partie qui n’a pas fonctionné, interrompt une phrase pour la corriger en cours de pensée, ou choisit un mot qui est juste plutôt que typique. Chacun de ces choix est, du point de vue d’un modèle de langage, un jeton à faible probabilité, exactement le type d’élément que le décodage est conçu pour éviter.

Rien de tout cela ne signifie qu’une écriture spécifique ou inhabituelle est à l’abri de tout signalement, ni qu’une écriture fluide et correcte est suspecte par défaut. Une section de méthodes, une clause juridique, ou une version finale lourdement révisée peuvent se situer dans une bande étroite pour des raisons qui n’ont rien à voir avec un modèle, ce qui explique pourquoi un score unique décrit un schéma plutôt qu’un verdict sur la personne qui l’a tapé.

Voir où se situe votre propre brouillon sur cette échelle est plus utile que de deviner. Le vérificateur de perplexité gratuit et le vérificateur de burstiness gratuit de TextPulse mesurent séparément la prévisibilité au niveau du mot et le rythme d’une phrase à l’autre, de sorte qu’un vocabulaire plat et une structure de phrase répétée apparaissent comme deux signaux distincts plutôt que comme un seul chiffre mélangé.

Deux pages plus ciblées découlent de cela. Comment Turnitin détecte précisément l’IA en est une, et la différence entre son score de similarité et son score d’IA en est une autre, car les deux sont régulièrement confondus.

Toutes deux s’inscrivent dans la collection d’outils gratuits plus large, pour toute personne qui souhaite voir le schéma par elle-même plutôt que de faire aveuglément confiance à un seul chiffre.

Quelle part du web est désormais générée par l’IA ?

Selon plusieurs mesures, le texte produit par machine dépasse désormais le texte rédigé par des humains en ligne. Une équipe de Amazon Web Services a analysé 6,4 milliards de phrases issues du web et a constaté que 57.1% existaient comme traductions automatiques dans trois langues ou plus, dont une grande partie de faible qualité. Une analyse de 2025 menée par l’entreprise SEO Graphite a montré qu’un peu plus de la moitié des articles web nouvellement publiés étaient générés par IA. Wikipedia n’est pas exemptée, une étude de Princeton portant sur des pages créées en août 2024 a mesuré environ un nouvel article en anglais sur vingt comme étant substantiellement généré par IA.

Cette part augmente, parce que le coût de la production des modèles est inférieur de plusieurs ordres de grandeur à celui de l’écriture humaine et que chaque incitation commerciale va dans le même sens. Des plateformes entières fonctionnent désormais sans rédacteurs humains du tout, Chirper est un réseau social peuplé entièrement de comptes IA, où les humains ne peuvent que regarder, et SocialAI vend un fil dans lequel chaque réponse qui vous est adressée provient d’un bot. Les forums, les sections d’avis et les fils de commentaires présentent le même schéma à plus petite échelle.

Pour la détection, cela modifie le taux de base. Un classifieur lisant du texte web arbitraire en 2023 pouvait supposer que la plupart était humain, un classifieur en 2026 ne le peut pas. Cela alimente aussi un retour vers les modèles eux-mêmes, puisque chaque nouvelle génération s’entraîne sur un web que ses prédécesseurs ont déjà écrit, ce qui explique en partie pourquoi les habitudes lexicales sur lesquelles les détecteurs s’appuient se diffusent plutôt qu’elles ne s’estompent.

Pour votre propre écriture, la conséquence est nette, la prose rédigée par des humains devient la classe minoritaire, et les correcteurs, les éditeurs et les lecteurs le savent. Une suspicion accrue est désormais la norme, et c’est précisément pourquoi il est utile de comprendre ce qu’un détecteur peut mesurer et ce qu’il ne peut pas mesurer.

Ce que les détecteurs commerciaux ajoutent en plus

Les outils que les institutions achètent réellement n’exécutent pas la perplexité de manuel. Turnitin, GPTZero, Originality et les autres entraînent des classifieurs supervisés sur de grands ensembles étiquetés de textes humains et de textes produits par machine, en utilisant des caractéristiques statistiques aux côtés de caractéristiques stylistiques. Ce que le classifieur apprend, c’est ce qui distingue ces deux ensembles dans ses données d’entraînement, ce qui est plus étroit et plus historique que "AI writing" en général.

La dépendance à l’entraînement est le problème discret. Un classifieur entraîné principalement sur une génération de sorties de modèle doit généraliser à des modèles plus récents, à des disciplines peu familières, et à des auteurs dont l’anglais ne ressemble pas à sa distribution d’entraînement. Les fournisseurs publient des chiffres de précision tirés de leurs propres évaluations, et les benchmarks indépendants aboutissent régulièrement à des résultats bien inférieurs à ces chiffres pour les mêmes outils.

Lire un score sans le surinterpréter

Un rapport de détecteur arrive généralement sous forme de pourcentage, et ce pourcentage est régulièrement mal interprété. Il ne s’agit pas de la proportion de votre document rédigée par une machine. Selon l’outil, il s’agit d’un niveau de confiance du classifieur, ou de la part des phrases qui ont franchi un certain seuil interne, et les fournisseurs restent souvent vagues sur ce point. Deux rapports affichant tous deux soixante pour cent peuvent signifier des choses très différentes.

Il est également utile de savoir ce qui fait varier un score pour des raisons qui n’ont rien à voir avec l’auteur du texte. Les documents courts sont plus bruités, car il y a moins de texte pour stabiliser les moyennes, et un essai de cinq cents mots peut varier fortement sous l’effet de deux ou trois phrases inhabituelles. Le contenu cité compte aussi, sauf si l’outil le retire, de sorte qu’une revue de littérature remplie de citations en bloc hérite de la prévisibilité de ce qu’elle cite. Un passage technique chargé de terminologie standard se comporte de la même manière.

Si vous êtes la cible d’un signalement, la réponse utile est une preuve plutôt qu’un argument sur la métrique. L’historique des versions, les brouillons, les notes et les enregistrements de recherche témoignent tous du processus, et c’est le processus qu’un comité de manquement peut réellement évaluer. Il n’existe aucun seuil que l’on puisse citer pour distinguer un rédacteur soigneux d’un modèle.

Pourquoi les détecteurs signalent des textes qu’aucun modèle n’a produits

Les faux positifs ne constituent pas un dysfonctionnement rare. Ils découlent directement de la mesure de la typicité. Tout texte qui est réellement prévisible obtiendra un score de prévisibilité, quel que soit son auteur.

Les rédacteurs non natifs de l’anglais sont les plus touchés. Des chercheurs de Stanford ont constaté que les détecteurs classaient à tort une grande part des essais rédigés par des locuteurs non natifs comme générés par machine, tout en classant correctement les essais de locuteurs natifs. La raison est mécanique plutôt que malveillante, les rédacteurs qui travaillent dans une deuxième langue ont tendance à s’appuyer sur des constructions éprouvées et sur un vocabulaire plus courant. C’est exactement le profil d’une faible perplexité, ce qui explique pourquoi les rédacteurs ESL sont signalés pour avoir écrit avec soin.

Les conventions académiques provoquent le même problème. Une section de méthodologie est censée être formulée de manière stéréotypée. La rédaction juridique, la documentation technique et les comptes rendus cliniques récompensent tous la formulation standard plutôt que la formulation inventive. Une révision lourde aggrave encore ce phénomène, puisque polir un brouillon signifie généralement supprimer les irrégularités qui portaient votre signature statistique.

Les institutions l’ont remarqué. Vanderbilt a désactivé la fonction de détection de l’IA de Turnitin plutôt que d’agir sur des scores qu’elle ne pouvait pas vérifier, et d’autres universités ont limité la manière dont les chiffres peuvent être utilisés dans les procédures de manquement. Il faut considérer le score d’un détecteur comme un élément de preuve faible, et non comme un verdict.

Ce que cela signifie pour votre propre écriture

Le conseil pratique qui découle du fonctionnement n’a rien d’exotique, et rien de tout cela ne consiste à tricher avec quoi que ce soit. Variez délibérément la longueur de vos phrases, car c’est l’uniformité qui ressort. Conservez le détail précis, le chiffre exact, la limite exacte, ce qui a mal tourné à la sixième semaine. La compétence générique est ce qui est noté comme étant produit par une machine, et la précision est à la fois une meilleure écriture et un signal plus fort.

Conservez aussi votre propre idiome. Si vous avez une manière de formuler les choses, gardez-la. L’instinct qui consiste à lisser un brouillon jusqu’à ce qu’il ressemble à tous les autres articles du domaine est précisément celui qui fait baisser votre perplexité.

Une chose à éviter, certains outils introduisent délibérément des erreurs grammaticales pour augmenter la perplexité. Cela fonctionne sur la métrique et c’est une très mauvaise idée pour tout texte noté ou évalué par des pairs, puisque vous échangez un soupçon contre une certitude. L’objectif est une écriture qui se lit comme la vôtre, et non une écriture qui a été endommagée volontairement. C’est toute la différence entre réécrire pour un lecteur humain et dégrader un texte pour tromper un score.

Si vous voulez voir ces chiffres pour votre propre brouillon plutôt que de prendre un boîtier noir pour parole d’évangile, les mesures sous-jacentes ne sont pas secrètes. Les outils gratuits d’analyse de texte vous montreront où se situe votre prose, et vous pourrez décider vous-même si les passages trop uniformes constituent un problème stylistique qu’il vaut la peine de corriger.