Pourquoi le texte IA est-il détecté ? Les vraies raisons

Si vous demandez à un modèle de langage de compléter la phrase « The weather today is, », il n’essaiera pas de choisir une couleur comme « cerulean » ou « apocalyptic ». À la place, il essaiera de dire « sunny », « cloudy » ou « nice », parce que ce sont les mots qui suivaient le plus souvent cette expression dans tout ce sur quoi il a été entraîné. Le logiciel qui choisit le mot suivant dans une phrase a été conçu pour favoriser précisément ce type de réponse.

Pourquoi le texte généré par IA est-il détecté ? Parce que la même préférence qui choisit « sunny » plutôt que « cerulean » traverse tout un document, mot après mot, et le résultat se situe dans une bande plus étroite de l’écriture possible que celle qu’occupe réellement une personne. Un détecteur n’a pas besoin de repérer un mensonge. Il lui suffit de constater qu’un passage retombe sans cesse dans cette bande étroite.

Rien de ce qui suit n’exige de formule. Le mécanisme repose sur une seule idée, répétée à trois échelles différentes, le choix des mots, la forme des phrases et le détail précis qu’un auteur saisit sans y penser. Chacune de ces échelles alimente la question plus large de comment les détecteurs d’IA fonctionnent réellement, et chacune est plus facile à voir une fois que la cause première est nommée.

Pourquoi le texte généré par IA est-il détecté ? La réponse courte

Le texte généré par IA est détecté parce que le processus de décodage qui transforme les prédictions d’un modèle en phrases achevées est conçu pour favoriser les mots les plus probables à chaque étape, et le fait de procéder ainsi de manière constante, pendant des milliers de mots d’affilée, produit une écriture qui occupe une portion plus étroite de la langue que celle qu’occupe habituellement un être humain. Un outil statistique peut repérer cette étroitesse même lorsque chaque phrase est grammaticalement parfaite et factuellement exacte.

Trois symptômes découlent de cette seule cause. Le vocabulaire se resserre vers le mot courant le plus sûr. La structure des phrases se resserre vers quelques formes privilégiées. Et le choix précis, légèrement improbable, qu’une personne fait presque par réflexe, le mot étrange, la parenthèse, le détail qui ne coûte rien à inclure et tout à prévoir, tend à ne pas apparaître du tout.

Comment un modèle de langage choisit son mot suivant

Livré à lui-même, un modèle de langage se contenterait de présenter sa liste complète classée des mots suivants possibles et laisserait autre chose choisir. En pratique, une stratégie de décodage fait ce choix automatiquement, mot après mot, et la stratégie en cours modifie l’aspect de la sortie même lorsque le modèle sous-jacent ne change jamais.

Le décodage glouton sélectionne toujours le seul mot le plus probable. Dans l’article qui a introduit l’échantillonnage par noyau comme solution, Ari Holtzman et ses coauteurs ont observé que le fait de suivre cette stratégie conduit à un texte qui est, selon leurs propres termes, « terne et étrangement répétitif ». La recherche en faisceau, qui suit plusieurs prolongements probables à la fois avant d’en retenir un, rencontre une version similaire du même problème.

Les stratégies d’échantillonnage réintroduisent une certaine part d’aléa, mais de manière contrôlée. La température ajuste la netteté avec laquelle le modèle privilégie ses propres premiers choix avant qu’un mot ne soit tiré. L’échantillonnage par noyau, parfois appelé top-p, tronque la distribution au plus petit ensemble de mots dont la probabilité cumulée franchit un seuil et ne tire que dans cet ensemble, décrit dans l’article original comme un échantillonnage à partir d’un noyau dynamique de la distribution plutôt que de sa queue peu fiable.

Même le réglage le moins déterministe de ces paramètres tire encore dans une liste restreinte construite autour de ce que le modèle juge déjà probable. L’écriture humaine n’a jamais été générée en classant un vocabulaire et en tirant dans le haut de cette liste, elle s’en écarte donc constamment. Le sens réside parfois dans le mot qui n’a jamais figuré sur la liste.

Platitude du vocabulaire, moins de mots, plus sûrs

La platitude du vocabulaire est la version au niveau du mot de la même habitude. À chaque point d’une phrase, des dizaines de mots pourraient plausiblement la poursuivre, mais quelques-uns se situent très au-dessus des autres dans le classement du modèle, et le décodage retombe sans cesse sur ce petit groupe. En multipliant ce choix par chaque phrase d’un document, la gamme des mots effectivement utilisés se resserre de manière mesurable par rapport à un texte humain de longueur comparable.

L’effet s’accumule plutôt que de rester constant. Un modèle qui va chercher le mot le mieux classé dans la phrase un est plus susceptible de mettre en place un contexte où le mot le mieux classé dans la phrase deux est lui aussi courant, parce que les mots courants ont tendance à suivre les mots courants. Un rédacteur humain interrompt sans cesse cette dérive, en allant chercher le terme technique précis, le verbe légèrement inhabituel, le mot qui nomme la chose réelle plutôt qu’une approximation prudente de celle-ci. Cette différence se manifeste par un vocabulaire de travail mesurablement plus restreint dans la version générée, même lorsque les deux versions décrivent les mêmes faits sous-jacents.

C’est une propriété de l’ensemble du passage, et non d’un seul choix lexical. Un mot prudent ne prouve rien. Une page entière de tels mots, phrase après phrase, allant chercher le même rang de vocabulaire courant, voilà ce que le signal au niveau des mots d’un détecteur est réellement conçu pour repérer.

Uniformité syntaxique, les mêmes formes, répétées

L’uniformité syntaxique est la version au niveau de la phrase. Il ne s’agit pas de la longueur d’une phrase. Il s’agit du nombre de formes grammaticales distinctes qu’un passage emploie, de la manière dont les phrases s’ouvrent, de la manière dont les propositions s’attachent les unes aux autres, de la fréquence à laquelle un mot de transition fait le travail de relier une idée à la suivante. Un modèle qui continue de prédire la structure suivante statistiquement probable se fixe dans une petite rotation de formes et la répète.

Un paragraphe peut faire varier la longueur de ses phrases tout en restant syntaxiquement plat si chaque phrase suit la même structure sujet-verbe-complément, s’ouvre avec le même type de transition, ou se résout de la même manière. La prévisibilité réside dans le schéma, et non dans le nombre de mots, une distinction abordée plus en détail dans le guide sur ce que la burstiness mesure réellement.

Ce qui rétrécit	Ce que le texte optimisé pour le décodage tend à faire	Ce que l’écriture humaine tend à faire
Choix des mots	Retient à chaque étape le mot courant le plus probable	Va vers le mot précis ou moins courant qui désigne la chose réelle
Début de phrase	Répète une petite rotation d’ouvertures de transition sûres	Varie la manière dont une phrase commence, y compris des ouvertures qu’un modèle classerait comme moins probables
Structure des propositions	Répète une ou deux formes grammaticales privilégiées sur un passage	Mêle des structures simples et complexes selon ce dont une phrase a besoin

Les choix qu’un humain tend seulement à faire

L’envers d’une bande étroite est ce qui se trouve en dehors. Une personne qui décrit des événements réels va vers le chiffre exact plutôt qu’un chiffre arrondi, admet la partie qui n’a pas fonctionné, interrompt une phrase pour la corriger en cours de pensée, ou choisit un mot qui est juste plutôt que typique. Chacun de ces choix est, du point de vue d’un modèle de langage, un jeton à faible probabilité, exactement le type de chose que le décodage est conçu pour éviter.

Rien de tout cela ne signifie qu’une écriture précise ou inhabituelle est à l’abri de tout signalement, ni qu’une écriture fluide et correcte est suspecte par défaut. Une section de méthodes, une clause juridique, ou une version finale lourdement révisée peuvent se situer dans une bande étroite pour des raisons qui n’ont rien à voir avec un modèle, ce qui explique qu’un score unique soit la description d’un schéma plutôt qu’un verdict sur la personne qui l’a tapé.

Voir où se situe votre propre brouillon dans cette bande est plus utile que de deviner. Le vérificateur de perplexité gratuit et le vérificateur de burstiness de TextPulse mesurent séparément la prévisibilité au niveau des mots et le rythme d’une phrase à l’autre, de sorte qu’un vocabulaire plat et une structure de phrase répétée apparaissent comme deux signaux distincts plutôt que comme un seul nombre mélangé.

Deux pages plus étroites en découlent. Comment Turnitin détecte spécifiquement l’IA en est une, et la différence entre son score de similarité et son score d’IA en est l’autre, car les deux sont régulièrement confondus l’un avec l’autre.

Toutes deux s’inscrivent dans la collection d’outils gratuits plus large, pour toute personne qui souhaite voir le schéma par elle-même plutôt que de se fier aveuglément à un seul chiffre.