Qu’est-ce que la perplexité dans la détection d’IA ?

Recherchez ensemble perplexity et la détection de l'IA, et plusieurs des premiers résultats concernent en réalité un produit sans rapport, un moteur de recherche alimenté par l'IA qui porte aussi le nom de Perplexity. La métrique qu'un détecteur signale ne partage rien avec cette entreprise, sinon le mot. Elle provient de la recherche en reconnaissance vocale, plusieurs décennies avant GPTZero ou le moteur de recherche, et elle mesure quelque chose de plus étroit que l'un ou l'autre, à savoir à quel point un modèle de langage est surpris par les mots déjà présents sur la page.

Alors, qu'est-ce que la perplexité dans la détection de l'IA ? La perplexité est un score qui décrit dans quelle mesure un modèle de langage a prédit les mots exacts d'un passage, obtenu en faisant la moyenne des probabilités du modèle puis en convertissant le résultat en un seul nombre. Un score faible signifie que le modèle a continué à deviner correctement. Un score élevé signifie qu'il a continué à être surpris.

L'idée est plus ancienne que n'importe quel détecteur d'IA sur le marché, et, à elle seule, elle ne dit rien sur l'auteur d'un document. Une fois que l'arithmétique derrière le nombre devient visible, un score dans un rapport cesse de ressembler à un verdict et commence à ressembler à ce qu'il est réellement, une description du choix des mots.

Qu'est-ce que la perplexité dans la détection de l'IA ?

La perplexité est une mesure empruntée à la modélisation du langage. Elle évalue dans quelle mesure un modèle a prédit les mots précis qui apparaissent dans un passage et exprime ce score sous la forme d’un seul nombre. Les détecteurs appliquent la même mesure à un document soumis, un nombre faible, qui signifie que les suppositions du modèle correspondaient de près aux mots réels, est interprété comme un indice de paternité machine, et un nombre élevé est interprété comme un indice de paternité humaine. Rien dans le calcul ne lit l’argument du document, ses citations ou son sujet. Il lit seulement à quel point chaque mot était attendu, un à un.

Les détecteurs n’ont pas inventé cette mesure. Ils ont emprunté un outil que les systèmes de reconnaissance vocale et de traduction automatique utilisaient déjà depuis des décennies pour juger dans quelle mesure un modèle prédisait la langue ordinaire, et l’ont réutilisé comme proxy de la paternité, une tâche pour laquelle il n’avait pas été conçu à l’origine.

Rien de tout cela n’a le moindre rapport avec le moteur de recherche sans lien mentionné plus haut. La perplexité qu’un détecteur signale n’est jamais une entreprise et ne prend jamais de majuscule, c’est une propriété statistique simple d’une séquence de mots, calculée à neuf à partir du texte qui lui est donné.

Comment la perplexité est réellement calculée

Le calcul remonte plus loin que n’importe quel produit d’IA. Frederick Jelinek, Robert Mercer, Lalit Bahl et James Baker ont introduit la perplexité en 1977 pour mesurer à quel point une tâche de reconnaissance vocale était difficile pour un modèle statistique, des décennies avant que quiconque n’applique ce terme à une dissertation ou à un rapport de laboratoire. La définition n’a pas changé depuis.

À chaque position dans un document, le modèle produit une probabilité pour le mot qui vient réellement ensuite, quelque chose comme 0.72 pour une transition courante ou 0.03 pour une transition inhabituelle. La perplexité fait la moyenne des logarithmes de ces probabilités sur l’ensemble du passage, puis inverse cette moyenne au moyen d’un exposant.

L’exposant dans there’s fait plus qu’il n’y paraît. Faire la moyenne des probabilités logarithmiques est exactement ce que nous faisons lorsque nous calculons l’entropie croisée, c’est-à-dire la manière, en théorie de l’information, d’exprimer combien de bits il faut pour encoder une séquence à partir des prédictions faites par un modèle. Mais la perplexité traduit le nombre de bits en quelque chose que nous pouvons mieux comprendre, un nombre effectif de choix, plutôt qu’un décompte abstrait de bits.

Ce qui subsiste de cette arithmétique a une lecture nette, presque physique. Un modèle qui est complètement certain à chaque fois produit une perplexité de 1, le plancher de l’échelle. Un modèle qui traite chaque position comme un tirage à pile ou face entre quatre-vingts mots équiprobables produit une perplexité de 80.

La plupart des documents réels se situent quelque part entre ces deux extrêmes, et l’endroit exact dépend de l’auteur, du sujet, et du modèle qui lit.

Pourquoi l’écriture humaine tend à obtenir un score différent

Les attentes d’un modèle sont entièrement construites à partir de ce qui précède, un mot à la fois. Après l’expression 'the treatment group showed a statistically', l’écrasante majorité des prolongements bien formés est 'significant', et un modèle entraîné sur un grand volume d’écriture scientifique attribue à ce mot une forte probabilité sans hésitation. Un auteur humain arrivant à la même expression pourrait aussi choisir 'significant', parce que l’expression elle-même est un marqueur du genre. L’écart apparaît ailleurs, dans le nom choisi deux phrases plus loin, dans la précision ajoutée entre parenthèses, dans le nombre rapporté avec une décimale inhabituelle plutôt qu’avec un nombre rond.

Il n’y a là aucune ruse. Lorsqu’une personne qui écrit sur des données réelles cherche le nombre exact, le qualificatif précis, le mot légèrement plus étroit, elle cherche des éléments qui sont vrais du travail plutôt que vrais du genre. Et chacun de ces choix coûte au modèle un peu plus de surprise. La surprise est ce que le score est conçu pour additionner.

L’inférence fait plus de travail que ce que la mesure peut justifier. La perplexité mesure directement la prévisibilité. Elle n’infère la paternité que en supposant qu’une écriture prévisible est rare chez les humains et fréquente chez les modèles, une hypothèse qui est généralement raisonnable et parfois erronée d’une manière précise et identifiable, puisque la prévisibilité est une propriété que le texte peut avoir pour des raisons qui n’ont rien à voir avec la personne qui l’a saisi.

Pourquoi le même passage peut obtenir des scores différents

Le score est aussi moins portable qu’il n’y paraît, parce qu’il n’est jamais mesuré dans le vide. La perplexité est toujours calculée par rapport à l’entraînement d’un modèle de référence spécifique, et cette dépendance crée des problèmes qu’aucune définition isolée ne peut montrer à elle seule.

Facteur	Ce qui change	Pourquoi cela se produit
Quel modèle effectue la lecture	Le même paragraphe peut obtenir un score faible avec un modèle et élevé avec un autre	La perplexité n’est jamais mesurée que par rapport aux données d’entraînement d’un seul modèle, et différents modèles ont été entraînés sur des textes différents
Si le passage est un texte largement reproduit	Un document historique célèbre ou une définition de manuel peut obtenir une faible perplexité même lorsqu’une personne a saisi chaque mot dans le détecteur	Pangram Labs cite la Déclaration d’indépendance comme exemple, elle est si souvent citée dans les données d’entraînement qu’un modèle trouve chacune de ses phrases peu surprenante
Si le détecteur peut voir des probabilités de jetons du tout	Les modèles commerciaux fermés tels que ChatGPT, Gemini et Claude n’exposent pas les probabilités par mot dont la perplexité a besoin	Les détecteurs approchent le score avec un modèle de remplacement ouvert au lieu de calculer la perplexité par rapport au modèle qui a réellement produit le texte

Rien de tout cela ne rend le nombre dénué de sens, seulement plus risqué à prendre comme verdict à lui seul. La documentation propre à GPTZero a autrefois publié une règle empirique approximative, selon laquelle une perplexité supérieure à 85 était lue comme plus probablement humaine, mais le seuil d’un seul fournisseur sur un modèle ne se transpose pas à un outil différent évalué par rapport à un autre. Un détecteur qui affiche un score unique condense tous les facteurs ci-dessus en une seule valeur sans dire lesquels ont réellement joué un rôle.

Ce que dit réellement un score de perplexité

Les détecteurs commerciaux combinent la perplexité avec des schémas au niveau des phrases, l’entraînement du classifieur et plusieurs autres signaux avant même d’afficher un seul nombre dans un rapport. Le tableau plus complet de comment les détecteurs d’IA fonctionnent réellement est traité séparément, et il explique d’où vient le reste de ce nombre.

Le rythme d’une phrase à l’autre est un signal lié mais distinct, traité pour lui-même par le vérificateur de burstiness, et il examine l’ampleur de la variation à travers un passage plutôt qu’un mot isolé.

Aucun de ces nombres ne peut prouver qui a rédigé un document, y compris le Human Score estimé que TextPulse calcule à partir d’un brouillon soumis, lequel décrit le texte plutôt que de rendre un verdict à son sujet. Une version simplifiée de la même idée, la variété du vocabulaire plutôt que la probabilité complète du modèle, alimente le vérificateur de perplexité gratuit sur ce site, qu’il vaut la peine d’essayer sur un paragraphe dont l’origine est déjà connue avant de faire confiance à ce qu’un rapport dit au sujet de celui de quelqu’un d’autre.

Le vérificateur de perplexité se trouve aux côtés du reste des outils gratuits de TextPulse, de sorte qu’un examen complet d’un brouillon, du vocabulaire, du rythme et de tout le reste, ne nécessite pas d’avoir une douzaine d’onglets distincts ouverts en même temps.

La perplexité est l’une des deux statistiques sur lesquelles ces systèmes s’appuient. L’autre est la burstiness, la variation de la longueur et de la structure des phrases dans un passage, et sous les deux se trouve l’arithmétique des probabilités des tokens qui produit d’abord le score.

Un nombre sur un rapport est l’aboutissement d’une longue chaîne d’arithmétique, et non le point de départ d’un débat sur l’auteur d’un texte. La question la plus intéressante, une fois que l’arithmétique cesse d’être mystérieuse, est de savoir précisément ce qui a rendu un document surprenant ou prévisible au départ, et c’est une question qui concerne l’écriture elle-même.