Qu’est-ce que la perplexité dans la détection d’IA ?

Recherchez ensemble perplexity et la détection de l'IA, et plusieurs des premiers résultats concernent en fait un produit sans rapport, un moteur de recherche alimenté par l'IA qui porte aussi le nom de Perplexity. La métrique qu'un détecteur signale réellement n'a rien en commun avec cette société, sinon le mot. Elle provient de la recherche en reconnaissance vocale, plusieurs décennies avant GPTZero ou le moteur de recherche, et elle mesure quelque chose de plus étroit que l'un ou l'autre, à savoir à quel point un modèle de langage est surpris par les mots déjà présents sur la page.

Alors, qu'est-ce que la perplexité dans la détection de l'IA ? La perplexité est un score qui décrit dans quelle mesure un modèle de langage a prédit les mots exacts d'un passage, obtenu en faisant la moyenne des probabilités du modèle lui-même puis en convertissant le résultat en un seul nombre. Un score faible signifie que le modèle a continué à deviner correctement. Un score élevé signifie qu'il a continué à être surpris.

L'idée est plus ancienne que n'importe quel détecteur d'IA sur le marché, et, à elle seule, elle ne dit rien sur l'auteur d'un document. Une fois que l'arithmétique derrière le nombre devient visible, un score dans un rapport cesse de ressembler à un verdict et commence à ressembler à ce qu'il est réellement, une description du choix des mots.

Qu'est-ce que la perplexité dans la détection de l'IA ?

La perplexité est une mesure empruntée à la modélisation du langage. Elle évalue dans quelle mesure un modèle a prédit les mots précis qui apparaissent dans un passage et présente ce score sous la forme d'un seul nombre. Les détecteurs appliquent la même mesure à un document soumis, un nombre faible, qui signifie que les suppositions du modèle correspondaient de près aux mots réels, est lu comme un indice d'une paternité machine, et un nombre élevé est lu comme un indice d'une paternité humaine. Rien dans le calcul ne lit l'argument du document, ses citations ou son sujet. Il lit seulement à quel point chaque mot était attendu, un à la fois.

Les détecteurs n'ont pas inventé cette mesure. Ils ont emprunté un outil que les systèmes de reconnaissance vocale et de traduction automatique utilisaient déjà depuis des décennies pour juger dans quelle mesure un modèle prédisait le langage ordinaire, puis l'ont réutilisé comme indicateur indirect de la paternité, une fonction pour laquelle il n'avait pas été conçu à l'origine.

Rien de tout cela n’a de rapport avec le moteur de recherche sans lien mentionné plus haut. La perplexité qu’un détecteur signale n’est jamais une entreprise et ne prend jamais de majuscule, c’est une simple propriété statistique d’une suite de mots, calculée à neuf à partir du texte qui lui est fourni.

Comment la perplexité est réellement calculée

Le calcul remonte plus loin que n’importe quel produit d’IA. Frederick Jelinek, Robert Mercer, Lalit Bahl et James Baker ont introduit la perplexité en 1977 pour mesurer la difficulté d’une tâche de reconnaissance vocale pour un modèle statistique, des décennies avant que quiconque n’applique ce terme à un essai ou à un rapport de laboratoire. La définition n’a pas changé depuis.

À chaque position dans un document, le modèle produit une probabilité pour le mot qui vient réellement ensuite, quelque chose comme 0.72 pour une transition courante ou 0.03 pour une transition inhabituelle. La perplexité fait la moyenne des logarithmes de ces probabilités sur l’ensemble du passage, puis inverse cette moyenne au moyen d’un exposant.

L’exposant dans there’s fait plus qu’il n’y paraît. Faire la moyenne des probabilités logarithmiques est exactement ce que nous faisons lorsque nous calculons l’entropie croisée, qui est la manière, en théorie de l’information, de dire combien de bits il faut pour encoder une suite compte tenu des prédictions faites par un modèle. Mais la perplexité traduit le nombre de bits en quelque chose de plus compréhensible, un nombre effectif de choix, plutôt qu’un compte abstrait de bits.

Ce qui subsiste de cette arithmétique a une lecture nette, presque physique. Un modèle qui est complètement certain à chaque fois produit une perplexité de 1, le plancher de l’échelle. Un modèle qui traite chaque position comme un tirage à pile ou face entre quatre-vingts mots équiprobables produit une perplexité de 80.

La plupart des documents réels se situent quelque part entre ces deux extrêmes, et l’emplacement exact dépend de l’auteur, du sujet et du modèle qui effectue la lecture.

Pourquoi l’écriture humaine tend à obtenir un score différent

Les attentes d’un modèle se construisent entièrement à partir de ce qui précède, un mot à la fois. Après l’expression « the treatment group showed a statistically », l’écrasante majorité des continuations bien formées est « significant », et un modèle entraîné sur un grand volume d’écrits scientifiques attribue à ce mot une probabilité élevée sans hésitation. Un rédacteur humain arrivant à la même expression pourrait aussi choisir « significant », parce que l’expression elle-même est un élément fixe du genre. L’écart apparaît ailleurs, dans le nom choisi deux phrases plus loin, dans la remarque ajoutée entre parenthèses, dans le nombre indiqué avec une décimale inhabituelle au lieu d’un nombre rond.

Rien de tout cela n’est un artifice. Lorsqu’une personne qui écrit sur des données réelles cherche le nombre exact, le qualificatif précis, le mot légèrement plus étroit, elle cherche des éléments qui sont vrais du travail plutôt que vrais du genre. Et chacun de ces choix coûte au modèle un peu plus de surprise. La surprise est ce que le score est conçu pour additionner.

L’inférence fait davantage de travail que la mesure ne peut en soutenir. La perplexité mesure directement la prévisibilité. Elle n’infère la paternité que parce qu’elle suppose qu’une écriture prévisible est rare chez les humains et fréquente chez les modèles, une hypothèse qui est généralement raisonnable et parfois fausse d’une manière précise et identifiable, puisque la prévisibilité est une propriété que le texte peut avoir pour des raisons qui n’ont rien à voir avec la personne qui l’a tapé.

Pourquoi le même passage peut obtenir des scores différents

Le score est aussi moins portable qu’il n’y paraît, parce qu’il n’est jamais mesuré dans le vide. La perplexité est toujours calculée par rapport à l’entraînement d’un modèle de référence spécifique, et cette dépendance crée des problèmes qu’aucune définition isolée ne peut montrer à elle seule.

Facteur	Ce qui change	Pourquoi cela se produit
Quel modèle effectue la lecture	Le même paragraphe peut obtenir un score faible sur un modèle et élevé sur un autre	La perplexité n'est jamais mesurée qu'en fonction des données d'entraînement d'un seul modèle, et différents modèles ont été entraînés sur des textes différents
Si le passage est un texte largement reproduit	Un document historique célèbre ou une définition de manuel peut obtenir une faible perplexité même lorsqu'une personne a saisi chaque mot dans le détecteur	Pangram Labs cite la Déclaration d'indépendance comme exemple, elle est si souvent citée dans les données d'entraînement qu'un modèle trouve chacune de ses phrases peu surprenante
Si le détecteur peut voir les probabilités des jetons du tout	Les modèles commerciaux fermés tels que ChatGPT, Gemini et Claude n'exposent pas les probabilités par mot dont la perplexité a besoin	Les détecteurs approximativement le score à l'aide d'un modèle ouvert de substitution au lieu de calculer la perplexité par rapport au modèle qui a réellement produit le texte

Tout cela ne rend pas le nombre dénué de sens, mais seulement plus risqué à prendre pour un verdict à lui seul. La propre documentation de GPTZero a autrefois publié une règle empirique approximative, une perplexité supérieure à 85 étant lue comme plus probablement humaine, mais le seuil d'un seul fournisseur sur un modèle ne se transpose pas à un autre outil mesuré par rapport à un autre modèle. Un détecteur qui affiche un score unique condense tous les facteurs ci-dessus en une seule valeur sans dire lesquels ont joué le rôle décisif.

Ce qu'un score de perplexité vous indique réellement

Les détecteurs commerciaux combinent la perplexité avec des schémas au niveau des phrases, l'entraînement du classifieur et plusieurs autres signaux avant même d'afficher un seul nombre dans un rapport. Le tableau plus complet de comment les détecteurs d'IA fonctionnent réellement est traité séparément, et il explique d'où vient le reste de ce nombre.

Le rythme de phrase à phrase est un signal lié mais distinct, traité pour lui-même par le vérificateur de burstiness, et il examine l’ampleur de la variation à l’intérieur d’un passage plutôt qu’un mot isolé.

Aucun de ces chiffres ne peut prouver qui a rédigé un document, y compris le Human Score estimé que TextPulse calcule à partir d’un brouillon soumis, lequel décrit le texte plutôt que de rendre un verdict à son sujet. Une version simplifiée de la même idée, la variété du vocabulaire plutôt que la probabilité complète du modèle, alimente le vérificateur de perplexity gratuit sur ce site, qu’il vaut la peine d’essayer sur un paragraphe dont l’origine est déjà connue avant de faire confiance à ce qu’un rapport dit au sujet de celui de quelqu’un d’autre.

Le vérificateur de perplexity se trouve aux côtés des autres outils gratuits de TextPulse, de sorte qu’un examen complet d’un brouillon, du vocabulaire, du rythme et de tout le reste, ne nécessite pas d’avoir une douzaine d’onglets distincts ouverts en même temps.

La perplexity est l’une des deux statistiques sur lesquelles ces systèmes s’appuient. L’autre est la burstiness, la variation de la longueur et de la structure des phrases à travers un passage, et sous ces deux éléments se trouve l’arithmétique de la probabilité des jetons qui produit d’abord le score.

Un chiffre sur un rapport est l’aboutissement d’une longue chaîne d’arithmétique, et non le point de départ d’un argument sur l’auteur d’un texte. La question la plus intéressante, une fois que l’arithmétique cesse d’être mystérieuse, est de savoir ce qui, précisément, a rendu un document surprenant ou prévisible au départ, et c’est une question qui porte sur l’écriture elle-même.