Les détecteurs d'IA s'appuient-ils encore sur la perplexité et la burstiness ?

Recherchez comment GPTZero détecte aujourd’hui les textes rédigés par IA, et la plupart des résultats continuent de se concentrer sur deux statistiques, la perplexité et la burstiness, le duo qui a rendu l’outil célèbre en quelques semaines après son lancement en janvier 2023. La propre documentation d’assistance de GPTZero indique désormais autre chose, à savoir qu’il a cessé d’utiliser ces deux éléments à l’automne de cette même année.

Alors, la burstiness est-elle encore utilisée par les détecteurs d’IA ? Pas par l’outil qui a fait de ce terme une expression courante dans les milieux universitaires. Le centre d’assistance de GPTZero indique clairement qu’il n’utilise plus la perplexité ni la burstiness, ayant adopté à la place une architecture d’apprentissage profond. Turnitin, l’outil que la plupart des étudiants rencontrent réellement, n’a jamais publié l’un ou l’autre de ces termes comme faisant partie de sa méthode. Ces concepts n’ont pas disparu de la conversation. Ils ont disparu des produits qui effectuent réellement la détection.

La burstiness est-elle encore utilisée par les détecteurs d’IA ?

Non, pas par GPTZero, et pas sous ce nom. La propre documentation d’assistance de GPTZero l’indique directement : "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Les propres guides de Turnitin décrivent encore une méthode différente, fondée sur l’attribution d’un score à des segments d’une soumission à l’aide d’un classificateur entraîné, et aucun de ces deux termes n’apparaît non plus dans cette documentation. Les deux statistiques qui ont défini la première vague de détection de l’IA ne sont pas ce que les principaux outils exécutent actuellement. Cela est plus précis que de dire qu’elles ont été abandonnées, car le propre texte explicatif de GPTZero les compte encore parmi sept indicateurs alimentant son modèle. Elles ont cessé d’être la méthode sans cesser d’être une mesure, et la différence entre ces deux affirmations est en grande partie au cœur de cette question.

Ce qui a changé à l’automne 2023

Les deux termes n’ont jamais été obscurs. Le propre premier texte explicatif de GPTZero définissait la perplexité comme « une mesure de la probabilité qu’un modèle d’IA ait choisi exactement le même ensemble de mots que celui trouvé dans le document », et la burstiness comme « une mesure de la variation des schémas d’écriture et des perplexités du texte sur l’ensemble du document », une statistique au niveau du document, et non un simple comptage de la longueur des phrases. Ces deux définitions sont toujours publiées sur le site de GPTZero. Ce qui a changé, c’est lequel des deux le détecteur exécute réellement.

« Migrated to a deep-learning based architecture » est une affirmation précise, et non une formule marketing, et elle décrit un véritable changement de nature. Un score de perplexité est calculé directement à partir d’une formule, on fait passer le texte par un modèle de langage de référence, on moyenne les probabilités logarithmiques, puis on exponentie le résultat. Un classifieur d’apprentissage profond est entraîné à la place, on lui montre de grands nombres d’exemples rédigés par des humains et par l’IA jusqu’à ce qu’il apprenne, par lui-même, toute combinaison de caractéristiques qui sépare les deux ensembles dans ces données d’entraînement. Personne n’écrit la règle à la main dans la seconde approche. Le modèle la trouve.

Les deux termes retirés font l’objet d’une explication complète ailleurs sur ce site, ce que la perplexité mesure réellement et ce que la burstiness mesure réellement exposent chacun en détail leur propre fonctionnement, y compris les formules qui les sous-tendent. Cet article se limite strictement à la question de savoir si l’un ou l’autre est encore ce qu’un détecteur exécute aujourd’hui.

Ce que GPTZero et Turnitin documentent réellement aujourd’hui

La page technologique actuelle de GPTZero, qui décrit ce qui est livré dans le produit, indique que leur détecteur est une « end-to-end deep learning approach », avec un « sentence-by-sentence classification model » qui produit une sortie de probabilité avec un score de confiance. La perplexité et la burstiness n’apparaissent nulle part sur cette page, ni comme composant, ni comme fonctionnalité héritée, ni dans une note de bas de page.

La documentation de Turnitin n’a jamais été conçue autour de l’un ou l’autre terme au départ. Ses guides décrivent une soumission découpée en segments de quelques centaines de mots, chaque segment étant évalué par un modèle entraîné, puis les scores des segments étant moyennés pour produire le pourcentage unique affiché par un rapport. Il s’agit d’un classifieur supervisé qui fonctionne sur des segments de texte, de la même famille de méthode vers laquelle GPTZero s’est orienté, et non d’un calcul de perplexité ni d’un calcul de burstiness sous un autre nom.

Le changement est le plus facile à voir côte à côte.

	Ce que les premières explications décrivaient (2023)	Ce que la documentation actuelle décrit
GPTZero	Perplexity et burstiness, évaluées par rapport à un modèle de référence	Un classifieur de deep learning, phrase par phrase, produisant une probabilité et un score de confiance
Turnitin	Jamais publié, les termes n’apparaissent à aucun moment dans les propres documents de Turnitin	Des segments de quelques centaines de mots évalués par un classifieur entraîné, moyennés en un seul pourcentage

Pourquoi ces concepts expliquent encore la détectabilité

Rien de tout cela ne rend perplexity et burstiness faux, seulement dépassés comme description du mécanisme actuel. Ces deux concepts ont toujours décrit quelque chose de réel, le texte généré par échantillonnage vers les continuations les plus probables d’un modèle tend à être plus prévisible, mot par mot, que le texte qu’une personne écrit à partir de zéro, il tend aussi à varier moins d’une phrase à l’autre. La régularité sous-jacente n’a pas changé parce qu’un fournisseur a modifié l’architecture de son détecteur. Ce qui a changé, c’est la manière dont le détecteur cherche cette régularité.

Le classifieur entraîné n’est pas explicitement invité à rechercher la perplexité ou la burstiness. Il est plutôt entraîné sur la même distinction fondamentale entre texte humain et texte machine que ces deux statistiques ont été conçues pour saisir. Et il semble hautement improbable qu’un classifieur entraîné à distinguer les deux ensembles ne s’appuie pas lui aussi précisément sur cette régularité, l’une des différences les plus fiables entre les deux. Il s’agit d’une inférence sur la raison pour laquelle le classifieur fonctionne probablement, et non d’une affirmation sur sa liste de caractéristiques publiée, et il faut garder ces deux éléments distincts.

Des recherches indépendantes étayent l’idée que la statistique sous-jacente conserve sa pertinence, même en dehors du produit d’un seul fournisseur. DetectGPT, une méthode académique zero-shot publiée en 2023, examine un proche cousin de la perplexité, à savoir la netteté avec laquelle la fonction de log-probabilité d’un modèle se courbe autour d’un passage, et atteint 0.95 AUROC sur un benchmark contre 0.81 pour le meilleur baseline zero-shot antérieur, sans entraîner du tout un classifieur sur des exemples étiquetés. L’idée centrale, selon laquelle le texte généré par machine se situe dans une région statistiquement distincte de l’espace de probabilité propre à un modèle, reste un domaine de recherche actif. Ce n’est simplement pas ce que GPTZero fournit aux utilisateurs.

Pourquoi une si grande partie de l’Internet continue de se tromper sur ce point

La plupart des explications publiées sur le fonctionnement de la détection de l’IA ont été rédigées pendant ou peu après le lancement de GPTZero en janvier 2023, lorsque la perplexité et la burstiness étaient le seul cadrage public proposé par l’entreprise elle-même. Ces pages explicatives d’origine sont toujours en ligne aujourd’hui. L’avis de retrait de l’automne 2023 figure sur une page d’assistance séparée plutôt que d’être intégré à ces pages, de sorte qu’un auteur qui aurait lu la première page puis cessé ses recherches n’aurait aucune raison de savoir que la méthode a changé moins d’un an plus tard.

Un examen de détecteur tiers circulant en 2026 affirme que GPTZero utilise encore la perplexité et la burstiness comme une couche parmi plusieurs au sein d’un système plus vaste. Cette affirmation contredit directement la page technologique actuelle de GPTZero et sa propre documentation d’assistance, et rien sur le site de GPTZero ne la corrobore. Une entreprise qui décrit son propre produit livré prime encore sur une affirmation non corroborée d’un tiers à propos de ce même produit, même si la documentation du fournisseur peut elle aussi être erronée. Cet article suit les pages de GPTZero lui-même plutôt que l’examen qui répète l’ancienne version.

Ce que cela signifie pour votre manière d’écrire

Les conseils pratiques construits autour de la burstiness ne sont pas devenus inutiles simplement parce que le mot a disparu des propres documents de GPTZero. Varier délibérément la longueur des phrases reste, mécaniquement, une manière d’éviter la même uniformité statistique qu’un classificateur est très probablement entraîné à repérer, quel que soit le nom qu’il donne en interne à ce signal. Le conseil sous-jacent a survécu au changement d’architecture du fournisseur, même si le vocabulaire qui le décrivait ne l’a pas fait.

Rien de tout cela n’exige de croire qui que ce soit sur parole, y compris cet article. Le vérificateur de perplexité gratuit de TextPulse et la plus large collection d’outils gratuits vous permettent d’examiner où se situe votre propre brouillon avant qu’un détecteur, quelle que soit sa génération, ne le fasse.

Si la réponse vous renvoie à votre propre écriture, les suites pratiques sont d’augmenter délibérément la burstiness et de faire varier la longueur des phrases dans un paragraphe académique, ce qui revient au même travail décrit sans la métrique.

Le mécanisme qu’un détecteur exécute continuera de changer, GPTZero l’a déjà modifié une fois. Ce qui reste constant est la vraie question, traitée en détail dans le guide de ce site sur le fonctionnement réel des détecteurs d’IA : savoir si une écriture prévisible est la même chose qu’une écriture produite par machine, quelle que soit la formule à la mode une année donnée.