Les détecteurs d'IA s'appuient-ils encore sur la perplexité et la burstiness ?

Recherchez comment GPTZero détecte aujourd’hui les textes rédigés par IA, et la plupart des résultats continuent de se concentrer sur deux statistiques, la perplexité et la burstiness, le duo qui a rendu l’outil célèbre en quelques semaines après son lancement en janvier 2023. La propre documentation d’assistance de GPTZero indique désormais autre chose, il a cessé d’utiliser ces deux éléments à l’automne de cette même année.

Alors, la burstiness est-elle encore utilisée par les détecteurs d’IA ? Pas par l’outil qui a fait de ce terme un mot courant dans les milieux universitaires. Le centre d’assistance de GPTZero indique clairement qu’il n’utilise plus la perplexité ni la burstiness, ayant plutôt adopté une architecture d’apprentissage profond. Turnitin, l’outil que la plupart des étudiants rencontrent réellement, n’a jamais publié l’un ou l’autre de ces termes comme faisant partie de sa méthode. Les concepts n’ont pas disparu de la conversation. Ils ont disparu des produits qui effectuent réellement la détection.

La burstiness est-elle encore utilisée par les détecteurs d’IA ?

Non, pas par GPTZero, et pas sous ce nom. La propre documentation d’assistance de GPTZero l’indique directement : « Depuis l’automne 2023, GPTZero n’utilise plus la perplexité et la burstiness pour sa détection de l’IA, car nous avons migré vers une architecture fondée sur l’apprentissage profond. » Les propres guides de Turnitin décrivent encore une autre méthode, construite autour de l’évaluation de segments d’une soumission au moyen d’un classificateur entraîné, et aucun des deux termes n’apparaît non plus dans cette documentation. Les deux statistiques qui ont défini la première vague de détection de l’IA ne sont pas ce que les principaux outils exécutent actuellement. Cela est plus précis que de dire qu’elles ont été abandonnées, la propre explication de GPTZero les compte encore parmi sept indicateurs alimentant son modèle. Elles ont cessé d’être la méthode sans cesser d’être une mesure, et la différence entre ces deux affirmations est l’essentiel de ce que cette question met en jeu.

Ce qui a changé à l’automne 2023

Les deux termes n’ont jamais été obscurs. Le propre texte explicatif initial de GPTZero définissait la perplexité comme « une mesure de la probabilité qu’un modèle d’IA aurait choisi exactement le même ensemble de mots que celui trouvé dans le document », et la burstiness comme « une mesure de la variation des schémas d’écriture et des perplexités du texte sur l’ensemble du document », une statistique au niveau du document, et non un simple décompte de la longueur des phrases. Ces deux définitions sont toujours publiées sur le site de GPTZero. Ce qui a changé, c’est lequel des deux le détecteur exécute réellement.

« Migrated to a deep-learning based architecture » est une affirmation précise, et non une formule marketing, et elle décrit un véritable changement de nature. Un score de perplexité est calculé directement à partir d’une formule, on fait passer le texte dans un modèle de langue de référence, on moyenne les probabilités logarithmiques, puis on exponentie le résultat. Un classifieur d’apprentissage profond est entraîné à la place, on lui montre de grands nombres d’exemples rédigés par des humains et par l’IA jusqu’à ce qu’il apprenne, par lui-même, toute combinaison de caractéristiques qui sépare les deux ensembles dans ces données d’entraînement. Personne n’écrit la règle à la main dans la seconde approche. Le modèle la trouve.

Les deux termes retirés font l’objet d’une explication complète ailleurs sur ce site, ce que la perplexité mesure réellement et ce que la burstiness mesure réellement exposent chacun en détail leur propre fonctionnement, y compris les formules qui les sous-tendent. Ce passage se limite strictement à la question de savoir si l’un ou l’autre est encore ce qu’un détecteur exécute aujourd’hui.

Ce que GPTZero et Turnitin documentent réellement aujourd’hui

La page actuelle de technologie de GPTZero, qui décrit ce qui est livré dans le produit, indique que l’entreprise emploie « an end-to-end deep learning approach, trained on text datasets from the web, education, and AI-generated from a range of LLMs », dans laquelle « a sentence-by-sentence classification model determines the probability and confidence that a text was created by AI ». La perplexité et la burstiness n’apparaissent nulle part sur cette page, ni comme composant, ni comme fonctionnalité héritée, ni dans une note de bas de page.

La documentation de Turnitin n’a jamais été conçue autour de l’un ou l’autre de ces termes. Ses guides décrivent une soumission découpée en blocs de quelques centaines de mots, chaque bloc étant évalué par un modèle entraîné, puis les scores des blocs étant moyennés pour produire le pourcentage unique affiché par un rapport. Il s’agit d’un classificateur supervisé qui fonctionne sur des segments de texte, de la même famille de méthode vers laquelle GPTZero s’est orienté, et non d’un calcul de perplexité ni d’un calcul de burstiness sous un autre nom.

Le changement est le plus facile à voir côte à côte.

	Ce que les premières explications décrivaient (2023)	Ce que la documentation actuelle décrit
GPTZero	Perplexity et burstiness, évaluées par rapport à un modèle de référence	Un classificateur de deep learning, phrase par phrase, produisant une probabilité et un score de confiance
Turnitin	Jamais publié, les termes n’apparaissent à aucun moment dans les propres documents de Turnitin	Des blocs de quelques centaines de mots évalués par un classificateur entraîné, puis moyennés en un seul pourcentage

Pourquoi ces concepts expliquent encore la détectabilité

Rien de tout cela ne rend perplexity et burstiness faux, seulement dépassés comme description du mécanisme actuel. Ces deux concepts ont toujours décrit quelque chose de réel, le texte généré par échantillonnage vers les continuations les plus probables d’un modèle tend à être plus prévisible, mot par mot, que le texte qu’une personne écrit à partir de zéro, et il tend à varier moins d’une phrase à l’autre. La régularité sous-jacente n’a pas changé parce qu’un fournisseur a modifié l’architecture de son détecteur. Ce qui a changé, c’est la manière dont le détecteur cherche cette régularité.

Le classifieur entraîné n’est pas explicitement invité à rechercher la perplexité ou la burstiness. Il est plutôt entraîné sur la même distinction fondamentale entre texte humain et texte machine que ces deux statistiques ont été conçues pour saisir. Et il semble très peu probable qu’un classifieur entraîné à distinguer les deux ensembles ne s’appuie pas aussi précisément sur cette régularité, l’une des différences les plus fiables entre les deux. Il s’agit d’une inférence sur la raison pour laquelle le classifieur fonctionne probablement, et non d’une affirmation sur sa liste de caractéristiques publiée, et il faut garder ces deux éléments distincts.

Des recherches indépendantes étayent l’idée que la statistique sous-jacente conserve sa pertinence, même en dehors du produit d’un seul fournisseur. DetectGPT, une méthode académique zero-shot publiée en 2023, examine un proche parent de la perplexité, à savoir la manière dont la fonction de log-probabilité d’un modèle se courbe autour d’un passage, et atteint 0.95 AUROC sur un benchmark contre 0.81 pour le meilleur point de référence zero-shot antérieur, sans entraîner du tout de classifieur sur des exemples étiquetés. L’idée centrale, selon laquelle le texte généré par machine se situe dans une région statistiquement distincte de l’espace de probabilité propre au modèle, reste un domaine de recherche actif. Ce n’est simplement pas ce que GPTZero fournit aux utilisateurs.

Pourquoi une si grande partie d’Internet se trompe encore à ce sujet

La plupart des explications publiées sur le fonctionnement de la détection par IA ont été rédigées pendant ou peu après le lancement de GPTZero en janvier 2023, lorsque la perplexité et la burstiness constituaient le seul cadre public proposé par l’entreprise elle-même. Ces pages explicatives d’origine sont toujours en ligne aujourd’hui. L’avis de retrait de l’automne 2023 figure sur une page d’assistance distincte plutôt que d’être intégré à celles-ci, de sorte qu’un auteur qui aurait lu la première page puis cessé ses recherches n’aurait aucune raison de savoir que la méthode avait changé moins d’un an plus tard.

Un examen de détecteur tiers circulant en 2026 affirme que GPTZero utilise encore la perplexité et la burstiness comme une couche parmi plusieurs au sein d’un système plus vaste. Cette affirmation contredit directement la page technologique actuelle de GPTZero et sa propre documentation d’assistance, et rien sur le site de GPTZero ne la corrobore. Une entreprise qui décrit son propre produit commercialisé prime toujours sur une affirmation tierce non corroborée à propos de ce même produit, même si la documentation du fournisseur peut elle aussi être erronée. Ce texte suit les propres pages de GPTZero plutôt que l’examen qui répète l’ancienne version.

Ce que cela signifie pour votre manière d’écrire

Les conseils pratiques construits autour de la burstiness ne sont pas devenus inutiles simplement parce que le mot a disparu des propres documents de GPTZero. Varier délibérément la longueur des phrases reste, mécaniquement, un argument contre la même uniformité statistique qu’un classificateur est très probablement entraîné à repérer, quel que soit le nom interne donné à ce signal. Le conseil sous-jacent a survécu au changement d’architecture du fournisseur, même si le vocabulaire qui le décrit n’a pas survécu.

Rien de tout cela n’exige de croire qui que ce soit sur parole, y compris ce billet. Le vérificateur de perplexité gratuit de TextPulse et la plus large collection d’outils gratuits vous permettent d’examiner où se situe votre propre brouillon face à un détecteur, quelle que soit sa génération, avant même qu’il ne le fasse.

Si la réponse vous ramène à votre propre écriture, les suites pratiques sont d’augmenter délibérément la burstiness et de varier la longueur des phrases dans un paragraphe académique, ce qui revient au même travail, décrit sans la métrique.

Le mécanisme qu’un détecteur exécute continuera de changer, GPTZero l’a déjà changé une fois. Ce qui reste constant est la question réelle, traitée en détail dans le guide de ce site sur le fonctionnement réel des détecteurs d’IA : savoir si une écriture prévisible est la même chose qu’une écriture produite par machine, quelle que soit la formule à la mode une année donnée.