ZeroGPT est-il précis ?

La précision de ZeroGPT, selon l’affirmation actuelle de l’entreprise elle-même, est un taux « se rapprochant de >98% lors d’évaluations internes », un chiffre que l’entreprise reconnaît provenir de tests qu’elle a menés sur elle-même plutôt que d’un laboratoire externe. Ce seul qualificatif, interne, est à peu près tout ce qu’un lecteur doit savoir avant de traiter le pourcentage de n’importe quel détecteur gratuit comme un fait établi.

ZeroGPT est l’un des détecteurs d’IA gratuits les plus utilisés, en grande partie parce qu’il ne coûte rien et fournit une réponse en quelques secondes. Le même écart entre les affirmations du fournisseur et les tests indépendants qui apparaît de manière générale pour les détecteurs d’IA apparaît ici aussi. Ce qui suit présente ce que l’entreprise déclare actuellement au sujet de sa propre précision et de sa méthode, ce que cette méthode semble réellement mesurer, et pourquoi un outil de ce type tend à se tromper de manière spécifique et prévisible sur le type d’écriture que soumettent les lecteurs universitaires.

Qu’est-ce que la précision de ZeroGPT, selon l’entreprise ?

La propre FAQ de ZeroGPT indique que l’entreprise « fournit une précision de premier plan dans le secteur et est continuellement améliorée afin de maintenir des performances de premier ordre, se rapprochant de >98% lors d’évaluations internes ». Il s’agit d’une affirmation du fournisseur sur son propre produit, testé par l’entreprise elle-même, formulée avec une véritable réserve intégrée dans le choix des mots, « se rapprochant de » un chiffre n’est pas la même chose que l’atteindre et le maintenir, et « évaluations internes » signifie qu’aucune partie extérieure n’a publié de chiffre correspondant. Rien sur la page n’indique la taille de cet ensemble de test interne, son contenu, ni qui, en dehors de l’entreprise, a examiné la méthodologie.

L’entreprise recommande au moins 150 à 200 mots de texte pour obtenir un résultat stable, et indique que 500 à 1,000 mots ou davantage améliorent encore la fiabilité, tout en affirmant directement que les extraits très courts ou fortement modifiés « carry fewer signals. » Cette seule divulgation compte davantage que le pourcentage mis en avant dans le titre. C’est la reconnaissance, par le fournisseur lui-même, que le score n’est digne de confiance que dans la mesure où l’entrée est longue et intacte, une condition qu’une véritable soumission ne remplit pas toujours.

Quelle méthode ZeroGPT utilise-t-il réellement ?

ZeroGPT appelle son système sous-jacent DeepAnalyse, décrit sur son propre site comme une « multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives » qui lit un texte « from the macro level to the micro one. » Sa FAQ décrit quelque chose de plus précis sous la marque, à savoir une analyse des « token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets. »

La burstiness et l’entropy ne sont pas propres à ZeroGPT. Ce sont les mêmes propriétés statistiques, c’est-à-dire la mesure dans laquelle la longueur et le rythme des phrases varient, et la prévisibilité de chaque mot suivant, que l’explication de TextPulse sur how AI detectors work présente comme le mécanisme général derrière toute cette catégorie d’outil. Un free perplexity checker montre directement ce même nombre sous-jacent, sans demander d’abord à un rédacteur de faire confiance au pourcentage d’un seul fournisseur.

Pourquoi la rédaction académique déclenche-t-elle ces détecteurs ?

La FAQ de ZeroGPT l’exprime ainsi : « highly polished, formulaic, or low-entropy writing can resemble AI. » La prose académique est conçue pour être très soignée, formulée de manière stéréotypée et à faible entropy. Une section de méthodologie, une revue de la littérature et une lettre de motivation formelle privilégient toutes l’expression conventionnelle plutôt que l’expression inventive, parce que la convention est précisément ce qui rend d’abord le document utilisable pour son lecteur, et cette convention est exactement le schéma à faible entropy que la divulgation du fournisseur lui-même désigne comme un risque.

Des tests indépendants et évalués par des pairs montrent pourquoi ce mode d’échec touche plus durement certains auteurs que d’autres. Une étude de Stanford de 2023 a soumis sept détecteurs largement utilisés, dont ZeroGPT, à 91 dissertations TOEFL réelles rédigées par des locuteurs non natifs de l’anglais et à 88 dissertations rédigées par des élèves de huitième année aux États-Unis. ZeroGPT a signalé 48 percent des dissertations TOEFL comme générées par IA, contre 0 percent des dissertations de huitième année, dans la même direction d’erreur que celle observée pour chaque détecteur dans cette étude, mais à une échelle différente.

Rien dans cet écart n’est propre à ZeroGPT, et rien n’a là de nouveau. C’est le même schéma de biais à l’égard des auteurs non natifs, documenté dans l’ensemble du secteur des détecteurs, et traité plus en détail sur la page de TextPulse consacrée à pourquoi les détecteurs d’IA sont biaisés contre les locuteurs non natifs. Ce que cet écart montre précisément à propos d’un outil gratuit destiné aux consommateurs, c’est que la limitation que le fournisseur a lui-même divulguée, à savoir qu’une écriture à faible entropie se lit comme produite par une machine, n’est pas hypothétique. Un test évalué par des pairs a constaté ce phénomène sur ce produit exact des années avant que la FAQ actuelle de l’entreprise ne nomme le mécanisme avec ses propres mots.

Un score de détecteur gratuit peut-il prouver quoi que ce soit à propos d’un document ?

Pas à lui seul. Un pourcentage ZeroGPT ne prouve rien à propos d’un document précis, dans un sens comme dans l’autre. Il s’agit de l’estimation d’un modèle, fondée sur des tests internes que l’entreprise n’a pas publiés sous une forme que quiconque en dehors de l’entreprise puisse vérifier, appliquée à un texte dont la longueur, l’historique de révision et le genre modifient tous la lecture d’une manière que la FAQ du fournisseur reconnaît déjà. Traiter un score gratuit unique comme un verdict exige de ce score davantage que ce que l’entreprise qui le fournit prétend elle-même lui attribuer.

Ce qu’un score permet réellement d’évaluer est plus limité et plus ordinaire, un aperçu rapide et sans coût de l’endroit où se situe actuellement un brouillon sur le même type de mesure statistique qu’un outil institutionnel payant exécute aussi, avant que quiconque d’autre ne le voie. Les outils gratuits de TextPulse couvrent directement ce même terrain, sans demander à un rédacteur de deviner d’abord à quel score de l’un des plusieurs détecteurs gratuits il faut se fier.

Les chiffres de précision dissimulent sur qui retombent les erreurs et ce qui les déclenche. Savoir quand utiliser a, an et the élimine l’un des schémas qui déclenche un signal, et ce que signifie réellement un faux positif est exposé séparément.

Rien de tout cela ne rend le nombre de ZeroGPT dénué de sens, et rien de tout cela ne rend le nombre suffisant à lui seul. Un score est une estimation initiale, produite par une méthode que l’entreprise décrit seulement de manière sommaire et qu’elle n’a pas ouverte à des tests externes, sur un texte dont le genre à lui seul peut faire varier le résultat avant même que quiconque ait fait quoi que ce soit de mal. Les deux mots qui portent le plus d’information sur cette page de FAQ ne sont pas le pourcentage. Ce sont les réserves placées juste à côté, interne, et orienté vers. Un score gratuit est un point de départ pour une discussion sur un brouillon, pas un argument conclusif dans celle-ci.

Ce que notre propre recherche a montré

Dans l'étude d'accord entre détecteurs de TextPulse Research, neuf détecteurs d'IA commerciaux ont noté les mêmes 90 textes académiques. L'un d'eux était un texte hybride de 455 mots : une ouverture et une conclusion écrites par un humain autour d'un passage central de 168 mots généré par IA. ZeroGPT a attribué à ce texte 7.6% d'IA, alors que les verdicts des autres outils sur les mêmes mots allaient de 0% à 95.7% d'IA. L'article complet, le corpus et la matrice des scores par outil sont en accès libre sur TextPulse Research.