Qu’est-ce que la burstiness ? Pourquoi les phrases uniformes sont signalées

Lire un paragraphe à voix haute permet d’entendre une certaine forme de platitude avant même de pouvoir la nommer, chaque phrase tombant à peu près dans le même nombre de respirations, comme un métronome que personne n’a pensé à éteindre. Les lecteurs remarquent le motif avant de pouvoir dire ce qui ne va pas, et les détecteurs conçus pour repérer le texte généré ont été conçus pour le remarquer eux aussi. Le nom de ce motif est burstiness, un mot plus ancien que n’importe quel détecteur d’IA.

Alors, qu’est-ce que la burstiness, dans le sens précis qu’un détecteur lui donne ? C’est une mesure de l’ampleur des variations de longueur des phrases dans un passage, calculée relativement à la moyenne propre à ce passage plutôt qu’à un nombre fixe. Un paragraphe est bursty lorsque des phrases courtes et brèves côtoient des phrases longues et sinueuses. Un paragraphe présente une faible burstiness lorsque chaque phrase se situe à peu près à la même longueur, que cette longueur soit de six mots ou de vingt-six.

La statistique est assez simple à calculer à la main sur un court paragraphe, et une fois qu’elle devient visible, une page plate cesse d’être une impression vague pour devenir un nombre que l’on peut désigner. Elle n’a aussi presque rien à voir avec une statistique plus ancienne, sans rapport, qui se trouve simplement partager son nom.

Qu’est-ce que la burstiness ?

Un détecteur d’IA est dit bursty s’il existe une variabilité de la longueur des phrases dans un document. La burstiness, telle qu’un détecteur d’IA emploie ce mot, est l’étendue des longueurs de phrases dans un document, exprimée par un seul nombre, l’écart type de ces longueurs divisé par leur moyenne. Un nombre élevé signifie que les phrases varient fortement autour de la moyenne. Un nombre faible signifie qu’elles se regroupent étroitement autour d’elle, quelle que soit cette moyenne.

Le mot lui-même appartient à un vocabulaire statistique beaucoup plus ancien. Les chercheurs utilisent burstiness pour décrire les tremblements de terre, les épidémies et le trafic réseau, tout phénomène qui se regroupe dans le temps plutôt que de se répartir uniformément, et une manière courante de le mesurer dans ces domaines est le facteur de Fano, le rapport entre la variance d’un décompte et sa moyenne.

Il existe aussi un second sens, plus ancien, au sein même du traitement automatique du langage naturel, facile à confondre avec la statistique de longueur des phrases dont traite cet article. Dans les années 1990, des linguistes de corpus ont utilisé burstiness pour décrire la manière dont les mots individuels se regroupent, lorsqu’un document mentionne un mot rare, il devient bien plus probable qu’il le mentionne à nouveau que ne le laisserait supposer une première apparition indépendante. Kenneth Church et William Gale ont donné à ce schéma son traitement statistique dans les mélanges de Poisson en 1995, et les systèmes de recherche d’information en tiennent encore compte lorsqu’ils pondèrent l’importance qu’un mot répété doit avoir. Cette statistique suit la répétition d’un mot. La mesure de cet article suit autre chose, la forme de phrases entières, indépendamment des mots qui les remplissent.

Le reste de cet article n’emploie le mot que dans ce second sens, la forme des phrases, et non la récurrence des mots.

Pourquoi la dispersion compte davantage que la moyenne

Deux documents peuvent avoir exactement la même longueur moyenne de phrase et ne se ressembler en rien à la lecture. Une moyenne de douze mots peut correspondre à un paragraphe où chaque phrase compte à peu près douze mots, ou à un autre où des phrases de six mots alternent avec des phrases de dix-huit mots, et la moyenne ne peut pas distinguer ces deux paragraphes. Seule la dispersion autour de la moyenne le peut.

Les statisticiens appelleraient la comparaison fondée sur la seule moyenne un échec à aller au delà du premier moment d’une distribution. Un détecteur, ou un lecteur attentif, vérifie implicitement aussi le second moment, la forme autour du centre, que la moyenne seule ne peut jamais révéler.

Prenons deux façons de rapporter le même résultat. 'L’intervention a réduit les symptômes chez la plupart des participants. L’effet était constant selon les groupes d’âge. Le résultat appuie des recherches supplémentaires sur le mécanisme.' Trois phrases, de huit à neuf mots chacune, donnent un rythme avec presque aucune dispersion. Comparez maintenant, 'Les symptômes ont diminué chez la plupart des participants. Cela s’est vérifié que la personne ait vingt-deux ou soixante-huit ans, ce que personne dans l’équipe n’avait prévu au départ, et c’est la raison pour laquelle la prochaine étude doit examiner le mécanisme plutôt que le seul résultat.' L’affirmation est identique. Le rythme qui la porte ne l’est pas.

La moyenne traite les deux paragraphes comme identiques. Un lecteur, et apparemment un détecteur, ne le fait pas.

Comment la burstiness est calculée

Le calcul est simple. Comptez les mots dans chaque phrase, prenez l'écart type de cette liste, puis divisez par la moyenne. Par exemple, si vous examinez un passage dont les phrases comptent huit, trente et un, onze, vingt quatre et neuf mots, vous obtenez une dispersion d'environ cinquante six pour cent de la moyenne, une burstiness large. Si vous examinez un passage dont les phrases comptent quinze, seize, quatorze, dix sept et quinze mots, vous obtenez une dispersion d'environ sept pour cent, même si les deux passages ont presque la même longueur moyenne.

Un écart type brut, pris isolément, ne ferait pas le même travail. Huit mots de dispersion signifient quelque chose de différent dans un passage qui moyenne douze mots par phrase que dans un autre qui en moyenne quarante, donc c'est la division par la moyenne qui rend le nombre comparable d'un passage à l'autre.

Ce cadrage relatif explique pourquoi la statistique fonctionne de la même manière pour un style journalistique concis et pour un style théorique dense. Une section technique construite à partir de phrases courtes et uniformes et un paragraphe familier construit à partir de phrases courtes et uniformes peuvent tous deux être classés comme ayant une faible burstiness, parce que la mesure ne demande jamais quelle est la longueur absolue d'une phrase, mais seulement à quelle distance chacune se situe de la moyenne de ses voisines.

C'est ce calcul identique que le free burstiness checker de ce site applique à un brouillon collé, en représentant chaque phrase comme un point plutôt qu'en comprimant tout le passage en une seule valeur. À cette échelle, tout ce qui est inférieur à environ vingt pour cent se lit comme une dispersion serrée et uniforme, et tout ce qui est supérieur à environ quarante cinq pour cent se lit comme une dispersion large, la plupart des textes académiques révisés se situant entre les deux.

À quoi ressemble un paragraphe à faible variance sur la page

Placez les deux schémas côte à côte et il est facile de les distinguer une fois que vous savez quoi observer.

Trait	Paragraphe à faible variance	Paragraphe à forte variance
Sentence length pattern	Presque chaque phrase se situe à quelques mots près de la moyenne du paragraphe	Des phrases courtes et brèves côtoient des phrases longues, à plusieurs propositions
Reading it aloud	Un rythme régulier et uniforme, sans endroit naturel pour marquer une pause d’insistance	Un rythme qui accélère et ralentit, suivant l’endroit où l’insistance tombe réellement
Typical cause	Une sortie non révisée d’un modèle qui prédit une seule phrase probable suivante à la fois, ou un premier jet que personne n’a relu à voix haute	Un rédacteur qui coupe une phrase pour produire un effet, ou qui fusionne deux phrases maigres en une seule qui justifie sa longueur

Aucune des deux colonnes n’est en soi une bonne écriture. Une section de méthode énumérant cinq étapes en cinq phrases courtes est censée ressembler à la colonne de gauche, et une phrase longue et sinueuse insérée dans une procédure numérotée ne l’améliorerait pas. Le schéma ne devient informatif que lorsque l’on sait de quel type de passage il s’agit.

Pourquoi les phrases uniformes sont signalées

Les détecteurs traitent un rythme plat comme un signal en raison du fonctionnement de la génération de texte, et non parce que des phrases uniformes seraient en elles-mêmes suspectes. Les mécanismes plus larges de how AI detectors actually work sont présentés séparément, la version courte étant qu’un modèle prédit un jeton à la fois, y compris, implicitement, le moment où une phrase est susceptible de se terminer. Étant donné le texte déjà produit, une certaine longueur de phrase est statistiquement plus probable que les autres à un instant donné, et un modèle qui continue de choisir la continuation la plus probable retombe sans cesse sur cette même longueur probable, phrase après phrase, sur l’ensemble d’un document.

Un seul paragraphe plat ne prouve rien à lui seul, les sections procédurales courtes sont censées avoir cet aspect. Ce qu’un détecteur évalue réellement, c’est le schéma à l’échelle de tout un document, à savoir si la platitude d’un paragraphe est un choix local et intentionnel, ou le rythme de chaque paragraphe du texte.

La prévisibilité mot à mot est une mesure apparentée mais distincte, traitée selon ses propres termes ailleurs sur ce site, et elle examine les choix de mots individuels plutôt que la forme d’une phrase.

Rien de tout cela ne prouve qu’un document a été généré par un modèle, et traiter un rythme uniforme comme décisif en soi reviendrait à répéter la même erreur que de traiter un seul score de perplexité comme décisif. Un premier jet rédigé à la hâte et que personne n’a lu à voix haute peut s’aplatir tout aussi facilement qu’un texte généré. C’est en partie pourquoi le propre Human Score estimé de TextPulse combine la variation au niveau des phrases avec plusieurs autres signaux plutôt que de s’appuyer sur un seul d’entre eux, et pourquoi les outils de diagnostic gratuits de ce site sont conçus pour être lus ensemble plutôt qu’isolément.

Deux questions de suivi comptent davantage que la définition. La question de savoir si les détecteurs pondèrent encore la burstiness comme ils le faisaient en 2023 en est une, et comment l’augmenter dans vos propres brouillons sans détériorer la prose en est une autre.

Un paragraphe uniforme n’est plus un mystère une fois que le mécanisme qui le sous-tend est visible. C’est ce qui se produit lorsque chaque phrase est construite de la même manière qu’un seul mot suivant, en allant vers ce qui vient ensuite avec le moins de résistance. Que cette pression l’emporte dépend de l’auteur, ou du modèle, qui lui résiste phrase par phrase.