Che cos'è la burstiness? Perché le frasi uniformi vengono segnalate

Leggere ad alta voce un paragrafo rende udibile una certa forma di piattezza prima ancora che sia nominabile: ogni frase cade all'incirca nello stesso numero di respiri, come un metronomo che nessuno ha ricordato di spegnere. I lettori notano il pattern prima di saper dire che cosa non va, e anche i rilevatori costruiti per intercettare il testo generato sono stati progettati per notarlo. Il nome di quel pattern è burstiness, una parola più antica di qualsiasi rilevatore di AI.

Allora che cos'è la burstiness, nel senso specifico in cui la intende un rilevatore? È una misura di quanto variano ampiamente le lunghezze delle frasi in un passaggio, calcolata rispetto alla media di quel passaggio e non rispetto a un numero fisso. Un paragrafo è bursty quando frasi brevi e concise stanno accanto a frasi lunghe e tortuose. Un paragrafo ha bassa burstiness quando ogni frase cade vicino alla stessa lunghezza, sia che quella lunghezza sia di sei parole sia di ventisei.

La statistica è abbastanza semplice da calcolare a mano su un breve paragrafo, e una volta che diventa visibile, una pagina piatta smette di essere una vaga impressione e diventa un numero a cui si può fare riferimento. Inoltre, ha quasi nulla a che vedere con una statistica più antica e non correlata che per caso condivide il suo nome.

Che cos'è la burstiness?

Un rilevatore di AI è detto bursty se c'è variabilità nella lunghezza delle frasi in un documento. La burstiness, nel modo in cui un rilevatore di AI usa la parola, è l'ampiezza delle lunghezze delle frasi in un documento, espressa come un unico numero: la deviazione standard di quelle lunghezze divisa per la loro media. Un numero alto significa che le frasi variano ampiamente rispetto alla media. Un numero basso significa che si addensano strettamente attorno ad essa, indipendentemente da quale sia quella media.

La parola stessa appartiene a un vocabolario statistico molto più antico. I ricercatori usano burstiness per descrivere i terremoti, le epidemie e il traffico di rete, qualsiasi cosa si concentri nel tempo invece di distribuirsi in modo uniforme, e un modo comune per misurarla in questi campi è il fattore di Fano, il rapporto tra la varianza di un conteggio e la sua media.

C'è anche un secondo significato, più antico, all'interno della stessa elaborazione del linguaggio naturale, facile da confondere con la statistica sulla lunghezza delle frasi di cui tratta questo post. I linguisti dei corpora negli anni 1990 usavano burstiness per descrivere il modo in cui le singole parole si raggruppano: una volta che un documento menziona una parola rara, diventa molto più probabile che la menzioni di nuovo rispetto a quanto suggerirebbe una prima occorrenza indipendente. Kenneth Church e William Gale hanno dato a questo schema il suo trattamento statistico nelle miscele di Poisson nel 1995, e i sistemi di information retrieval ne tengono ancora conto quando ponderano quanto dovrebbe valere una parola ripetuta. Questa statistica segue la ripetizione di una parola. La misurazione in questo post segue qualcos'altro: la forma delle frasi nel loro insieme, indipendentemente dalle parole che le compongono.

Il resto di questo post usa la parola solo in quel secondo senso: la forma della frase, non la ricorrenza delle parole.

Perché la dispersione conta più della media

Due documenti possono avere esattamente la stessa lunghezza media delle frasi e non risultare affatto simili nella lettura. Una media di dodici parole può appartenere a un paragrafo in cui ogni frase si avvicina a dodici parole, oppure a uno in cui frasi di sei parole si alternano con frasi di diciotto parole, e la media non può distinguere questi due paragrafi. Solo la dispersione attorno alla media può farlo.

I statistici chiamerebbero il confronto basato solo sulla media un mancato esame oltre il primo momento di una distribuzione. Un rilevatore, o un lettore attento, sta implicitamente controllando anche il secondo momento: la forma attorno al centro, che la sola media non può mai rivelare.

Si considerino due modi di riportare lo stesso risultato. 'L'intervento ha ridotto i sintomi nella maggior parte dei partecipanti. L'effetto è stato coerente tra i gruppi di età. Il risultato sostiene ulteriori indagini sul meccanismo.' Tre frasi, da otto a nove parole ciascuna, producono un ritmo con quasi nessuna dispersione. Ora si confronti: 'I sintomi sono diminuiti nella maggior parte dei partecipanti. Questo è rimasto vero sia che la persona avesse ventidue o sessantotto anni, cosa che nessuno del team si aspettava all'inizio, ed è il motivo per cui il prossimo studio deve esaminare il meccanismo piuttosto che il solo esito.' L'affermazione è identica. Il ritmo che la sostiene non lo è.

La media tratta entrambi i paragrafi come identici. Un lettore, e apparentemente un rilevatore, non lo fa.

Come si calcola la burstiness

Il calcolo è breve. Conta le parole in ogni frase, prendi la deviazione standard di quell'elenco, poi dividila per la media. Per esempio, se consideri un passaggio con frasi lunghe otto, trentuno, undici, ventiquattro e nove parole, ottieni una dispersione di circa il cinquantasei percento della media, una burst ampia. Se consideri un passaggio con frasi lunghe quindici, sedici, quattordici, diciassette e quindici parole, ottieni una dispersione di circa il sette percento, anche se i due passaggi hanno una lunghezza media quasi identica.

Una deviazione standard grezza, da sola, non svolgerebbe la stessa funzione. Otto parole di dispersione significano qualcosa di diverso in un passaggio che ha in media dodici parole per frase rispetto a uno che ne ha in media quaranta, quindi dividere per la media è ciò che rende il numero confrontabile da un passaggio all'altro.

Questa impostazione relativa è il motivo per cui la statistica funziona allo stesso modo per uno stile giornalistico conciso e per uno teorico denso. Una sezione tecnica costruita con frasi brevi e uniformi e un paragrafo colloquiale costruito con frasi brevi e uniformi possono entrambi risultare con una burstiness bassa, perché la misurazione non chiede mai quanto sia lunga una frase in termini assoluti, ma solo quanto ciascuna si collochi rispetto alla media delle frasi vicine.

Questo è lo stesso calcolo che il free burstiness checker di questo sito applica a una bozza incollata, tracciando ogni frase come un punto invece di comprimere l'intero passaggio in un solo valore. Su quella scala, qualsiasi valore sotto circa il venti percento appare come una distribuzione stretta e uniforme, e qualsiasi valore sopra circa il quarantacinque percento appare come una distribuzione ampia, con la maggior parte della prosa accademica revisionata che si colloca da qualche parte nel mezzo.

Come appare sulla pagina un paragrafo a bassa varianza

Metti i due modelli fianco a fianco ed è facile distinguerli una volta che sai cosa osservare.

Caratteristica	Paragrafo a bassa varianza	Paragrafo ad alta varianza
Schema della lunghezza delle frasi	Quasi ogni frase si colloca entro poche parole dalla media del paragrafo	Frasi brevi e concise stanno accanto a frasi lunghe, con più proposizioni
Leggerlo ad alta voce	Un ritmo costante e uniforme, senza un punto naturale in cui fermarsi per dare enfasi	Un ritmo che accelera e rallenta, seguendo dove cade davvero l'enfasi
Causa tipica	Output non modificato da un modello che prevede una sola probabile frase successiva alla volta, oppure una prima bozza che nessuno ha riletto ad alta voce	Uno scrittore che tronca una frase per ottenere un effetto, oppure che fonde due frasi esili in una sola che ne giustifica la lunghezza

Nessuna delle due colonne rappresenta in sé una buona scrittura. Una sezione di metodo che elenca cinque passaggi in cinque frasi brevi dovrebbe apparire come la colonna di sinistra, e una frase lunga e tortuosa inserita in una procedura numerata non la migliorerebbe. Il modello diventa informativo solo quando si sa che tipo di passaggio si sta osservando.

Perché le frasi uniformi vengono segnalate

I rilevatori trattano un ritmo piatto come un segnale per via del modo in cui funziona la generazione del testo, non perché le frasi uniformi siano di per sé sospette. I meccanismi più ampi di come funzionano davvero i rilevatori di AI sono trattati separatamente, la versione breve è che un modello prevede un token alla volta, incluso, implicitamente, quando è probabile che una frase finisca. Dato il testo fin qui, una certa lunghezza della frase è statisticamente più probabile delle altre in un dato momento, e un modello che continua a scegliere la continuazione più probabile continua ad arrivare vicino a quella stessa lunghezza probabile, frase dopo frase, lungo l'intero documento.

Un singolo paragrafo piatto non prova nulla da solo, le sezioni procedurali brevi dovrebbero apparire così. Ciò che un rilevatore valuta davvero è il modello lungo l'intero documento: se la piattezza in un paragrafo è una scelta locale e intenzionale, oppure il ritmo di ogni paragrafo del testo.

La prevedibilità parola per parola è una misurazione correlata ma distinta, trattata altrove in questo sito nei suoi termini specifici, e considera le scelte delle singole parole piuttosto che la struttura di una frase.

Niente di tutto questo dimostra che un documento sia stato generato da un modello, e considerare un ritmo piatto come decisivo di per sé ripeterebbe lo stesso errore di considerare decisivo un singolo valore di perplexity. Una prima bozza affrettata che nessuno ha letto ad alta voce può appiattirsi con la stessa facilità con cui può farlo un testo generato. Questo è uno dei motivi per cui il punteggio umano stimato di TextPulse combina la variazione a livello di frase con diversi altri segnali, invece di basarsi su uno solo di essi, e per cui i free diagnostic tools di questo sito sono pensati per essere letti insieme, non in isolamento.

Due domande di approfondimento contano più della definizione. Se i detector attribuiscano ancora peso alla burstiness nel modo in cui lo facevano nel 2023 è una, e come aumentarla nelle proprie bozze senza compromettere la prosa è l'altra.

Un paragrafo piatto non è un mistero una volta che il meccanismo che lo produce è visibile. È ciò che accade quando ogni frase viene costruita nello stesso modo in cui viene costruita una singola parola successiva, cercando ciò che viene dopo con la minore resistenza possibile. Se questa pressione prevalga dipende dallo scrittore, o dal modello, che le si oppone frase per frase.