Что такое burstiness? Почему однообразные предложения помечаются
Burstiness измеряет, насколько сильно длина предложений колеблется в тексте, а не то, насколько длинным в среднем является предложение. В этой статье объясняется, откуда происходит этот термин, как именно вычисляется разброс и почему вывод language model обычно сводится к узкому диапазону длин.