Вероятность токена и логарифмическая правдоподобность в обнаружении ИИ
Perplexity привлекает внимание, но лежащая в ее основе арифметика, это вероятность токена: что именно содержит распределение модели по следующему слову, почему математика обнаружения работает в логарифмическом пространстве, а не с сырой вероятностью, и как последовательность посимвольных оценок превращается в одно число.