احتمال توکن و درستنمایی لگاریتمی در تشخیص هوش مصنوعی
Perplexity توجه را جلب میکند، اما حسابوکتابِ زیرِ آن احتمال توکن است: اینکه توزیع مدل درباره واژه بعدی دقیقاً چه چیزی را دربر میگیرد، چرا ریاضیات تشخیص بهجای احتمال خام در فضای لگاریتمی اجرا میشود، و چگونه رشتهای از امتیازهای هر توکن به یک عدد تبدیل میشود.