ความน่าจะเป็นของโทเคนและลอคไลก์ลิฮูดในการตรวจจับ AI
Perplexity ได้รับความสนใจ แต่คณิตศาสตร์ที่อยู่เบื้องหลังคือความน่าจะเป็นของโทเคน, นั่นคือสิ่งที่การแจกแจงของโมเดลต่อคำถัดไปมีอยู่จริง เหตุใดคณิตศาสตร์ของการตรวจจับจึงทำงานในลอการิทึมสเปซแทนความน่าจะเป็นดิบ และสายของคะแนนรายโทเคนกลายเป็นตัวเลขเดียวได้อย่างไร