Probabilitas Token dan Log-Likelihood dalam Deteksi AI
Perplexity mendapat perhatian, tetapi aritmetika di baliknya adalah probabilitas token: apa yang sebenarnya terkandung dalam distribusi model atas kata berikutnya, mengapa matematika deteksi berjalan dalam ruang log alih-alih probabilitas mentah, dan bagaimana rangkaian skor per token menjadi satu angka.