Probabilité des tokens et log-vraisemblance dans la détection par IA
La perplexité attire l’attention, mais l’arithmétique qui la sous-tend est la probabilité des tokens, ce que la distribution du modèle contient pour le mot suivant, pourquoi les détecteurs utilisent le log-vraisemblance plutôt que la probabilité brute, et comment une suite de scores par token devient un seul nombre.