Token-Wahrscheinlichkeit und Log-Likelihood in der KI-Erkennung
Perplexity erhält die Aufmerksamkeit, aber die zugrunde liegende Arithmetik ist Token-Wahrscheinlichkeit: was die Verteilung des Modells über das nächste Wort tatsächlich enthält, warum die Erkennungsarithmetik im Logarithmusraum statt mit Rohwahrscheinlichkeit arbeitet und wie aus einer Folge von Scores pro Token eine Zahl wird.