AI पहचान में टोकन प्रायिकता और लॉग-लाइकलिहुड
Perplexity ध्यान आकर्षित करता है, लेकिन उसके नीचे का गणित टोकन प्रायिकता है: मॉडल का अगले शब्द पर वितरण वास्तव में क्या शामिल करता है, detection गणित raw probability के बजाय log space में क्यों चलता है, और per-token स्कोरों की एक शृंखला कैसे एक संख्या बनती है.