AI पहचान में टोकन प्रायिकता और लॉग-लाइकलिहुड

यदि आप किसी detector से पूछें कि वह उस score तक कैसे पहुँचा, तो उसके अधिकांश user interfaces आपको वही उत्तर देंगे: एक अनुच्छेद, जिसमें कुछ शब्द दूसरों की तुलना में अधिक गहरे रंग से छायांकित होते हैं। यह छायांकन कोई अनुमान नहीं है। यह passage के हर token से जुड़े एक number से आता है, जिसे detector के perplexity, burstiness, या अंतिम percentage को छूने से पहले ही गणना किया जाता है।

यह एक token probability है, और हर token probability ai detection उसी पर आधारित होती है, मूल स्तर से। किसी detector द्वारा report किए जाने वाले metrics की कोई भी संख्या, जिसमें वे दो भी शामिल हैं जिन पर हम इस site पर अन्यत्र चर्चा करते हैं, केवल इन numbers की एक series पर किया गया arithmetic है। उस layer के नीचे, जहाँ अधिकांश explanations रुक जाती हैं, आपको यह सोचना पड़ता है कि एक token वास्तव में क्या है, उस पर model's distribution का क्या अर्थ है, और arithmetic raw probability के बजाय log space में क्यों चलता है। अधिकांश explanations यहीं रुक जाती हैं।

इनमें से किसी भी चीज़ को opaque बने रहने की आवश्यकता नहीं है। एक token, एक probability distribution और एक logarithm सामान्य tools हैं, कोई proprietary secrets नहीं, और यही तीन ideas how AI detectors actually work को raw text से लेकर report पर एक single number तक समझाती हैं।

Token Probability AI Detection: Distribution से Score तक

Token probability ai detection तीन stages में काम करता है। एक language model, पहले आए हुए context के आधार पर, हर संभव next token को एक probability देता है। उन per-token probabilities को logarithms में बदला जाता है और passage भर में जोड़ा जाता है, जिससे एक numerical problem से बचा जाता है जिसमें raw multiplication लगभग तुरंत फँस जाती है। प्राप्त sum, जिसे average करके और rescale किया जाता है, अंततः perplexity figure के रूप में सामने आता है या classifier's decision को feed करता है। हर stage arithmetic का एक विशिष्ट, जाँचा जा सकने वाला हिस्सा है, कोई black box नहीं।

Token वास्तव में क्या है

एक टोकन एक शब्द नहीं होता। आधुनिक भाषा मॉडल byte-pair encoding जैसे एल्गोरिदम के साथ पाठ को उपशब्द खंडों में विभाजित करते हैं, इसलिए 'the' जैसा सामान्य शब्द आमतौर पर एक टोकन होता है, 'perplexity' जैसा कम सामान्य शब्द दो या तीन खंडों में विभाजित हो जाता है, और कोई अपरिचित नाम अलग-अलग अक्षरों तक टूट सकता है। साधारण अंग्रेज़ी का एक अनुच्छेद विश्वसनीय रूप से अपने शब्दों की संख्या से अधिक खंडों में टोकनाइज़ होता है, जिसे किसी उपकरण द्वारा आपको वापस बताई गई किसी भी शब्द-गणना पर भरोसा करने से पहले जानना उपयोगी है।

मॉडल शब्दों को उस तरह कभी नहीं देखता जैसे कोई पाठक देखता है। वह पूर्णांकों का एक अनुक्रम देखता है, जिनमें से प्रत्येक उस निश्चित शब्दावली का एक सूचकांक होता है जिसके साथ मॉडल को प्रशिक्षित किया गया था। token probability ai detection इस बिंदु से आगे जो कुछ भी करता है, वह उस पूर्णांक अनुक्रम पर काम करता है, मूल अक्षर-श्रृंखला पर नहीं, और यही एक कारण है कि किसी डिटेक्टर की आंतरिक कार्यप्रणाली किसी व्यक्ति के वाक्य को वास्तव में पढ़ने के तरीके से असंबद्ध लग सकती है।

अगले टोकन पर मॉडल का वितरण

किसी अनुक्रम में हर स्थिति पर, एक autoregressive भाषा मॉडल एक ही पूर्वानुमान नहीं देता। वह अपनी पूरी शब्दावली में एक पूर्ण प्रायिकता वितरण देता है, दसियों हज़ार संख्याएँ जो 1 के बराबर होती हैं, और जो पहले आए सब कुछ को देखते हुए सबसे संभावित से कम संभावित तक हर संभव अगले टोकन को क्रमबद्ध करती हैं। मॉडल को 'the results of the' वाक्यांश दें, और वह उस प्रायिकता द्रव्यमान का अधिकांश भाग कुछ संभावित संज्ञाओं, 'study,' 'experiment,' 'analysis,' के बीच बाँट देता है, जबकि 'marmalade' जैसी किसी चीज़ को अत्यंत छोटा हिस्सा देता है।

वास्तविक दस्तावेज़ में जो टोकन वास्तव में अगला दिखाई देता है, वह उस क्रम में कहीं स्थित होता है, और उसे दी गई प्रायिकता वह कच्चा पदार्थ है जिससे बाकी सब कुछ बनता है। अपना स्वयं का पाठ उत्पन्न करने वाला मॉडल इस वितरण पर सीधे निर्भर हो सकता है, और बार-बार शीर्ष के निकट से चयन कर सकता है। किसी और के पूर्ण पाठ को पढ़ने वाला डिटेक्टर केवल बाद में यह पूछ सकता है कि मॉडल ने उस चयन को कितनी प्रायिकता दी होती, जो वास्तव में किया गया था।

एक संपूर्ण अनुक्रम की प्रायिकता, उससे पहले की सभी बातों को देखते हुए, प्रत्येक टोकन की प्रायिकता का गुणनफल होती है, यदि हम संयुक्त प्रायिकता के मानक नियम का उपयोग करके पूरे दस्तावेज़ में उस प्रति-टोकन प्रश्न को जोड़ते हैं, तो अंतिम परिणाम एक एकल संख्या होती है जो यह बताती है कि पूरा अंश कितना अपेक्षित था। यही गुणनफल वह स्थान है जहाँ अंकगणित टूटना शुरू करता है, और इसी कारण अगला खंड मौजूद है।

क्यों Log-Likelihood कच्ची प्रायिकता का स्थान लेता है

प्रायिकताओं को आपस में गुणा करना गणितीय रूप से सही है, लेकिन कुछ दर्जन टोकनों के बाद व्यावहारिक रूप से निरर्थक हो जाता है। प्रत्येक व्यक्तिगत प्रायिकता एक भिन्न होती है जो 1 से कम होती है, इसलिए जैसे ही एक और टोकन गुणा किया जाता है, चलित गुणनफल घटता जाता है, और यह तेज़ी से घटता है। कुछ सौ टोकनों के बाद, कच्चा गुणनफल इतना नीचे गिर सकता है कि वह कंप्यूटर द्वारा निरूपित की जा सकने वाली सबसे छोटी संख्या से भी नीचे चला जाए, और वह ठीक 0 पर गोल हो जाए, जिसे underflow कहा जाता है।

एक बार ऐसा होने पर, उस संख्या में कोई सूचना नहीं बचती। जो दस्तावेज़ केवल असंभाव्य था और जो दस्तावेज़ अत्यंत, अव्यवस्थित रूप से असंभाव्य था, दोनों एक ही 0 में बदल जाते हैं, और बाद में उन्हें अलग बताने का कोई तरीका नहीं रहता। लघुगणक इस समस्या को ठीक करते हैं, क्योंकि किसी गुणनफल का लघुगणक, लघुगणकों के योग के बराबर होता है, जो मूल बीजगणित की एक सर्वसमिका है। साधारण ऋणात्मक संख्याओं की एक शृंखला को जोड़ने से underflow नहीं होता, जैसा कि छोटी भिन्नों की एक शृंखला को गुणा करने से होता है, और इसके अलावा इसे गणना करना भी सस्ता है।

अंश की लंबाई (उदाहरणात्मक)	कच्ची प्रायिकता, एक चलित गुणनफल	log-probabilities का योग
12 टोकन, प्रत्येक के लिए उदाहरणात्मक 0.1	1 x 10 to the power of -12, अभी भी निरूपणीय	लगभग -27.6
350 टोकन, प्रत्येक के लिए उदाहरणात्मक 0.1	1 x 10 to the power of -350, ठीक 0 पर underflow	लगभग -805.9

यह एक सरलीकृत उदाहरण है। वास्तविक प्रति-टोकन संभावनाएँ 0.1 पर स्थिर रहने के बजाय बहुत अधिक बदलती हैं, लेकिन समस्या की दिशा बिल्कुल सही है। जैसे ही कोई कच्चा गुणनफल underflow होकर शून्य हो जाता है, वह तुलना, जिसकी detector को वास्तव में आवश्यकता होती है, कि क्या यह दस्तावेज़ उस दस्तावेज़ की तुलना में अधिक या कम अपेक्षित था, असंभव हो जाती है। log-probabilities का योग इस तरह कभी विफल नहीं होता। यह एक सटीक, सामान्य, तुलनीय संख्या बना रहता है, चाहे अनुच्छेद कितना भी लंबा क्यों न हो, और यही वास्तविक कारण है कि detectability को raw probability space के बजाय log space में मापा जाता है।

प्रति-टोकन स्कोर से detection score तक

किसी अनुच्छेद में log-probabilities का योग reference model के अंतर्गत दस्तावेज़ की कुल log-likelihood देता है। टोकनों की संख्या से भाग देने पर लंबाई का प्रभाव हट जाता है और प्रति टोकन औसत log-likelihood बचता है, जो अंततः पांच सौ शब्दों के निबंध और पांच हजार शब्दों के thesis chapter के बीच तुलनीय एक संख्या होती है। इस औसत का ऋणात्मक मान लेकर उसे exponentiate करने पर perplexity score प्राप्त होता है, एक ऐसा metric जिसे यह cluster what perplexity actually measures पर एक अलग चर्चा में पूरी तरह से कवर करता है।

वही प्रति-वाक्य आंकड़े, जिन्हें एक औसत में समतल करने के बजाय पूरे दस्तावेज़ में variation के लिए ट्रैक किया जाता है, what burstiness is built from हैं, जो perplexity से संबंधित लेकिन अलग संकेत है। दोनों ऊपर वर्णित समान प्रति-टोकन संख्याओं से शुरू होते हैं। वे बस उनके ऊपर अलग arithmetic करते हैं।

एक साधारण औसत इस raw material का उपयोग करने का एकमात्र तरीका नहीं है, और शोध इससे काफी आगे बढ़ चुका है। ICML 2023 में Mitchell, Lee, Khazatsky, Manning और Finn द्वारा प्रकाशित DetectGPT, उसी probability function के एक अलग गुण से काम करता है: language model से sampled पाठ उस क्षेत्र में स्थित होने की प्रवृत्ति रखता है जहाँ छोटे rewordings log-probability को बढ़ाने के बजाय घटाते हैं, एक पैटर्न जिसे paper negative curvature कहता है।

किसी classifier को प्रशिक्षित करने या watermark का उपयोग करने के बजाय, यह विधि एक passage में perturbation करती है, जिससे उसके rewording में छोटे-छोटे variations उत्पन्न होते हैं, और फिर उसी model के साथ प्रत्येक variation को फिर से score करती है। paper इसकी तुलना सर्वोत्तम zero-shot baseline से करता है और पाता है कि, 20-billion-parameter model द्वारा उत्पन्न text पर, यह विधि 0.95 AUROC प्राप्त करती है, जबकि सर्वोत्तम zero-shot baseline 0.81 AUROC प्राप्त करती है।

वही वितरण, detect करने के बजाय watermark करने के लिए उपयोग किया गया

अब तक सब कुछ probability distribution को ऐसी चीज़ के रूप में देखता रहा है जिसे बाद में पढ़ा जाता है। generation के क्षण में भी इसे छुआ जा सकता है, जो पूरे problem को पूरी तरह उलट देता है। Kirchenbauer, Geiping, Wen, Katz, Miers और Goldstein की 2023 की एक विधि, प्रत्येक word के उत्पन्न होने से पहले अनुमत tokens की एक randomized shortlist चुनती है, जो पहले आए हुए का hash आधारित होती है, और sampling को धीरे-धीरे उस shortlist की ओर निर्देशित करती है। यह bias reader के लिए अदृश्य होता है और बाद में text के एक छोटे span पर statistical test के साथ पुनः प्राप्त किया जा सकता है, original model तक पहुँच की आवश्यकता के बिना।

Google DeepMind का SynthID इस विचार के एक version को production में लागू करता है, यह generation time पर next-token probability scores को समायोजित करता है और आज Gemini app तथा web experience में live है। OpenAI ने एक तुलनीय system बनाया और उसे ship नहीं किया। reporting इस निर्णय को आंशिक रूप से एक survey से जोड़ती है, जिसमें लगभग 30 percent ChatGPT users ने कहा कि watermarking से वे product का कम उपयोग करेंगे, साथ ही इस चिंता के साथ कि watermark paraphrasing के दौरान कितनी अच्छी तरह टिकेगा।

एक detector की report एक shaded word या एक single percentage दिखाती है और वहीं रुक जाती है, बिना कभी उस distribution को दिखाए जिससे यह सब आया था। TextPulse का free perplexity checker आपके अपने draft के विरुद्ध उसी per-token scoring का एक सरल version चलाता है, जो किसी passage की स्थिति को verdict को दूसरे हाथ से पढ़ने की तुलना में अधिक प्रत्यक्ष तरीके से देखने का साधन है।

दो पड़ोसी पृष्ठ इसे उठाते हैं। क्या डिटेक्टर अभी भी burstiness पर निर्भर करते हैं 2023 के बाद से बदल गया है, और GPTZero इन समान संभावनाओं को स्कोर में कैसे बदलता है अपने अलग पृष्ठ पर वर्णित है।

यह TextPulse के बाकी मुफ़्त उपकरणों के साथ स्थित है, इसलिए उसी मसौदे की लय और संरचना के साथ-साथ शब्द-स्तरीय पूर्वानुमेयता की भी जाँच की जा सकती है, बिना इसे करने के लिए एक दर्जन अलग-अलग टैब खोलने के।