AI पहचान में Perplexity क्या है?
Perplexity वह संख्या है जो भाषा मॉडल आपके शब्द-चयन का वर्णन करने के लिए उत्पन्न करता है, ताकि यह बताया जा सके कि वह उनसे कितना चकित था। यह लेख इस माप को 1977 की इसकी उत्पत्ति तक ले जाता है, सूत्र को समझाता है, और बताता है कि वही अनुच्छेद किस मॉडल के पढ़ने पर निर्भर करते हुए अलग स्कोर क्यों दे सकता है.
perplexity और AI detection को साथ में खोजें, तो शीर्ष परिणामों में से कई एक असंबंधित उत्पाद के बारे में निकलते हैं, एक AI-संचालित खोज इंजन, जिसका नाम भी Perplexity है। जिस माप को detector वास्तव में रिपोर्ट करता है, उसका उस कंपनी से शब्द के अलावा कोई संबंध नहीं है। यह GPTZero या खोज इंजन से दशकों पुराने speech recognition शोध से आया है, और यह दोनों में से किसी से भी अधिक संकीर्ण चीज को मापता है, यानी किसी language model को पृष्ठ पर पहले से मौजूद शब्दों से कितनी आश्चर्यजनकता होती है।
तो AI detection में perplexity क्या है? Perplexity एक score है जो बताता है कि किसी language model ने किसी passage में मौजूद सटीक शब्दों की कितनी अच्छी भविष्यवाणी की, जिसे model की अपनी probabilities का औसत लेकर और परिणाम को एक ही संख्या में बदलकर प्राप्त किया जाता है। कम score का अर्थ है कि model सही अनुमान लगाता रहा। अधिक score का अर्थ है कि वह बार बार चकित होता रहा।
यह विचार बाजार में उपलब्ध किसी भी AI detector से पुराना है, और अपने आप में यह नहीं बताता कि दस्तावेज़ किसने लिखा। एक बार जब संख्या के पीछे का arithmetic स्पष्ट हो जाता है, तो report पर दिया गया score verdict जैसा दिखना बंद कर देता है और वैसा दिखने लगता है जैसा वह वास्तव में है, शब्द चयन का एक वर्णन।
AI detection में perplexity क्या है?
Perplexity language modeling से लिया गया एक मापन है। यह इस बात का score देता है कि किसी model ने passage में आने वाले विशिष्ट शब्दों की कितनी अच्छी भविष्यवाणी की, और उस score को एक ही संख्या के रूप में रिपोर्ट करता है। Detectors इसी मापन को प्रस्तुत दस्तावेज़ पर लागू करते हैं, कम संख्या, जिसका अर्थ है कि model के अनुमान वास्तविक शब्दों से बहुत निकटता से मेल खाते हैं, machine authorship के चिह्न के रूप में पढ़ी जाती है, और अधिक संख्या human authorship के चिह्न के रूप में पढ़ी जाती है। इस गणना में दस्तावेज़ के तर्क, उसके citations, या उसके विषय वस्तु को नहीं पढ़ा जाता। यह केवल यह पढ़ती है कि प्रत्येक शब्द कितना अपेक्षित था, एक बार में एक शब्द।
Detectors ने यह मापन नहीं बनाया। उन्होंने एक ऐसे उपकरण को अपनाया जिसे speech recognition और machine translation प्रणालियाँ पहले से ही दशकों से उपयोग कर रही थीं, ताकि यह आंका जा सके कि किसी model ने सामान्य भाषा की कितनी अच्छी भविष्यवाणी की, और फिर उसे authorship के लिए एक proxy के रूप में पुनः उपयोग किया, एक ऐसा कार्य जिसके लिए इसे मूल रूप से कभी बनाया ही नहीं गया था।
इसका पहले उल्लेख किए गए असंबंधित search engine से कोई संबंध नहीं है। detector जो perplexity रिपोर्ट करता है, वह कभी कोई company नहीं होती और कभी capitalized नहीं होती: यह शब्दों की एक अनुक्रम की एक साधारण सांख्यिकीय विशेषता है, जिसे दिए गए किसी भी text से ताज़ा रूप से गणना किया जाता है।
perplexity की वास्तविक गणना कैसे की जाती है
यह गणना किसी भी AI product से भी पहले की है। Frederick Jelinek, Robert Mercer, Lalit Bahl और James Baker ने 1977 में perplexity को इस बात को मापने के लिए प्रस्तुत किया था कि एक statistical model के लिए speech recognition task कितना कठिन था, essay या lab report पर इस शब्द के प्रयोग से दशकों पहले। तब से इसकी परिभाषा नहीं बदली है।
document में प्रत्येक स्थान पर, model उस word के लिए एक probability output करता है जो वास्तव में अगला आता है, जैसे किसी सामान्य transition के लिए 0.72 या किसी असामान्य transition के लिए 0.03। perplexity पूरे passage में उन probabilities के logarithms का औसत लेती है, फिर exponent के साथ उस औसत को उलट देती है।
उसमें exponent जितना दिखता है, उससे अधिक काम कर रहा होता है। log probabilities का औसत लेना ठीक वही है जो हम cross-entropy की गणना करते समय करते हैं, जो यह बताने का information-theoretic तरीका है कि model द्वारा की गई predictions को देखते हुए किसी sequence को encode करने के लिए आपको कितने bits चाहिए। लेकिन perplexity bits की संख्या को वापस ऐसी चीज़ में बदल देती है जिसे हम बेहतर समझ सकते हैं, bits की एक abstract संख्या के बजाय विकल्पों की एक प्रभावी संख्या।
उस arithmetic से जो बचता है, उसका एक स्पष्ट, लगभग भौतिक अर्थ निकलता है। एक model जो हर बार पूरी तरह निश्चित होता है, 1 की perplexity उत्पन्न करता है, जो scale का निचला स्तर है। एक model जो हर स्थान को अस्सी समान रूप से संभावित शब्दों के बीच एक बराबर संभावना वाली स्थिति मानता है, 80 की perplexity उत्पन्न करता है।
अधिकांश वास्तविक documents इन दोनों चरम सीमाओं के बीच कहीं आते हैं, और यह ठीक-ठीक कहाँ होगा, यह writer, subject, और reading करने वाला model कौन सा है, इस पर निर्भर करता है।
Humanize your own paper
Transform your AI-assisted text and make it sound human, without touching important words or citations.
मानव लेखन का score अक्सर अलग क्यों होता है
एक मॉडल की अपेक्षाएँ पूरी तरह से उससे बनती हैं जो पहले आया था, एक समय में एक शब्द। वाक्यांश 'the treatment group showed a statistically' के बाद, अच्छी तरह से निर्मित निरंतरताओं का भारी बहुमत 'significant' होता है, और वैज्ञानिक लेखन की बड़ी मात्रा पर प्रशिक्षित एक मॉडल बिना हिचकिचाहट उस शब्द को उच्च प्रायिकता देता है। उसी वाक्यांश तक पहुँचने वाला एक मानव लेखक भी 'significant' पर आ सकता है, क्योंकि स्वयं यह वाक्यांश उस विधा की एक स्थायी विशेषता है। अंतर कहीं और खुलता है, दो वाक्य बाद चुने गए संज्ञा में, कोष्ठकों में जोड़ी गई टिप्पणी में, किसी गोल संख्या के बजाय अजीब दशमलव स्थान पर रिपोर्ट की गई संख्या में।
इसमें कुछ भी चाल नहीं है। जब वास्तविक डेटा के बारे में लिखने वाला व्यक्ति सटीक संख्या, ठीक-ठीक विशेषण, थोड़ा संकीर्ण शब्द खोजने की कोशिश करता है, तो वह उन चीज़ों की ओर बढ़ रहा होता है जो कार्य के लिए सत्य हैं, न कि विधा के लिए। और उन प्रत्येक विकल्पों से मॉडल को थोड़ी और आश्चर्यजनकता खर्च करनी पड़ती है। आश्चर्य वही है जिसे यह स्कोर जोड़कर निकालने के लिए बनाया गया है।
यह निष्कर्ष मापन जितना सहारा दे सकता है, उससे अधिक काम कर रहा है। Perplexity सीधे पूर्वानुमेयता को मापता है। यह केवल इस मान्यता के आधार पर लेखकत्व का अनुमान लगाता है कि पूर्वानुमेय लेखन मनुष्यों में दुर्लभ है और मॉडलों में सामान्य है, एक मान्यता जो सामान्यतः उचित है और कभी-कभी एक विशिष्ट, पहचाने जा सकने वाले तरीके से गलत भी होती है, क्योंकि पूर्वानुमेयता पाठ का एक गुण हो सकती है, ऐसे कारणों से जिनका उसे टाइप करने वाले व्यक्ति से कोई संबंध नहीं होता।
एक ही अंश का स्कोर अलग क्यों हो सकता है
यह स्कोर दिखने से भी कम स्थानांतरित होने योग्य है, क्योंकि इसे कभी भी शून्य में मापा नहीं जाता। Perplexity हमेशा एक विशिष्ट संदर्भ मॉडल के प्रशिक्षण के विरुद्ध गणना किया जाता है, और वह निर्भरता ऐसी समस्याएँ पैदा करती है जिन्हें कोई एकल परिभाषा अपने आप नहीं दिखा सकती।
| कारक | क्या बदलता है | ऐसा क्यों होता है |
|---|---|---|
| कौन-सा मॉडल पढ़ रहा है | एक ही अनुच्छेद एक मॉडल पर कम और दूसरे पर अधिक स्कोर कर सकता है | Perplexity हमेशा केवल एक मॉडल के प्रशिक्षण डेटा के विरुद्ध मापा जाता है, और अलग-अलग मॉडल अलग-अलग पाठ पर प्रशिक्षित किए गए थे |
| क्या वह अंश व्यापक रूप से पुनरुत्पादित पाठ है | एक प्रसिद्ध ऐतिहासिक दस्तावेज़ या पाठ्यपुस्तक की परिभाषा कम perplexity स्कोर कर सकती है, भले ही किसी व्यक्ति ने उसका हर शब्द detector में टाइप किया हो | Pangram Labs Declaration of Independence को एक उदाहरण के रूप में प्रस्तुत करता है, इसे training data में इतनी बार उद्धृत किया गया है कि एक model को इसके हर वाक्य में कुछ भी असामान्य नहीं लगता |
| क्या detector token probabilities को बिल्कुल देख सकता है | ChatGPT, Gemini और Claude जैसे बंद वाणिज्यिक मॉडल प्रति-शब्द probabilities प्रकट नहीं करते, जिनकी perplexity को आवश्यकता होती है | Detectors उस मॉडल के विरुद्ध perplexity की गणना करने के बजाय, जो वास्तव में पाठ उत्पन्न करता है, एक स्थानापन्न open model के साथ score का अनुमान लगाते हैं |
इसमें से कोई भी संख्या को अर्थहीन नहीं बनाता, केवल इसे अपने आप में एक निर्णय के रूप में भरोसा करने को अधिक जोखिमपूर्ण बनाता है। GPTZero के अपने documentation ने कभी एक मोटा नियम प्रकाशित किया था, जिसमें 85 से अधिक perplexity को अधिक संभावना से human के रूप में पढ़ा गया था, लेकिन एक model पर एक vendor की threshold किसी अलग tool पर, किसी अलग model के विरुद्ध मापे गए परिणाम पर लागू नहीं होती। एक detector जो एक single score रिपोर्ट करता है, वह ऊपर के सभी factors को एक figure में संकुचित कर रहा है, बिना यह बताए कि उनमें से किसने काम किया।
एक perplexity score वास्तव में आपको क्या बताता है
वाणिज्यिक detectors report पर एक single number छापने से पहले perplexity को sentence-level patterns, classifier training और कई अन्य signals के साथ मिला देते हैं। AI detectors वास्तव में कैसे काम करते हैं की अधिक पूर्ण तस्वीर अलग से covered है, और वह बताती है कि उस number का शेष भाग कहाँ से आता है।
वाक्य से वाक्य की लय एक संबंधित लेकिन अलग संकेत है, जिसे burstiness checker अपने स्वयं के संदर्भ में देखता है, और यह किसी एक शब्द के बजाय किसी अंश में मौजूद भिन्नता की मात्रा को देखता है।
इनमें से कोई भी संख्या यह सिद्ध नहीं कर सकती कि किसी दस्तावेज़ को किसने लिखा, जिसमें TextPulse द्वारा प्रस्तुत मसौदे से गणना किया गया अनुमानित Human Score भी शामिल है, जो पाठ का वर्णन करता है, न कि उस पर कोई निर्णय देता है। इसी विचार का एक सरलीकृत रूप, पूर्ण मॉडल प्रायिकता के बजाय शब्दावली की विविधता, इस साइट पर मौजूद free perplexity checker को संचालित करता है, और यह किसी ऐसे अनुच्छेद के विरुद्ध आज़माने योग्य है जिसका स्रोत पहले से ज्ञात हो, इससे पहले कि आप किसी रिपोर्ट के उस दावे पर भरोसा करें जो किसी और के बारे में कुछ कहती है।
perplexity checker, TextPulse के शेष free tools के साथ स्थित है, इसलिए किसी मसौदे, शब्दावली, लय और बाकी सब पर एक पूर्ण जाँच के लिए एक साथ दर्जनों अलग टैब खुले रखने की आवश्यकता नहीं होती।
Perplexity उन दो सांख्यिकीय मानों में से एक है जिन पर ये प्रणालियाँ निर्भर करती हैं। दूसरा है burstiness, किसी अंश में वाक्य लंबाई और संरचना में भिन्नता, और इन दोनों के नीचे token probability arithmetic निहित है, जो सबसे पहले स्कोर उत्पन्न करती है।
रिपोर्ट पर दिया गया एक अंक गणना की एक लंबी श्रृंखला का अंतिम परिणाम है, न कि इस बहस की शुरुआत कि किसी चीज़ को किसने लिखा। जब यह गणना रहस्यमय नहीं रह जाती, तब अधिक रोचक प्रश्न यह होता है कि किसी दस्तावेज़ को मूल रूप से क्या चीज़ आश्चर्यजनक या पूर्वानुमेय बनाती है, और यह प्रश्न स्वयं लेखन के बारे में है।
Frequently Asked Questions
नहीं। AI पहचान में perplexity भाषा मॉडलिंग से आया दशकों पुराना सांख्यिकीय मापन है, जो बताता है कि पाठ का कोई अंश मॉडल के लिए कितना पूर्वानुमेय है। Perplexity AI एक असंबंधित कंपनी है जो AI-संचालित खोज उत्पाद बनाती है। दोनों का केवल नाम समान है, और इससे अधिक कुछ नहीं, तथा इन्हें गड़बड़ाने से आप detector की रिपोर्ट को समझने में मदद नहीं मिलेगी.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.