AI पहचान में perplexity क्या है?
Perplexity वह संख्या है जो एक भाषा मॉडल आपके शब्द-चयन से कितना आश्चर्यचकित हुआ, इसे बताने के लिए उत्पन्न करता है। यह लेख इस माप को उसके 1977 के उद्गम तक ले जाता है, सूत्र को समझाता है, और बताता है कि एक ही अनुच्छेद अलग-अलग मॉडल के पढ़ने पर अलग स्कोर क्यों दे सकता है।
perplexity और AI detection को साथ में खोजें, तो शीर्ष परिणामों में से कई एक असंबंधित उत्पाद के बारे में निकलते हैं, एक AI-संचालित search engine, जिसका नाम भी संयोग से Perplexity है। जिस माप को detector वास्तव में रिपोर्ट करता है, उसका उस कंपनी से शब्द के अलावा कोई संबंध नहीं है। यह GPTZero या search engine से दशकों पुराने speech recognition research से आया है, और यह उससे भी अधिक संकीर्ण चीज़ को मापता है, यानी किसी language model को पृष्ठ पर पहले से मौजूद शब्दों से कितनी हैरानी होती है।
तो AI detection में perplexity क्या है? Perplexity एक score है जो बताता है कि किसी language model ने किसी passage में मौजूद सटीक शब्दों की कितनी अच्छी भविष्यवाणी की, जिसे model की अपनी probabilities का औसत लेकर और परिणाम को एक ही संख्या में बदलकर तैयार किया जाता है। कम score का मतलब है कि model बार बार सही अनुमान लगाता रहा। अधिक score का मतलब है कि उसे बार बार हैरानी होती रही।
यह विचार बाजार में मौजूद किसी भी AI detector से पुराना है, और अपने आप में यह नहीं बताता कि दस्तावेज़ किसने लिखा। जब संख्या के पीछे का arithmetic स्पष्ट हो जाता है, तो report पर दिया गया score verdict जैसा दिखना बंद कर देता है और वैसा दिखने लगता है जैसा वह वास्तव में है, शब्द चयन का वर्णन।
AI detection में perplexity क्या है?
Perplexity भाषा मॉडलिंग से उधार ली गई एक माप है। यह इस बात का अंकन करती है कि किसी मॉडल ने किसी अनुच्छेद में आने वाले विशिष्ट शब्दों की कितनी अच्छी भविष्यवाणी की, और उस अंकन को एक ही संख्या के रूप में प्रस्तुत करती है। डिटेक्टर इसी माप को एक प्रस्तुत दस्तावेज़ पर लागू करते हैं, एक कम संख्या, जिसका अर्थ है कि मॉडल के अनुमान वास्तविक शब्दों से निकटता से मेल खाते थे, मशीन-लेखकत्व के चिह्न के रूप में पढ़ी जाती है, और एक उच्च संख्या मानव-लेखकत्व के चिह्न के रूप में पढ़ी जाती है। इस गणना में दस्तावेज़ के तर्क, उसके उद्धरणों, या उसके विषय-वस्तु को नहीं पढ़ा जाता। यह केवल यह पढ़ती है कि प्रत्येक शब्द कितना अपेक्षित था, एक-एक करके।
डिटेक्टरों ने इस माप का आविष्कार नहीं किया। उन्होंने एक ऐसे उपकरण को उधार लिया था जिसे वाक् पहचान और मशीन अनुवाद प्रणालियाँ दशकों से यह आकलन करने के लिए उपयोग कर रही थीं कि किसी मॉडल ने सामान्य भाषा की कितनी अच्छी भविष्यवाणी की, और उसे लेखकत्व के लिए एक प्रतिनिधि संकेतक के रूप में पुनः प्रयुक्त किया, जो काम इसे मूल रूप से कभी करने के लिए नहीं बनाया गया था।
इनमें से किसी का भी पहले उल्लिखित असंबंधित search engine से कोई संबंध नहीं है। डिटेक्टर द्वारा रिपोर्ट की गई perplexity कभी भी कोई कंपनी नहीं होती और कभी भी बड़े अक्षर से नहीं लिखी जाती, यह शब्दों की एक शृंखला का एक साधारण सांख्यिकीय गुण है, जिसे उसे दिए गए किसी भी पाठ से नए सिरे से गणना किया जाता है।
Perplexity की वास्तविक गणना कैसे की जाती है
यह गणना किसी भी AI उत्पाद से भी आगे तक जाती है। Frederick Jelinek, Robert Mercer, Lalit Bahl और James Baker ने 1977 में perplexity को प्रस्तुत किया था ताकि यह मापा जा सके कि किसी सांख्यिकीय मॉडल के लिए वाक् पहचान का कार्य कितना कठिन था, किसी निबंध या प्रयोगशाला रिपोर्ट पर इस शब्द को लागू किए जाने से दशकों पहले। तब से इसकी परिभाषा नहीं बदली है।
दस्तावेज़ में प्रत्येक स्थिति पर, मॉडल उस शब्द के लिए एक प्रायिकता देता है जो वास्तव में अगला आता है, जैसे किसी सामान्य संक्रमण के लिए 0.72 या किसी असामान्य संक्रमण के लिए 0.03। Perplexity पूरे अनुच्छेद में इन प्रायिकताओं के लघुगणकों का औसत लेती है, फिर उस औसत को घातांक से उलट देती है।
घातांक में जो है, वह जितना दिखता है उससे अधिक काम कर रहा है। लॉग प्रायिकताओं का औसत लेना ठीक वही है जो हम क्रॉस-एंट्रॉपी की गणना करते समय करते हैं, और यह सूचना-सैद्धांतिक तरीका है यह बताने का कि किसी मॉडल द्वारा की गई भविष्यवाणियों को देखते हुए किसी अनुक्रम को एन्कोड करने के लिए आपको कितने बिट्स की आवश्यकता है। लेकिन perplexity बिट्स की इस गिनती को वापस ऐसी चीज में बदल देता है जिसे हम बेहतर समझ सकते हैं, एक अमूर्त बिट-गणना के बजाय विकल्पों की एक प्रभावी संख्या में।
उस अंकगणित से जो बचता है, उसका एक साफ, लगभग भौतिक अर्थ निकलता है। जो मॉडल हर बार पूरी तरह निश्चित होता है, वह 1 की perplexity उत्पन्न करता है, जो पैमाने का निचला स्तर है। जो मॉडल हर स्थान को अस्सी समान रूप से संभाव्य शब्दों के बीच एक बराबर की बाजी मानता है, वह 80 की perplexity उत्पन्न करता है।
अधिकांश वास्तविक दस्तावेज़ इन दोनों चरम सीमाओं के बीच कहीं आते हैं, और ठीक कहाँ आते हैं, यह लेखक, विषय, और कौन सा मॉडल पढ़ रहा है, इस पर निर्भर करता है।
अपने पेपर को मानवीय बनाइए
अपने AI-सहायता प्राप्त पाठ को रूपांतरित करें और उसे मानवीय ध्वनि दें, महत्वपूर्ण शब्दों या उद्धरणों को छेड़े बिना।
मानव लेखन का स्कोर अक्सर अलग क्यों होता है
मॉडल की अपेक्षाएँ पूरी तरह से उससे बनती हैं जो पहले आ चुका है, एक समय में एक शब्द। 'the treatment group showed a statistically' वाक्यांश के बाद, अच्छी तरह से निर्मित आगे की अधिकांश संभावनाएँ 'significant' होती हैं, और वैज्ञानिक लेखन की बड़ी मात्रा पर प्रशिक्षित एक मॉडल बिना हिचकिचाहट उस शब्द को उच्च प्रायिकता देता है। उसी वाक्यांश तक पहुँचने वाला मानव लेखक भी 'significant' चुन सकता है, क्योंकि यह वाक्यांश स्वयं उस विधा की एक स्थायी विशेषता है। अंतर कहीं और खुलता है, दो वाक्यों बाद चुने गए संज्ञा में, कोष्ठक में जोड़ी गई टिप्पणी में, या गोल संख्या के बजाय किसी अजीब दशमलव स्थान तक रिपोर्ट की गई संख्या में।
इसमें कोई चाल नहीं है। जब वास्तविक डेटा के बारे में लिखने वाला व्यक्ति सटीक संख्या, सटीक विशेषक, या थोड़ा संकरा शब्द चुनने की कोशिश करता है, तो वह उन चीज़ों तक पहुँच रहा होता है जो काम के बारे में सत्य हैं, न कि विधा के बारे में सत्य। और उन हर एक विकल्पों की कीमत मॉडल के लिए थोड़ी अधिक आश्चर्य होती है। आश्चर्य ही वह चीज़ है जिसे यह स्कोर जोड़कर निकालने के लिए बनाया गया है।
अनुमान, मापन जितना समर्थन कर सकता है, उससे अधिक काम कर रहा है। Perplexity सीधे पूर्वानुमेयता को मापता है। यह केवल इस धारणा के आधार पर लेखकत्व का अनुमान लगाता है कि पूर्वानुमेय लेखन मनुष्यों में दुर्लभ और मॉडलों में सामान्य है, एक ऐसी धारणा जो सामान्यतः उचित होती है और कभी कभी किसी विशिष्ट, पहचाने जाने योग्य तरीके से गलत भी हो सकती है, क्योंकि पूर्वानुमेयता पाठ का एक ऐसा गुण है जो ऐसे कारणों से हो सकता है जिनका उसे टाइप करने वाले व्यक्ति से कोई संबंध नहीं होता।
एक ही अंश का स्कोर अलग क्यों हो सकता है
स्कोर भी उतना पोर्टेबल नहीं है जितना वह दिखता है, क्योंकि इसे कभी भी शून्य में मापा नहीं जाता। Perplexity हमेशा किसी एक विशिष्ट संदर्भ मॉडल के प्रशिक्षण के विरुद्ध गणना किया जाता है, और यह निर्भरता ऐसी समस्याएँ पैदा करती है जिन्हें कोई एकल परिभाषा अपने आप नहीं दिखा सकती।
| कारक | क्या बदलता है | ऐसा क्यों होता है |
|---|---|---|
| कौन सा मॉडल पाठ को पढ़ रहा है | एक ही अनुच्छेद एक मॉडल पर कम स्कोर कर सकता है और दूसरे पर अधिक | Perplexity हमेशा केवल एक मॉडल के प्रशिक्षण डेटा के विरुद्ध मापा जाता है, और अलग अलग मॉडल अलग अलग पाठ पर प्रशिक्षित किए गए थे |
| क्या अंश व्यापक रूप से पुनरुत्पादित पाठ है | कोई प्रसिद्ध ऐतिहासिक दस्तावेज या पाठ्यपुस्तक की परिभाषा कम perplexity स्कोर कर सकती है, भले ही किसी व्यक्ति ने उसका हर शब्द detector में टाइप किया हो | Pangram Labs स्वतंत्रता घोषणा का उदाहरण देता है, यह प्रशिक्षण डेटा में इतनी बार उद्धृत की जाती है कि मॉडल को इसकी हर पंक्ति अप्रत्याशित नहीं लगती |
| क्या detector token probabilities को बिल्कुल देख सकता है | ChatGPT, Gemini और Claude जैसे बंद वाणिज्यिक मॉडल प्रति शब्द probabilities को प्रकट नहीं करते, जिनकी perplexity को आवश्यकता होती है | Detectors उस मॉडल के विरुद्ध perplexity की गणना करने के बजाय, जो वास्तव में पाठ उत्पन्न करता है, एक स्थानापन्न open model के साथ स्कोर का अनुमान लगाते हैं |
इनमें से कोई भी बात इस संख्या को अर्थहीन नहीं बनाती, केवल इसे अपने आप में एक निष्कर्ष के रूप में भरोसा करने के लिए अधिक जोखिमपूर्ण बनाती है। GPTZero के अपने दस्तावेज़ ने कभी एक मोटा नियम प्रकाशित किया था, जिसमें 85 से अधिक perplexity को अधिक संभावना से मानव-पक्षीय माना गया था, लेकिन एक मॉडल पर किसी एक विक्रेता की सीमा किसी भिन्न उपकरण पर, किसी भिन्न मॉडल के विरुद्ध मापे गए परिणाम पर लागू नहीं होती। एक detector जो एक ही score रिपोर्ट करता है, वह ऊपर के सभी कारकों को एक ही आंकड़े में संकुचित कर रहा है, बिना यह बताए कि उनमें से किसने वास्तव में काम किया।
एक perplexity score वास्तव में आपको क्या बताता है
वाणिज्यिक detector, रिपोर्ट पर एक ही संख्या छापने से पहले, perplexity को वाक्य-स्तर के पैटर्न, classifier training और कई अन्य संकेतों के साथ मिला देते हैं। AI detectors वास्तव में कैसे काम करते हैं की अधिक पूर्ण तस्वीर अलग से कवर की गई है, और वह बताती है कि उस संख्या का शेष भाग कहाँ से आता है।
वाक्य से वाक्य की लय एक संबंधित लेकिन अलग संकेत है, जिसे burstiness checker अपने स्वयं के संदर्भ में देखता है, और यह किसी एक शब्द के बजाय किसी अनुच्छेद में मौजूद भिन्नता की मात्रा पर ध्यान देता है।
इनमें से कोई भी संख्या यह सिद्ध नहीं कर सकती कि किसी दस्तावेज़ को किसने लिखा, जिसमें TextPulse द्वारा प्रस्तुत मसौदे से गणना किया गया अनुमानित Human Score भी शामिल है, जो पाठ का वर्णन करता है, उस पर निष्कर्ष नहीं देता। इसी विचार का एक सरलीकृत रूप, पूर्ण model probability के बजाय शब्दावली की विविधता, इस साइट पर मौजूद free perplexity checker को संचालित करता है, और किसी ऐसे अनुच्छेद के विरुद्ध इसे आज़माना उपयोगी है जिसका स्रोत पहले से ज्ञात हो, इससे पहले कि आप किसी रिपोर्ट के किसी और के बारे में कहे गए कथन पर भरोसा करें।
perplexity checker, TextPulse के शेष free tools के साथ स्थित है, इसलिए किसी मसौदे, शब्दावली, लय और बाकी सब पर पूर्ण जाँच के लिए एक साथ एक दर्जन अलग-अलग टैब खुले रखने की आवश्यकता नहीं होती।
Perplexity उन दो सांख्यिकीय मानों में से एक है जिन पर ये प्रणालियाँ निर्भर करती हैं। दूसरा है burstiness, वाक्य की लंबाई और संरचना में भिन्नता, जो किसी अंश में दिखाई देती है, और इन दोनों के नीचे वह token probability arithmetic है जो सबसे पहले score उत्पन्न करती है।
किसी report में दिया गया एक number arithmetic की एक लंबी श्रृंखला का अंतिम परिणाम होता है, न कि यह बहस शुरू करने का बिंदु कि कोई चीज़ किसने लिखी। जब arithmetic अपनी रहस्यमयता खो देती है, तब अधिक रोचक प्रश्न यह होता है कि किसी document को सबसे पहले वास्तव में किस बात ने surprising या predictable बनाया, और यह प्रश्न स्वयं लेखन से संबंधित है।
अक्सर पूछे जाने वाले प्रश्न
नहीं। AI पहचान में perplexity भाषा मॉडलिंग से आया दशकों पुराना सांख्यिकीय मापन है, जो बताता है कि पाठ का एक अंश मॉडल के लिए कितना पूर्वानुमेय है। Perplexity AI एक असंबद्ध कंपनी है जो AI-संचालित खोज उत्पाद बनाती है। दोनों का केवल नाम समान है, और इससे अधिक कुछ नहीं, तथा इन्हें गड़बड़ाने से आपको detector की रिपोर्ट समझने में मदद नहीं मिलेगी.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
