AI डिटेक्टर कैसे काम करते हैं? Perplexity, Burstiness और Token Probability

आपके विश्वविद्यालय ने प्रस्तुतियों को एक AI detector के माध्यम से जाँचना शुरू कर दिया है, और एक रिपोर्ट में एक ऐसा अंक आया है जिसकी आपको अपेक्षा नहीं थी। उसे चुनौती देने की कोशिश करने से पहले, यह समझना उपयोगी है कि उस अंक का अर्थ क्या है। AI detectors कैसे काम करते हैं? वे मशीन-लिखित पाठ को उस तरह नहीं पढ़ते जैसे कोई व्यक्ति पढ़ता है। वे मापते हैं कि आपका पाठ किसी भाषा मॉडल के लिए कितना पूर्वानुमेय है, फिर उस पूर्वानुमेयता को एक स्कोर में बदल देते हैं। उस प्रक्रिया में कुछ भी यह नहीं देखता कि आपका आशय क्या है, आपका तर्क क्या है, या क्या आपने वास्तव में वह चीज़ लिखी है।

मैंने वर्षों तक ऐसे उपकरण बनाने में समय लगाया है जो पाठ को सांख्यिकीय रूप से अलग करते हैं, और detection के बारे में समझने योग्य सबसे उपयोगी बात यह है: यह सामान्यता का मापन है, उत्पत्ति का नहीं। यह बात समझ में आते ही, तकनीक और उसकी विफलताएँ दोनों बहुत अधिक अर्थपूर्ण लगने लगती हैं।

एक detector वास्तव में किस चीज़ को माप रहा है

एक detector को यह नहीं पता होता कि कुछ किसने लिखा। उसके पास जो होता है, वह एक भाषा मॉडल और एक scoring function है। मॉडल आपके पाठ को बाएँ से दाएँ पढ़ता है, और हर बिंदु पर यह इस बात की probability distribution बनाता है कि अगला शब्द क्या होना चाहिए। यदि आप उसे "the results of the" शब्द दें, तो वह "study" को सबसे ऊपर रखेगा, "experiment" को थोड़ा नीचे, और "marmalade" को लगभग शून्य के पास।

इसलिए detector आपके दस्तावेज़ से एक प्रश्न पूछता है: इस पाठ ने कितनी बार उस शब्द को चुना जिसकी अपेक्षा मॉडल ने की थी? ऐसा लेखन जो बार-बार उच्च-probability वाले शब्दों पर आकर टिकता है, मशीन-निर्मित जैसा दिखता है, क्योंकि यही ठीक वही है जो एक text generator करता है। मॉडल अपनी ही distribution के शीर्ष से, बार-बार, हज़ारों tokens के लिए sample करता है।

यही कारण है कि यह पूरी श्रेणी marketing के दावे से अधिक अस्थिर आधार पर खड़ी है। एक detector कोई watermark या fingerprint नहीं खोज रहा होता। वह केवल यह देख रहा होता है कि आपका गद्य सांख्यिकीय रूप से असामान्य नहीं है, और असामान्य न होने वाले गद्य के कारण chatbot के अलावा भी बहुत से हो सकते हैं।

Perplexity: मॉडल कितना चकित होता है

मुख्य माप को perplexity कहा जाता है, जो सुनने में जितना कठिन लगता है, उससे आसान है। उस संभावना को लें जो मॉडल ने वास्तव में आए प्रत्येक शब्द को दी थी, उन संभावनाओं के लघुगणकों का औसत लें, और परिणाम का घात लें। जो निकलता है, वह एक एकल संख्या है जो बताती है कि आपका दस्तावेज़ मॉडल के लिए कितना अप्रत्याशित था। आप अनुमान लगाने के बजाय अपने मसौदे की perplexity जाँच सकते हैं।

कम perplexity का अर्थ है कि पाठ वहीं गया जहाँ मॉडल ने अपेक्षा की थी। अधिक perplexity का अर्थ है कि वह ऐसे मोड़ लेता रहा जिनकी मॉडल ने अपेक्षा नहीं की थी। मानव लेखन सामान्यतः अधिक ऊपर होता है, क्योंकि लोग असामान्य विशिष्ट संज्ञा, असामान्य संरचना, और ऐसे वाक्य की ओर जाते हैं जो अप्रत्याशित जगह से शुरू होता है। उत्पन्न पाठ सामान्यतः नीचे होता है, क्योंकि decoding प्रक्रिया ठीक ऐसे ही कदमों से बचने के लिए बनाई गई है।

विधि अनुभाग की शुरुआत करने के दो तरीकों की तुलना करें। "The results of the study were statistically significant" एक ऐसी अनुक्रम है जिसे लगभग कोई भी मॉडल उच्च confidence के साथ predict करेगा, क्योंकि इसमें कोई अप्रत्याशित जानकारी नहीं है। "Two of the three cohorts drifted before week six, which we had not planned for" कहीं कम predictability रखता है, क्योंकि इसमें विशिष्ट, असुविधाजनक जानकारी है जिसे paper के बाकी हिस्से से अनुमान नहीं किया जा सकता था। दूसरा detector से वास्तविक surprise लेता है, और वही surprise human के रूप में दर्ज होता है।

Burstiness, औसत नहीं, विचरण

केवल perplexity पर्याप्त नहीं है, क्योंकि कोई दस्तावेज़ सतह पर पूरी तरह उचित संख्या का औसत दे सकता है, जबकि भीतर से संदिग्ध रूप से एकसमान हो सकता है। महत्वपूर्ण है आपके पाठ में variation, और burstiness यही मापता है, कि लेखन आगे बढ़ते हुए sentence length और sentence-level perplexity कितना बदलते हैं। एक burstiness checker यह फैलाव आपको सीधे दिखाएगा।

जब हम आश्वस्त होते हैं तो हम तेज़ लिखते हैं और जब हम सावधानी बरत रहे होते हैं तो धीमे, और वह लय गद्य में भी बनी रहती है। लोग bursts में लिखते हैं। एक paragraph आठ शब्दों के छोटे declarative sentence से शुरू हो सकता है, फिर एक ऐसे तीस-चार शब्दों वाले sentence तक जा सकता है जिसमें तीन clauses और एक parenthetical हो, और फिर वापस किसी brisk चीज़ पर आ सकता है।

मॉडल आउटपुट यह विश्वसनीय रूप से नहीं करता। वाक्य औसत लंबाई के पास समूहित हो जाते हैं। अनुच्छेद सुव्यवस्थित खंडों में आते हैं। प्रत्येक खंड अपने ही शीर्षक को दोहराकर शुरू होता है। यह सहज रूप से पढ़ा जाता है और खराब स्कोर करता है, क्योंकि वाक्यों के बीच कम विचरण एक सबसे मजबूत संकेत है जिसे कोई डिटेक्टर देख सकता है। इसे उजागर करने वाला कोई एकल वाक्य नहीं होता। यह एकरूपता होती है।

संकेत	यह क्या मापता है	मशीन-लिखित पाठ का स्कोर कम क्यों होता है
Perplexity	आपके शब्द-चयन से मॉडल कितना आश्चर्यचकित होता है, पूरे दस्तावेज़ पर औसत लिया हुआ	डिकोडिंग उच्च-प्रायिकता वाले टोकनों से नमूना लेती है, यह डिज़ाइन के अनुसार होता है
Burstiness	पाठ में वाक्य-लंबाई और पूर्वानुमेयता कितनी बदलती है	आउटपुट झूलने के बजाय औसत के पास समूहित हो जाता है
Token probability	प्रति-शब्द वह संभाव्यता जिससे अन्य दो की गणना की जाती है	व्यक्तिगत रूप से साधारण विकल्पों की लंबी शृंखलाएँ

Token probability और स्कोर कहाँ से आता है

ये दोनों संख्याएँ एक तीसरी संख्या से निर्मित होती हैं, प्रति-टोकन log-likelihood, वह कच्चा पदार्थ जिससे बाकी सब कुछ गणना किया जाता है। कुछ उपकरण इसे सीधे दिखाते हैं, उन अंशों को उजागर करते हुए जहाँ आपका पाठ सबसे अधिक पूर्वानुमेय था। वे उजागर अंश विशिष्ट वाक्यों पर आरोप नहीं हैं, चाहे इंटरफ़ेस कुछ भी संकेत दे। वे वे हिस्से हैं जिन्होंने दस्तावेज़-स्तर की संख्या में सबसे अधिक योगदान दिया।

अनुसंधान-पद्धतियाँ साधारण thresholds से आगे बढ़ चुकी हैं। DetectGPT और उसके उत्तराधिकारी curvature को देखते हैं, वे आपके पाठ में थोड़ा perturb करते हैं और जाँचते हैं कि क्या likelihood उस पैटर्न में गिरता है जो generated text में दिखने की प्रवृत्ति होती है। अन्य लोग उसी अंश की तुलना दो अलग-अलग models के अंतर्गत करते हैं और disagreement को एक संकेत के रूप में उपयोग करते हैं।

एक परिणाम किसी भी ऐसे व्यक्ति के लिए महत्वपूर्ण है जिसका मूल्यांकन किया जा रहा है। क्योंकि metrics किसी विशेष reference model के विरुद्ध गणना किए जाते हैं, इसलिए score हमेशा उसी model के सापेक्ष होता है। दो detectors एक ही अनुच्छेद को पढ़कर पूरी तरह असहमत हो सकते हैं, और न तो कोई खराबी कर रहा होता है। वे अलग-अलग reference points के साथ एक ही प्रश्न का उत्तर दे रहे होते हैं।

दूसरा परिणाम कम बार उल्लेखित किया जाता है। कोई मॉडल केवल तभी किसी अंश को पूर्वानुमेय पा सकता है जब वह अंश उस सामग्री से मिलता-जुलता हो जिस पर उसे प्रशिक्षित किया गया था, इसलिए जैसे-जैसे संदर्भ मॉडल और जिस किसी ने पाठ उत्पन्न किया है, उसके बीच का अंतर बढ़ता है, पहचान की गुणवत्ता घटती जाती है। नए जनरेटर, असामान्य विषय-विषयक क्षेत्र, और अंग्रेज़ी के अलावा अन्य भाषाएँ, सभी उस अंतर को खोल देती हैं। यही कारण है कि नियंत्रित बेंचमार्क में मापी गई सटीकता वास्तविक प्रस्तुतियों के ढेर से सामना होने पर शायद ही टिकती है।

व्यावसायिक डिटेक्टर इसके ऊपर क्या जोड़ते हैं

संस्थाएँ वास्तव में जो उपकरण खरीदती हैं, वे पाठ्यपुस्तकीय perplexity नहीं चलाते। Turnitin, GPTZero, Originality.ai और अन्य, मानव और मशीन पाठ के बड़े लेबलयुक्त सेटों पर पर्यवेक्षित वर्गीकारकों को प्रशिक्षित करते हैं, और सांख्यिकीय विशेषताओं के साथ-साथ शैलीगत विशेषताओं का भी उपयोग करते हैं। वर्गीकारक जो सीखता है, वह उसके प्रशिक्षण डेटा में उन दो ढेरों को अलग करने वाली चीज़ होती है, जो सामान्य रूप से "AI writing" से अधिक संकीर्ण और अधिक ऐतिहासिक होती है।

प्रशिक्षण पर निर्भरता ही शांत समस्या है। मुख्यतः मॉडल आउटपुट की एक पीढ़ी पर प्रशिक्षित वर्गीकारक को नए मॉडलों, अपरिचित विषय-विषयक क्षेत्रों, और ऐसे लेखकों पर सामान्यीकरण करना पड़ता है जिनकी अंग्रेज़ी उसकी प्रशिक्षण वितरण से मेल नहीं खाती। विक्रेता अपनी स्वयं की मूल्यांकनों से सटीकता के आँकड़े प्रकाशित करते हैं, और स्वतंत्र बेंचमार्क नियमित रूप से उन्हीं उपकरणों पर उन संख्याओं से काफी नीचे आते हैं।

स्कोर को अधिक अर्थ लगाए बिना पढ़ना

एक डिटेक्टर रिपोर्ट आमतौर पर प्रतिशत के रूप में आती है, और उस प्रतिशत की अक्सर गलत व्याख्या की जाती है। यह आपके दस्तावेज़ का वह अनुपात नहीं है जो किसी मशीन ने लिखा है। उपकरण के अनुसार, यह वर्गीकारक का आत्मविश्वास होता है, या उन वाक्यों का हिस्सा होता है जो किसी आंतरिक सीमा से ऊपर गए, और विक्रेता अक्सर इस बारे में अस्पष्ट रहते हैं कि कौन-सा। दो रिपोर्टें, जिनमें दोनों में साठ प्रतिशत दिख रहा हो, बहुत अलग बातें हो सकती हैं।

यह भी जानना उपयोगी है कि किसी स्कोर में ऐसे कारणों से क्या बदलाव आता है जिनका उसे लिखने वाले से कोई संबंध नहीं होता। छोटे दस्तावेज़ अधिक शोरयुक्त होते हैं, क्योंकि औसत के स्थिर होने के लिए कम पाठ उपलब्ध होता है, और 500 शब्दों का निबंध दो या तीन असामान्य वाक्यों के बल पर काफी ऊपर नीचे हो सकता है। उद्धृत सामग्री भी गिनी जाती है, जब तक कि उपकरण उसे अलग न कर दे, इसलिए block quotes से भरी साहित्य समीक्षा उन उद्धरणों की पूर्वानुमेयता को अपना लेती है जिन्हें वह उद्धृत करती है। मानक शब्दावली से भरा तकनीकी अंश भी इसी तरह व्यवहार करता है।

यदि आपके सामने कोई flag आता है, तो उपयोगी प्रतिक्रिया मीट्रिक पर बहस करने के बजाय साक्ष्य प्रस्तुत करना है। संस्करण इतिहास, प्रारूप, टिप्पणियाँ और खोज अभिलेख, सभी प्रक्रिया के बारे में बताते हैं, और प्रक्रिया ही वह चीज़ है जिसका मूल्यांकन misconduct panel वास्तव में कर सकता है। ऐसा कोई threshold नहीं है जिसे कोई व्यक्ति इंगित करके सावधान लेखक और model के बीच अंतर बता सके।

डिटेक्टर उस लेखन को क्यों flag करते हैं जिसे किसी model ने नहीं बनाया

False positives कोई दुर्लभ खराबी नहीं हैं। वे सीधे typicality को मापने से उत्पन्न होते हैं। कोई भी लेखन जो वास्तव में पूर्वानुमेय है, उसे पूर्वानुमेय ही अंक मिलेगा, चाहे उसे किसी ने भी बनाया हो।

गैर-देशी English लेखक सबसे अधिक प्रभावित होते हैं। Stanford के शोधकर्ताओं ने पाया कि detectors ने गैर-देशी वक्ताओं के निबंधों के एक बड़े हिस्से को machine-generated के रूप में गलत वर्गीकृत किया, जबकि देशी वक्ताओं के निबंधों को सही वर्गीकृत किया। इसका कारण यांत्रिक है, दुर्भावनापूर्ण नहीं, दूसरी भाषा में काम करने वाले लेखक प्रायः घिसे-पिटे संरचनाओं और अधिक सामान्य शब्दावली पर निर्भर करते हैं। यह ठीक low perplexity की वही रूपरेखा है, इसलिए ESL writers get flagged for writing carefully.

शैक्षणिक परंपराएँ भी यही समस्या पैदा करती हैं। methods section का सूत्रबद्ध होना अपेक्षित है। कानूनी लेखन, तकनीकी प्रलेखन और नैदानिक रिपोर्टिंग, सभी में आविष्कारशील वाक्यांश की तुलना में मानक वाक्यांश को अधिक महत्व दिया जाता है। भारी संपादन इसे और बढ़ा देता है, क्योंकि किसी प्रारूप को परिष्कृत करने का अर्थ आमतौर पर उन अनियमितताओं को हटाना होता है जो आपके सांख्यिकीय हस्ताक्षर को वहन करती थीं।

संस्थानों ने ध्यान दिया है। Vanderbilt ने Turnitin की AI पहचान सुविधा को बंद कर दिया, बजाय उन अंकों पर कार्रवाई करने के जिन्हें वह सत्यापित नहीं कर सकता था, और अन्य विश्वविद्यालयों ने कदाचार की कार्यवाहियों में संख्याओं के उपयोग पर प्रतिबंध लगाए हैं। किसी detector score को साक्ष्य का एक कमजोर अंश मानें, न कि कोई निर्णय।

इसका आपके अपने लेखन के लिए क्या अर्थ है

यांत्रिकी से निकलने वाली व्यावहारिक सलाह असाधारण नहीं है, और इसमें से किसी में भी किसी चीज़ को चालाकी से बदलना शामिल नहीं है। अपने वाक्य की लंबाई जानबूझकर बदलें, क्योंकि एकरूपता ही वह चीज़ है जो दर्ज होती है। विशिष्ट विवरण बनाए रखें, वास्तविक आंकड़ा, वास्तविक सीमा, छठे सप्ताह में जो गलत हुआ। सामान्य दक्षता ही वह है जो मशीन-निर्मित के रूप में अंकित होती है, और विशिष्टता बेहतर लेखन भी है और एक अधिक मजबूत संकेत भी।

अपनी अपनी शैली भी बनाए रखें। यदि चीज़ों को कहने का आपका कोई तरीका है, तो उसे रहने दें। किसी मसौदे को तब तक घिसकर चिकना करने की प्रवृत्ति, जब तक वह क्षेत्र के हर दूसरे शोधपत्र जैसा न लगने लगे, वही प्रवृत्ति है जो आपकी perplexity को कम करती है।

एक बात से बचें, कुछ उपकरण जानबूझकर grammatical errors डालते हैं ताकि perplexity बढ़े। यह metric पर काम करता है और किसी भी graded या peer-reviewed चीज़ के लिए बहुत खराब विचार है, क्योंकि आप एक संदेह के बदले एक निश्चितता का लेन-देन कर रहे हैं। लक्ष्य ऐसा लेखन है जो आपका लगे, न कि ऐसा लेखन जो जानबूझकर क्षतिग्रस्त किया गया हो। यही मानव पाठक के लिए पुनर्लेखन और किसी scorer को धोखा देने के लिए पाठ को तोड़ने के बीच का पूरा अंतर है।

यदि आप इन संख्याओं को अपने मसौदे के लिए स्वयं देखना चाहते हैं, बजाय किसी black box की बात मान लेने के, तो अंतर्निहित मापन रहस्य नहीं हैं। मुफ़्त text analysis tools आपको दिखाएंगे कि आपका गद्य कहाँ स्थित है, और आप स्वयं तय कर सकते हैं कि क्या वे सपाट हिस्से एक शैलीगत समस्या हैं जिन्हें ठीक करना उचित है।