क्या AI डिटेक्टर अभी भी Perplexity और Burstiness पर निर्भर हैं?
GPTZero ने perplexity और burstiness को प्रसिद्ध बनाया, फिर autumn 2023 में दोनों को एक deep-learning classifier के लिए चुपचाप छोड़ दिया। यह लेख बताता है कि क्या बदला, आज GPTZero और Turnitin वास्तव में क्या दस्तावेज़ित करते हैं, और क्यों ये दो आँकड़े अभी भी समझाते हैं कि मशीन-लिखित पाठ क्यों पहचाना जा सकता है, भले ही अब कोई भी विक्रेता उन्हें सीधे गणना नहीं करता।
आज GPTZero AI लेखन का पता कैसे लगाता है, यह खोजने पर जो कुछ भी सामने आता है, उसका अधिकांश भाग अभी भी दो सांख्यिकीय मानों, perplexity और burstiness, पर केंद्रित रहता है, वही जोड़ी जिसने जनवरी 2023 के लॉन्च के कुछ ही हफ्तों में इस उपकरण को प्रसिद्ध बना दिया था। GPTZero के अपने सहायता दस्तावेज़ अब कुछ अलग कहते हैं, इसने उसी वर्ष की शरद ऋतु में इन दोनों का उपयोग बंद कर दिया था।
तो क्या AI detectors अभी भी burstiness का उपयोग करते हैं? उस उपकरण द्वारा नहीं, जिसने इस शब्द को शैक्षणिक जगत में एक सामान्य शब्द बना दिया था। GPTZero का सहायता केंद्र स्पष्ट रूप से कहता है कि वह अब perplexity या burstiness का उपयोग नहीं करता, और इसके बजाय deep-learning architecture पर स्थानांतरित हो गया है। Turnitin, वह उपकरण जिससे अधिकांश छात्र वास्तव में सामना करते हैं, ने अपनी पद्धति के भाग के रूप में इनमें से किसी भी शब्द को कभी प्रकाशित ही नहीं किया है। ये अवधारणाएँ बातचीत से गायब नहीं हुई हैं। वे उन उत्पादों से गायब हुई हैं जो वास्तविक पहचान का कार्य करते हैं।
क्या AI detectors अभी भी Burstiness का उपयोग करते हैं?
नहीं, GPTZero द्वारा नहीं, और नाम से भी नहीं। GPTZero के अपने सहायता दस्तावेज़ यह सीधे कहते हैं: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Turnitin के अपने मार्गदर्शक एक अलग पद्धति का वर्णन करते हैं, जो प्रशिक्षित classifier के साथ किसी submission के chunks को score करने के इर्द-गिर्द निर्मित है, और उन दस्तावेज़ों में भी इनमें से कोई भी शब्द कहीं नहीं आता। AI detection की पहली लहर को परिभाषित करने वाले ये दो सांख्यिकीय मान वे नहीं हैं जिन्हें अग्रणी उपकरण वर्तमान में चलाते हैं। यह यह कहने से अधिक सीमित बात है कि उन्हें पूरी तरह त्याग दिया गया था: GPTZero का अपना व्याख्यात्मक लेख अभी भी उन्हें अपने model को feed करने वाले सात संकेतकों में गिनता है। वे measurement बने रहने के बावजूद method नहीं रहे, और इन दोनों दावों के बीच का अंतर ही इस प्रश्न का अधिकांश आधार है।
शरद ऋतु 2023 में क्या बदला
ये दोनों शब्द कभी भी अस्पष्ट नहीं थे। GPTZero के अपने प्रारंभिक व्याख्यात्मक लेख में perplexity को "एक माप कि कोई AI मॉडल दस्तावेज़ में पाए गए शब्दों के ठीक उसी समूह को चुनने की कितनी संभावना रखता," और burstiness को "एक माप कि लेखन पैटर्न और पाठ perplexities पूरे दस्तावेज़ में कितनी भिन्न होती हैं," के रूप में परिभाषित किया गया था, जो दस्तावेज़-स्तरीय सांख्यिकी है, न कि केवल वाक्य-लंबाई की साधारण गणना। ये दोनों परिभाषाएँ अभी भी GPTZero की साइट पर प्रकाशित हैं। जो बदला है, वह यह है कि डिटेक्टर वास्तव में इनमें से किसे चलाता है।
"Migrated to a deep-learning based architecture" एक विशिष्ट दावा है, न कि कोई विपणन वाक्यांश, और यह प्रकार में एक वास्तविक परिवर्तन का वर्णन करता है। perplexity स्कोर सीधे एक सूत्र से गणना किया जाता है, पाठ को एक संदर्भ भाषा मॉडल से गुजारें, लॉग प्रायिकताओं का औसत लें, परिणाम को घातांकित करें। इसके बजाय एक deep-learning classifier को प्रशिक्षित किया जाता है, उसे मानव और AI-written उदाहरणों की बड़ी संख्याएँ दिखाई जाती हैं, जब तक कि वह अपने आप यह न सीख ले कि प्रशिक्षण डेटा में कौन-सा विशेषताओं का संयोजन दोनों ढेरों को अलग करता है। दूसरे दृष्टिकोण में नियम को कोई हाथ से नहीं लिखता। मॉडल उसे खोजता है।
दोनों सेवानिवृत्त शब्दों की पूरी व्याख्या इस साइट पर अन्यत्र दी गई है: वास्तव में perplexity क्या मापता है और वास्तव में burstiness क्या मापता है प्रत्येक अपने-अपने तंत्र को विस्तार से कवर करते हैं, जिनमें उनके पीछे के सूत्र भी शामिल हैं। यह लेख संकीर्ण रूप से इस प्रश्न पर केंद्रित रहता है कि क्या इनमें से कोई भी आज भी वह है जिसे कोई डिटेक्टर चलाता है।
GPTZero और Turnitin आज वास्तव में क्या दस्तावेज़ित करते हैं
वर्तमान GPTZero technology page, जो बताती है कि उत्पाद में क्या शिप किया गया है, कहती है कि कंपनी "an end-to-end deep learning approach, trained on text datasets from the web, education, and AI-generated from a range of LLMs" का उपयोग करती है, जिसमें "a sentence-by-sentence classification model determines the probability and confidence that a text was created by AI". Perplexity और burstiness उस पृष्ठ पर कहीं भी नहीं आते, न एक घटक के रूप में, न एक विरासती विशेषता के रूप में, न किसी फुटनोट में।
Turnitin का दस्तावेज़ीकरण शुरू से ही इनमें से किसी भी शब्द के इर्द-गिर्द नहीं बनाया गया था। इसके मार्गदर्शक एक प्रस्तुति को कुछ सौ शब्दों के खंडों में विभाजित बताते हैं, प्रत्येक खंड को एक प्रशिक्षित मॉडल द्वारा अंकित किया जाता है, और खंडों के अंकों का औसत लेकर उस एकल प्रतिशत में बदला जाता है जो रिपोर्ट में दिखता है। यह पाठ के खंडों पर काम करने वाला एक पर्यवेक्षित वर्गीकारक है, उसी प्रकार की विधि-परिवार में जिसे GPTZero ने अपनाया है, न कि perplexity की गणना और न ही किसी अलग नाम से burstiness की गणना।
इस परिवर्तन को साथ-साथ देखने पर सबसे आसानी से समझा जा सकता है।
| प्रारंभिक व्याख्याकारों ने क्या वर्णित किया था (2023) | वर्तमान दस्तावेज़ीकरण क्या वर्णित करता है | |
|---|---|---|
| GPTZero | Perplexity और burstiness, एक संदर्भ मॉडल के विरुद्ध अंकित | वाक्य-दर-वाक्य गहन-अधिगम वर्गीकारक, जो एक प्रायिकता और विश्वास-स्कोर आउटपुट करता है |
| Turnitin | कभी प्रकाशित नहीं किया गया, ये शब्द किसी भी समय Turnitin की अपनी सामग्री में प्रकट नहीं होते | कुछ सौ शब्दों के खंड, जिन्हें एक प्रशिक्षित वर्गीकारक द्वारा अंकित किया जाता है, और फिर एक प्रतिशत में औसत किया जाता है |
अपने पेपर को मानवीय बनाइए
अपने AI-सहायता प्राप्त पाठ को रूपांतरित करें और उसे मानवीय ध्वनि दें, महत्वपूर्ण शब्दों या उद्धरणों को छेड़े बिना।
ये अवधारणाएँ अभी भी पता लगाने की क्षमता को क्यों समझाती हैं
इसमें से कुछ भी perplexity और burstiness को गलत नहीं बनाता, केवल वर्तमान तंत्र के वर्णन के रूप में उन्हें पुराना बना देता है। दोनों अवधारणाएँ हमेशा किसी वास्तविक चीज़ का वर्णन कर रही थीं: किसी मॉडल की अपनी सबसे अधिक-प्रायिकता वाली निरंतरताओं की ओर नमूना लेकर उत्पन्न पाठ, व्यक्ति द्वारा शुरू से लिखा गया पाठ की तुलना में, शब्द-दर-शब्द अधिक पूर्वानुमेय होने की प्रवृत्ति रखता है, और यह एक वाक्य से अगले वाक्य तक कम बदलता है। अंतर्निहित नियमितता नहीं बदली है क्योंकि किसी विक्रेता ने अपने डिटेक्टर की संरचना बदल दी। बदला यह है कि डिटेक्टर उसे खोजने के लिए कैसे आगे बढ़ता है।
प्रशिक्षित वर्गीकार को स्पष्ट रूप से perplexity या burstiness खोजने के लिए नहीं कहा जाता है। बल्कि, उसे मानव और मशीन पाठ के बीच उसी मूलभूत भेद पर प्रशिक्षित किया जाता है, जिसे इन दोनों सांख्यिकियों ने पकड़ने के लिए अभिकल्पित किया गया था। और यह अत्यंत असंभाव्य लगता है कि दो ढेरों में भेद करने के लिए प्रशिक्षित कोई वर्गीकार ठीक उसी नियमितता, जो इन दोनों के बीच सबसे विश्वसनीय अंतरों में से एक है, पर भी ध्यान न देगा। यह इस बारे में एक अनुमान है कि वर्गीकार संभवतः क्यों काम करता है, न कि उसकी प्रकाशित विशेषता-सूची के बारे में कोई दावा, और इन दोनों को अलग रखा जाना चाहिए।
स्वतंत्र शोध इस विचार का समर्थन करता है कि अंतर्निहित सांख्यिकी का प्रभाव अभी भी बना हुआ है, किसी एक विक्रेता के उत्पाद से बाहर भी। DetectGPT, 2023 में प्रकाशित एक अकादमिक zero-shot विधि, perplexity के एक निकट संबंधी पर ध्यान देती है, अर्थात किसी अनुच्छेद के चारों ओर किसी मॉडल का log-probability फलन कितनी तीव्रता से वक्रित होता है, और एक benchmark पर 0.95 AUROC तक पहुँचती है, जबकि सर्वोत्तम पूर्ववर्ती zero-shot baseline के लिए यह 0.81 है, वह भी बिना लेबलयुक्त उदाहरणों पर किसी वर्गीकार को प्रशिक्षित किए। मूल विचार, कि मशीन-जनित पाठ किसी मॉडल के अपने probability space के सांख्यिकीय रूप से भिन्न क्षेत्र में स्थित होता है, अभी भी सक्रिय शोध का विषय है। यह केवल वह चीज़ नहीं है जो GPTZero उपयोगकर्ताओं को प्रदान करता है।
इंटरनेट का इतना बड़ा हिस्सा अभी भी इसे गलत क्यों समझता है
AI detection कैसे काम करता है, इस पर प्रकाशित अधिकांश व्याख्याएँ GPTZero के जनवरी 2023 के लॉन्च के दौरान या उसके तुरंत बाद लिखी गई थीं, जब perplexity और burstiness ही वह सार्वजनिक रूपरेखा थे जो कंपनी ने स्वयं प्रस्तुत की थी। वे मूल व्याख्यात्मक पृष्ठ आज भी उपलब्ध हैं। 2023 की शरद ऋतु की retirement notice एक अलग support page पर है, उन्हें उसमें समाहित नहीं किया गया है, इसलिए जो लेखक पहला पृष्ठ पढ़कर शोध वहीं रोक देता, उसके पास यह जानने का कोई कारण नहीं होता कि विधि एक वर्ष से भी कम समय बाद बदल गई थी।
2026 में प्रसारित एक तृतीय-पक्ष डिटेक्टर समीक्षा का दावा है कि GPTZero अभी भी perplexity और burstiness को एक बड़े सिस्टम के भीतर कई परतों में से एक पर चलाता है। यह दावा GPTZero के अपने वर्तमान तकनीकी पृष्ठ और उसकी अपनी सहायता प्रलेखन से सीधे टकराता है, और GPTZero की अपनी साइट पर ऐसा कुछ भी नहीं है जो इसकी पुष्टि करे। किसी कंपनी द्वारा अपने ही जारी किए गए उत्पाद का वर्णन, उसी उत्पाद के बारे में किसी अप्रमाणित तृतीय-पक्ष दावे से अधिक विश्वसनीय होता है, भले ही विक्रेता प्रलेखन भी गलत हो सकता है। यह लेख समीक्षा की बजाय GPTZero के अपने पृष्ठों का अनुसरण करता है, जो पुरानी कहानी को दोहराती है।
इसका आपके लेखन के लिए क्या अर्थ है
burstiness के इर्द-गिर्द बनी व्यावहारिक मार्गदर्शना केवल इसलिए निरर्थक नहीं हो गई है कि यह शब्द GPTZero की अपनी सामग्री से गायब हो गया। वाक्य लंबाई को जानबूझकर बदलना अभी भी, यांत्रिक रूप से, उसी सांख्यिकीय एकरूपता से बचने का तर्क है जिसे कोई वर्गीकार बहुत संभव है पहचानने के लिए प्रशिक्षित किया गया हो, चाहे वह उस संकेत को आंतरिक रूप से जो भी नाम दे। अंतर्निहित सलाह विक्रेता की संरचनात्मक परिवर्तन के बाद भी बनी रही, भले ही उसे वर्णित करने वाली शब्दावली नहीं रही।
इसमें किसी की बात मानने की आवश्यकता नहीं है, इस पोस्ट की भी नहीं। TextPulse का मुफ्त perplexity checker और व्यापक मुफ्त टूल संग्रह आपको यह देखने देते हैं कि आपका अपना मसौदा डिटेक्टर के सामने कहाँ स्थित है, इससे पहले कि किसी भी पीढ़ी का कोई डिटेक्टर उसे देखे।
यदि उत्तर आपको आपके अपने लेखन की ओर वापस ले जाता है, तो व्यावहारिक अगला कदम burstiness को जानबूझकर बढ़ाना और एक अकादमिक अनुच्छेद में वाक्य लंबाई को बदलना है, जो उसी कार्य का बिना मीट्रिक के वर्णन है।
डिटेक्टर जिस तंत्र पर चलता है, वह बदलता रहेगा, GPTZero ने इसे पहले ही एक बार बदल दिया है। जो स्थिर रहता है, वह वास्तविक प्रश्न है, जिसे इस साइट के AI detectors वास्तव में कैसे काम करते हैं, इस मार्गदर्शक में पूरी तरह से कवर किया गया है: क्या पूर्वानुमेय लेखन और मशीन-लिखित लेखन एक ही चीज़ हैं, इस बात से परे कि किसी दिए गए वर्ष में कौन-सा सूत्र प्रचलित है।
अक्सर पूछे जाने वाले प्रश्न
क्या burstiness अभी भी AI डिटेक्टरों में उपयोग होता है? GPTZero में नहीं, और उस नाम से तो बिल्कुल नहीं। GPTZero के अपने support documentation में कहा गया है कि उसने autumn 2023 से detection के लिए perplexity और burstiness का उपयोग बंद कर दिया, deep-learning based architecture पर जाने के बाद। Turnitin ने अपनी method के हिस्से के रूप में इनमें से किसी भी term को कभी प्रकाशित नहीं किया, और अब दोनों कंपनियाँ trained classifiers का वर्णन करती हैं।
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
