क्या AI डिटेक्टर अभी भी Perplexity और Burstiness पर निर्भर हैं?
GPTZero ने perplexity और burstiness को प्रसिद्ध बनाया, फिर autumn 2023 में दोनों को एक deep-learning classifier के लिए चुपचाप छोड़ दिया। यह लेख बताता है कि क्या बदला, GPTZero और Turnitin आज वास्तव में क्या दस्तावेज़ित करते हैं, और क्यों ये दो सांख्यिकीय मान अभी भी समझाते हैं कि मशीन-लिखित पाठ क्यों पहचाना जा सकता है, भले ही अब कोई भी विक्रेता उन्हें सीधे गणना न करता हो.
आज GPTZero AI लेखन का पता कैसे लगाता है, यह खोजने पर जो कुछ मिलता है, उसका अधिकांश भाग अभी भी दो सांख्यिकियों, perplexity और burstiness, पर केंद्रित रहता है, वही जोड़ी जिसने जनवरी 2023 के लॉन्च के कुछ ही हफ्तों में इस उपकरण को प्रसिद्ध बना दिया था। GPTZero के अपने सहायता दस्तावेज़ अब कुछ और कहते हैं, उसने उसी वर्ष की शरद ऋतु में इन दोनों का उपयोग बंद कर दिया।
तो क्या AI detectors अभी भी burstiness का उपयोग करते हैं? उस उपकरण द्वारा नहीं, जिसने इस शब्द को शैक्षणिक हलकों में एक परिचित शब्द बना दिया था। GPTZero का सहायता केंद्र स्पष्ट रूप से कहता है कि वह अब perplexity या burstiness का उपयोग नहीं करता, और इसके बजाय deep-learning architecture पर चला गया है। Turnitin, वह उपकरण जिससे अधिकांश छात्र वास्तव में सामना करते हैं, ने अपनी पद्धति के भाग के रूप में इनमें से किसी भी शब्द को कभी प्रकाशित ही नहीं किया है। ये अवधारणाएँ बातचीत से गायब नहीं हुई हैं। वे उन उत्पादों से गायब हुई हैं जो वास्तविक पहचान का काम करते हैं।
क्या AI detectors अभी भी Burstiness का उपयोग करते हैं?
नहीं, GPTZero द्वारा नहीं, और नाम के रूप में भी नहीं। GPTZero के अपने सहायता दस्तावेज़ यह सीधे कहते हैं: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Turnitin के अपने मार्गदर्शक फिर एक अलग पद्धति का वर्णन करते हैं, जो प्रशिक्षित classifier के साथ किसी submission के खंडों को अंक देने पर आधारित है, और उस दस्तावेज़ में भी इनमें से कोई भी शब्द कहीं नहीं आता। AI detection की पहली लहर को परिभाषित करने वाली ये दो सांख्यिकियाँ वे नहीं हैं जिन्हें प्रमुख उपकरण वर्तमान में चलाते हैं। यह कहना इससे अधिक संकीर्ण है कि उन्हें पूरी तरह त्याग दिया गया था: GPTZero का अपना explainer अभी भी उन्हें अपने model को feed करने वाले सात संकेतकों में गिनता है। वे measurement बने रहना बंद किए बिना method बनना बंद हो गए, और इन दोनों दावों के बीच का अंतर ही इस प्रश्न का अधिकांश आधार है।
शरद ऋतु 2023 में क्या बदला
ये दोनों शब्द कभी भी अस्पष्ट नहीं थे। GPTZero के अपने शुरुआती explainer में perplexity को "a measure of how likely an AI model would have chosen the exact same set of words as found in the document," और burstiness को "a measure of how much writing patterns and text perplexities vary over the entire document," के रूप में परिभाषित किया गया था, जो एक document-level statistic है, न कि केवल वाक्य-लंबाई की साधारण गणना। दोनों परिभाषाएँ अभी भी GPTZero की site पर प्रकाशित हैं। जो बदला है, वह यह है कि detector वास्तव में इनमें से किसे चलाता है।
"Migrated to a deep-learning based architecture" एक विशिष्ट दावा है, marketing phrase नहीं, और यह प्रकार में एक वास्तविक परिवर्तन का वर्णन करता है। perplexity score सीधे एक formula से computed होता है: text को एक reference language model से गुजारें, log probabilities का औसत लें, परिणाम को exponentiate करें। इसके बजाय एक deep-learning classifier को trained किया जाता है, उसे मानव और AI-written उदाहरणों की बड़ी संख्याएँ दिखाई जाती हैं, जब तक कि वह अपने आप यह न सीख ले कि training data में features का कौन-सा संयोजन दोनों piles को अलग करता है। दूसरे approach में rule को कोई हाथ से नहीं लिखता। model उसे खोजता है।
दोनों retired terms की पूरी व्याख्या इस site पर कहीं और दी गई है: what perplexity actually measures और what burstiness actually measures प्रत्येक अपने mechanics को विस्तार से कवर करते हैं, जिनमें उनके पीछे के formulas भी शामिल हैं। यह piece संकीर्ण रूप से इसी पर केंद्रित रहती है कि क्या इनमें से कोई भी आज भी वह है जिसे detector चलाता है।
आज GPTZero और Turnitin वास्तव में क्या दस्तावेज़ित करते हैं
वर्तमान GPTZero technology page, जो बताती है कि product में क्या shipped है, कहती है कि उनका detector एक "end-to-end deep learning approach" है, जिसमें एक "sentence-by-sentence classification model" है जो confidence score के साथ probability output उत्पन्न करता है। Perplexity और burstiness उस page पर कहीं भी नहीं आते, न component के रूप में, न legacy feature के रूप में, न footnote में।
Turnitin का दस्तावेज़ीकरण शुरू से ही इनमें से किसी भी शब्द के इर्द-गिर्द नहीं बनाया गया था। इसके मार्गदर्शक एक ऐसी प्रस्तुति का वर्णन करते हैं जिसे कुछ सौ शब्दों के खंडों में विभाजित किया जाता है, प्रत्येक खंड को एक प्रशिक्षित मॉडल द्वारा अंकित किया जाता है, और खंडों के अंकों का औसत लेकर उस एक प्रतिशत में बदला जाता है जो रिपोर्ट में दिखता है। यह पाठ के खंडों पर काम करने वाला एक supervised classifier है, उसी प्रकार की विधि की श्रेणी जिसमें GPTZero आगे बढ़ चुका है, न कि perplexity की गणना और न ही किसी अलग नाम के तहत burstiness की गणना।
इस परिवर्तन को साथ-साथ देखकर सबसे आसानी से समझा जा सकता है।
| प्रारंभिक व्याख्याओं में क्या वर्णित किया गया था (2023) | वर्तमान दस्तावेज़ीकरण क्या वर्णित करता है | |
|---|---|---|
| GPTZero | Perplexity और burstiness, एक संदर्भ मॉडल के विरुद्ध अंकित | वाक्य-दर-वाक्य deep-learning classifier, जो एक probability और confidence score आउटपुट करता है |
| Turnitin | कभी प्रकाशित नहीं किया गया, ये शब्द Turnitin की अपनी सामग्री में किसी भी समय प्रकट नहीं होते | कुछ सौ शब्दों के खंड, जिन्हें एक प्रशिक्षित classifier द्वारा अंकित किया जाता है, और फिर एक प्रतिशत में औसत किया जाता है |
अपने पेपर को मानवीय बनाइए
अपने AI-सहायता प्राप्त पाठ को रूपांतरित करें और उसे मानवीय ध्वनि दें, महत्वपूर्ण शब्दों या उद्धरणों को छेड़े बिना।
क्यों ये अवधारणाएँ अब भी Detectability की व्याख्या करती हैं
इसमें से कुछ भी perplexity और burstiness को गलत नहीं बनाता, केवल वर्तमान तंत्र के वर्णन के रूप में उन्हें पुराना बना देता है। दोनों अवधारणाएँ हमेशा किसी वास्तविक चीज़ का वर्णन कर रही थीं: किसी model की अपनी सबसे अधिक probability वाली continuations की ओर sampling करके उत्पन्न पाठ, व्यक्ति द्वारा शुरू से लिखा गया पाठ की तुलना में, शब्द दर शब्द, अधिक predictable होने की प्रवृत्ति रखता है, और एक वाक्य से अगले वाक्य तक उसमें कम variation होती है। मूल regularity नहीं बदली है क्योंकि किसी vendor ने अपने detector की architecture बदल दी। बदला यह है कि detector उसे खोजने के लिए कैसे आगे बढ़ता है।
प्रशिक्षित वर्गीकार से स्पष्ट रूप से perplexity या burstiness देखने के लिए नहीं कहा जाता। बल्कि, उसे मानव और मशीन पाठ के बीच उसी मूल भेद पर प्रशिक्षित किया जाता है, जिसे इन दोनों सांख्यिकियों ने पकड़ने के लिए बनाया गया था। और यह बहुत ही असंभव लगता है कि दो ढेरों में अंतर करने के लिए प्रशिक्षित कोई वर्गीकार ठीक उसी नियमितता, जो इन दोनों के बीच सबसे विश्वसनीय अंतरों में से एक है, पर भी ध्यान न दे। यह इस बारे में एक अनुमान है कि वर्गीकार संभवतः कैसे काम करता है, न कि उसके प्रकाशित विशेषता-सूची के बारे में कोई दावा, और इन दोनों को अलग रखा जाना चाहिए।
स्वतंत्र शोध इस विचार का समर्थन करता है कि अंतर्निहित सांख्यिकी का प्रभाव अभी भी बना हुआ है, किसी एक विक्रेता के उत्पाद के बाहर भी। DetectGPT, 2023 में प्रकाशित एक अकादमिक zero-shot विधि, perplexity के एक निकट संबंधी रूप को देखता है, अर्थात् किसी अनुच्छेद के आसपास किसी मॉडल का log-probability function कितनी तीव्रता से वक्रित होता है, और किसी लेबलयुक्त उदाहरणों पर एक classifier को बिल्कुल भी प्रशिक्षित किए बिना, एक benchmark पर 0.95 AUROC तक पहुँचता है, जबकि सर्वोत्तम पूर्ववर्ती zero-shot baseline के लिए यह 0.81 है। मूल विचार, कि मशीन-जनित पाठ किसी मॉडल के अपने probability space के सांख्यिकीय रूप से भिन्न क्षेत्र में स्थित होता है, अभी भी सक्रिय शोध का विषय है। यह बस वह नहीं है जो GPTZero उपयोगकर्ताओं को प्रदान करता है।
इंटरनेट का इतना बड़ा हिस्सा अब भी इसे गलत क्यों समझता है
AI detection कैसे काम करता है, इस पर प्रकाशित अधिकांश व्याख्याएँ GPTZero के जनवरी 2023 लॉन्च के दौरान या उसके तुरंत बाद लिखी गई थीं, जब perplexity और burstiness ही वह सार्वजनिक रूपरेखा थीं जो कंपनी ने स्वयं प्रस्तुत की थी। वे मूल व्याख्यात्मक पृष्ठ आज भी सक्रिय हैं। शरद 2023 की retirement notice एक अलग support page पर है, न कि उन्हीं पृष्ठों में समाहित की गई है, इसलिए जो लेखक पहला पृष्ठ पढ़कर शोध वहीं रोक देता, उसके पास यह जानने का कोई कारण नहीं होता कि विधि एक वर्ष से भी कम समय बाद बदल गई थी।
2026 में प्रसारित एक तृतीय-पक्ष डिटेक्टर समीक्षा का दावा है कि GPTZero अभी भी perplexity और burstiness को एक बड़े सिस्टम के भीतर कई परतों में से एक पर चलाता है। यह दावा GPTZero के अपने वर्तमान तकनीकी पृष्ठ और उसकी अपनी सहायता दस्तावेज़ीकरण से सीधे टकराता है, और GPTZero की अपनी साइट पर ऐसा कुछ भी नहीं है जो इसकी पुष्टि करे। किसी कंपनी का अपने ही जारी किए गए उत्पाद का वर्णन, उसी उत्पाद के बारे में किसी अप्रमाणित तृतीय-पक्ष दावे से फिर भी अधिक विश्वसनीय होता है, भले ही विक्रेता की दस्तावेज़ीकरण भी गलत हो सकती है। यह लेख समीक्षा के बजाय GPTZero के अपने पृष्ठों का अनुसरण करता है, जो पुरानी कहानी को दोहराती है।
इसका आपके लेखन के लिए क्या अर्थ है
burstiness के इर्द-गिर्द बनी व्यावहारिक सलाह केवल इसलिए निरर्थक नहीं हो गई है कि यह शब्द GPTZero की अपनी सामग्री से गायब हो गया। वाक्य लंबाई को जानबूझकर बदलना अभी भी, यांत्रिक रूप से, उसी सांख्यिकीय एकरूपता से बचने का तर्क है जिसे कोई वर्गीकारक बहुत संभवतः पहचानने के लिए प्रशिक्षित किया गया है, चाहे वह उस संकेत को आंतरिक रूप से जो भी नाम दे। अंतर्निहित सलाह विक्रेता की संरचना में बदलाव के बाद भी बनी रही, भले ही उसका वर्णन करने वाली शब्दावली नहीं रही।
इसमें किसी की बात मानने की आवश्यकता नहीं है, इस पोस्ट की भी नहीं। TextPulse का free perplexity checker और व्यापक free tools collection आपको यह देखने देते हैं कि आपका अपना मसौदा डिटेक्टर के सामने, किसी भी पीढ़ी का हो, आने से पहले कहाँ स्थित है।
यदि उत्तर आपको आपके अपने लेखन की ओर वापस भेजता है, तो व्यावहारिक अगला कदम burstiness को जानबूझकर बढ़ाना और एक अकादमिक अनुच्छेद में वाक्य लंबाई को बदलना है, जो उसी कार्य का बिना मापदंड के वर्णन है।
डिटेक्टर जिस तंत्र पर चलता है, वह बदलता रहेगा, GPTZero ने इसे पहले ही एक बार बदल दिया है। जो स्थिर रहता है, वह वास्तविक प्रश्न है, जिसका पूरा विवरण इस साइट के AI detectors वास्तव में कैसे काम करते हैं, इस मार्गदर्शिका में दिया गया है: क्या पूर्वानुमेय लेखन मशीन-लिखित लेखन के समान ही है, इस बात से परे कि किसी दिए गए वर्ष में कौन-सा सूत्र प्रचलित है।
अक्सर पूछे जाने वाले प्रश्न
क्या burstiness अभी भी AI डिटेक्टरों में उपयोग होता है? GPTZero में नहीं, और उस नाम से तो बिल्कुल नहीं। GPTZero के अपने support दस्तावेज़ कहते हैं कि उसने autumn 2023 से detection के लिए perplexity और burstiness का उपयोग बंद कर दिया, deep-learning based architecture पर जाने के बाद। Turnitin ने कभी भी अपनी विधि के हिस्से के रूप में इनमें से किसी भी शब्द को प्रकाशित नहीं किया, और दोनों कंपनियाँ अब प्रशिक्षित classifiers का वर्णन करती हैं.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.