क्या ZeroGPT सटीक है?
ZeroGPT के अपने FAQ में आंतरिक परीक्षण पर 98 प्रतिशत की ओर बढ़ती दर का दावा किया गया है, और अलग से यह भी स्वीकार किया गया है कि सूत्रबद्ध लेखन, चाहे उसे किसी ने भी लिखा हो, AI जैसा पढ़ा जा सकता है। यहाँ बताया गया है कि कंपनी अपनी विधि के बारे में क्या कहती है, इस सटीक उत्पाद पर स्वतंत्र परीक्षणों ने क्या पाया है, और एक निःशुल्क स्कोर वास्तव में किस काम आता है.
ZeroGPT की सटीकता, कंपनी के अपने वर्तमान दावे के अनुसार, "internal evaluations पर >98% की ओर बढ़ती हुई" एक दर है, एक ऐसा आंकड़ा जिसे कंपनी स्वीकार करती है कि वह किसी बाहरी प्रयोगशाला से नहीं, बल्कि स्वयं पर किए गए परीक्षण से आया है। यह एकमात्र शर्त, internal, ही वह अधिकांश बात है जिसकी एक पाठक को किसी भी free detector के प्रतिशत को निश्चित तथ्य मानने से पहले आवश्यकता होती है।
ZeroGPT सबसे अधिक उपयोग किए जाने वाले free AI detectors में से एक है, मुख्यतः इसलिए कि इसकी लागत कुछ भी नहीं है और यह कुछ ही सेकंड में उत्तर देता है। वही vendor claims और independent testing के बीच का अंतर, जो सामान्यतः AI detectors में दिखाई देता है, यहाँ भी दिखाई देता है। आगे जो दिया गया है, वह यह है कि कंपनी वर्तमान में अपनी सटीकता और विधि के बारे में क्या कहती है, वह विधि वास्तव में क्या मापती प्रतीत होती है, और क्यों इस प्रकार का उपकरण academic readers द्वारा प्रस्तुत लेखन में विशिष्ट, पूर्वानुमेय तरीकों से अक्सर गलत परिणाम देता है।
कंपनी के अनुसार ZeroGPT की सटीकता क्या है?
ZeroGPT के अपने FAQ में कहा गया है कि कंपनी "industry-leading accuracy प्रदान करती है और best-in-class performance बनाए रखने के लिए निरंतर सुधारी जाती है, internal evaluations पर >98% की ओर बढ़ती हुई।" यह अपने ही उत्पाद के बारे में vendor का दावा है, जिसे कंपनी ने स्वयं परीक्षण किया है, और इसे शब्दावली में वास्तविक hedging के साथ प्रस्तुत किया गया है: "pushing toward" किसी संख्या का अर्थ उस तक पहुँचना और उसे बनाए रखना नहीं है, और "internal evaluations" का अर्थ है कि किसी बाहरी पक्ष ने कोई समान आंकड़ा प्रकाशित नहीं किया है। पृष्ठ पर कहीं यह नहीं बताया गया है कि वह internal test set कितना बड़ा था, उसमें क्या शामिल था, या कंपनी के बाहर किसने methodology की समीक्षा की।
कंपनी स्थिर परिणाम के लिए कम से कम 150 से 200 शब्दों के पाठ की सिफारिश करती है, और कहती है कि 500 से 1,000 शब्द या उससे अधिक विश्वसनीयता को और बढ़ाते हैं, तथा सीधे यह भी बताती है कि बहुत छोटे या भारी रूप से संपादित अंश "carry fewer signals." यह एकल प्रकटीकरण शीर्षक प्रतिशत से अधिक महत्वपूर्ण है। यह विक्रेता की अपनी स्वीकृति है कि स्कोर उतना ही विश्वसनीय है जितना इनपुट लंबा और अपरिवर्तित है, और वास्तविक प्रस्तुतिकरण हमेशा इस शर्त को पूरा नहीं करता।
ZeroGPT वास्तव में कौन सी विधि उपयोग कर रहा है?
ZeroGPT अपनी अंतर्निहित प्रणाली को DeepAnalyse कहता है, जिसे उसकी अपनी साइट पर "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives" के रूप में वर्णित किया गया है, जो किसी पाठ को "from the macro level to the micro one" पढ़ती है। इसका FAQ ब्रांडिंग के नीचे कुछ अधिक विशिष्ट बताता है, "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets" का विश्लेषण।
Burstiness और entropy केवल ZeroGPT तक सीमित नहीं हैं। वे वही सांख्यिकीय गुण हैं, अर्थात वाक्य लंबाई और लय में कितना परिवर्तन होता है, और अगला प्रत्येक शब्द कितना पूर्वानुमेय है, जिन्हें how AI detectors work पर TextPulse का अपना व्याख्यात्मक लेख इस पूरे उपकरण वर्ग के पीछे की सामान्य प्रक्रिया के रूप में कवर करता है। एक free perplexity checker वही अंतर्निहित संख्या सीधे दिखाता है, बिना किसी लेखक से पहले किसी एक विक्रेता के प्रतिशत पर भरोसा करने को कहे।
अपने पेपर को मानवीय बनाइए
अपने AI-सहायता प्राप्त पाठ को रूपांतरित करें और उसे मानवीय ध्वनि दें, महत्वपूर्ण शब्दों या उद्धरणों को छेड़े बिना।
शैक्षणिक लेखन इन डिटेक्टरों को क्यों भ्रमित करता है?
ZeroGPT FAQ इसे इस प्रकार रखता है: "highly polished, formulaic, or low-entropy writing can resemble AI." शैक्षणिक गद्य अत्यधिक परिष्कृत, सूत्रबद्ध, कम-entropy लेखन के लिए बनाया जाता है। एक विधि अनुभाग, एक साहित्य समीक्षा और एक औपचारिक कवर लेटर, सभी पारंपरिक वाक्यांश को आविष्कारशील वाक्यांश पर प्राथमिकता देते हैं, क्योंकि परंपरा ही वह चीज है जो दस्तावेज़ को सबसे पहले अपने पाठक के लिए उपयोगी बनाती है, और वही परंपरा ठीक वही कम-entropy पैटर्न है जिसे विक्रेता का अपना प्रकटीकरण जोखिम के रूप में नामित करता है।
स्वतंत्र, सहकर्मी-समीक्षित परीक्षण दिखाते हैं कि यह विफलता-प्रकार कुछ लेखकों पर दूसरों की तुलना में अधिक कठोर क्यों पड़ता है। 2023 के एक Stanford अध्ययन ने सात व्यापक रूप से उपयोग किए जाने वाले डिटेक्टरों, जिनमें ZeroGPT भी शामिल था, को 91 वास्तविक TOEFL निबंधों के विरुद्ध चलाया, जो गैर-देशी अंग्रेज़ी वक्ताओं द्वारा लिखे गए थे, और 88 निबंधों के विरुद्ध, जो US के आठवीं कक्षा के विद्यार्थियों द्वारा लिखे गए थे। ZeroGPT ने TOEFL निबंधों में से 48 प्रतिशत को AI-generated के रूप में चिह्नित किया, जबकि आठवीं कक्षा के निबंधों में 0 प्रतिशत को, उसी प्रकार की त्रुटि दिशा जो उस अध्ययन के हर डिटेक्टर ने दिखाई, केवल अलग परिमाण में।
उस अंतर में ZeroGPT के लिए कुछ भी विशिष्ट नहीं है, और उसमें कुछ भी नई जानकारी नहीं है। यह वही गैर-देशी-लेखक पक्षपात का पैटर्न है, जो डिटेक्टर उद्योग में दस्तावेजीकृत है, और TextPulse के AI डिटेक्टर गैर-देशी वक्ताओं के विरुद्ध पक्षपाती क्यों हैं, इस पर अपने पृष्ठ में अधिक विस्तार से कवर किया गया है। यह अंतर विशेष रूप से एक मुक्त उपभोक्ता उपकरण के बारे में यह दिखाता है कि विक्रेता की अपनी प्रकट सीमा, कम-एंट्रॉपी लेखन मशीन-निर्मित पढ़ा जाता है, काल्पनिक नहीं है। एक सहकर्मी-समीक्षित परीक्षण ने कंपनी के वर्तमान FAQ ने तंत्र को अपने ही शब्दों में नाम देने से वर्षों पहले, इसी उत्पाद पर ऐसा होते हुए पकड़ लिया था।
क्या एक Free Detector स्कोर किसी एक दस्तावेज़ के बारे में कुछ साबित कर सकता है?
अपने आप में नहीं। एक ZeroGPT प्रतिशत किसी विशिष्ट दस्तावेज़ के बारे में किसी भी दिशा में कुछ भी प्रमाणित नहीं करता। यह केवल एक मॉडल का अनुमान है, जिसे कंपनी द्वारा किए गए आंतरिक परीक्षण पर आधारित किया गया है, जिसे कंपनी ने ऐसे रूप में प्रकाशित नहीं किया है जिसे कंपनी के बाहर कोई भी जाँच सके, और जिसे ऐसी लेखन-शैली पर लागू किया गया है जिसकी लंबाई, संपादन-इतिहास और विधा सभी पढ़ने के तरीके को बदलते हैं, जिसे विक्रेता का अपना FAQ पहले से ही स्वीकार करता है। एक अकेले मुक्त स्कोर को निर्णय मानना उस स्कोर से उससे अधिक अपेक्षा करता है जितना उसे जारी करने वाली कंपनी उसके लिए दावा करती है।
जिस काम के लिए एक स्कोर वास्तव में उपयोगी है, वह अधिक संकीर्ण और अधिक साधारण है: यह जल्दी, बिना लागत के, यह देखने का तरीका है कि कोई मसौदा इस समय उसी प्रकार के सांख्यिकीय मापन में कहाँ स्थित है, जिसे एक भुगतान किया गया संस्थागत उपकरण भी चलाता है, इससे पहले कि कोई और उसे देखे। TextPulse के मुफ्त उपकरण उसी क्षेत्र को सीधे कवर करते हैं, बिना किसी लेखक से यह अनुमान लगाने को कहे कि कई मुफ्त डिटेक्टरों के स्कोर में से पहले किस पर भरोसा किया जाए।
सटीकता के आंकड़े यह छिपा देते हैं कि त्रुटियाँ किस पर पड़ती हैं और उन्हें क्या ट्रिगर करता है। a, an और the का उपयोग कब करना है यह जानना उन पैटर्नों में से एक को हटाता है जो झंडा उठाते हैं, और false positive का वास्तव में क्या अर्थ है इसे अलग से स्पष्ट किया गया है।
इसमें से कोई भी बात ZeroGPT के नंबर को अर्थहीन नहीं बनाती, और इसमें से कोई भी बात उस नंबर को अपने आप में पर्याप्त नहीं बनाती। एक स्कोर एक प्रारंभिक अनुमान है, जिसे एक ऐसी विधि से उत्पन्न किया जाता है जिसे कंपनी केवल रूपरेखा में वर्णित करती है और जिसे बाहरी परीक्षण के लिए नहीं खोला गया है, ऐसी लेखन सामग्री पर जिसका केवल विधा ही परिणाम को बदल सकती है, इससे पहले कि इसमें शामिल किसी व्यक्ति ने कुछ भी गलत किया हो। उस FAQ पृष्ठ पर सबसे अधिक जानकारी ले जाने वाले दो शब्द प्रतिशत नहीं हैं। वे उसके ठीक बगल में बैठे हुए सावधान करने वाले शब्द हैं: internal, और pushing toward. एक मुफ्त स्कोर किसी मसौदे पर बातचीत का प्रारंभिक बिंदु है, किसी निष्कर्षात्मक तर्क का समापन नहीं।
हमारे अपने शोध ने क्या पाया
TextPulse Research के डिटेक्टर सहमति अध्ययन में नौ व्यावसायिक AI डिटेक्टरों ने वही 90 अकादमिक टेक्स्ट परखे। इनमें से एक 455 शब्दों का हाइब्रिड टेक्स्ट था: शुरुआत और अंत इंसान के लिखे हुए, बीच में 168 शब्दों का AI-लिखा हिस्सा। ZeroGPT ने इस टेक्स्ट को 7.6% AI स्कोर दिया, जबकि उन्हीं शब्दों पर बाकी टूल्स के फैसले 0% से 95.7% AI तक फैले थे। पूरा शोधपत्र, कॉर्पस और हर टूल की स्कोर मैट्रिक्स TextPulse Research पर खुले रूप से उपलब्ध है।
अक्सर पूछे जाने वाले प्रश्न
ZeroGPT की सटीकता, कंपनी के अपने वर्तमान दावे के अनुसार, "internal evaluations पर >98% की ओर बढ़ती दर" तक पहुँचती है। यह आँकड़ा कंपनी द्वारा अपने ही उत्पाद पर किए गए परीक्षण से आता है, किसी बाहरी प्रयोगशाला से नहीं, और विक्रेता के अपने FAQ में अलग से यह भी कहा गया है कि अत्यधिक परिष्कृत या सूत्रबद्ध लेखन, चाहे उसे किसी ने भी लिखा हो, AI-generated जैसा पढ़ा जा सकता है.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
