क्या AI Detectors सटीक हैं? गलत सकारात्मक और पक्षपात
विक्रेता 1 percent से कम गलत सकारात्मक दरें प्रकाशित करते हैं. समान detectors का गैर-देशी English लेखन पर परीक्षण करने वाले स्वतंत्र शोधकर्ताओं ने 60 percent से अधिक दरें पाईं. यहाँ साक्ष्य क्या दिखाता है.
Turnitin का दावा है कि उनकी false positive दर 1% से कम है। स्वतंत्र शोधकर्ताओं के एक समूह ने गैर-देशी अंग्रेज़ी बोलने वालों के लेखन नमूनों की एक व्यापक श्रेणी पर कई detectors का परीक्षण किया। उन्होंने पाया कि उसी प्रकार के लेखन पर औसत false positive दर 60% से अधिक थी। दोनों संख्याएँ वास्तविक हैं, दोनों प्रकाशित हुई थीं, और दोनों ऐसे detectors से संबंधित हैं जो एक ही बाज़ार में बेचते हैं। क्या AI detectors सटीक हैं? यह इस पर निर्भर करता है कि आपने किस जनसंख्या का परीक्षण किया, आपने कौन सा detector उपयोग किया, और आपके vendor ने इसे मूल रूप से कैसे परिभाषित किया।
यह पोस्ट यह फिर से नहीं समझाएगी कि कोई detector वह स्कोर कैसे गणना करता है। यह तंत्र, perplexity, token probability, classifier को कैसे प्रशिक्षित किया जाता है, अन्यत्र विस्तार से कवर किया गया है, और यदि आपने अभी तक नहीं पढ़ा है, तो पहले उसे पढ़ना उचित है। यहाँ महत्वपूर्ण यह है कि स्कोर मौजूद होने के बाद क्या होता है, यह कितनी बार गलत होता है, यह किसके लेखन के बारे में सबसे अधिक गलत होता है, और एक false accusation वास्तव में उस व्यक्ति को क्या लागत पहुँचाती है जिसने कुछ भी गलत नहीं किया।
क्या AI detectors सटीक हैं?
लगातार नहीं, और marketing दावों तथा स्वतंत्र परीक्षण के बीच का अंतर अच्छी तरह प्रलेखित है। Debora Weber-Wulff के नेतृत्व में शोधकर्ताओं के एक समूह ने 2023 में 14 detection tools, जिनमें 12 free और दो commercial थे, पर अपने निष्कर्ष प्रकाशित किए, जिन्हें मानव और ChatGPT पाठ के मिश्रण के विरुद्ध परीक्षण किया गया था। उन्होंने पाया कि इनमें से कोई भी tool सटीक या विश्वसनीय नहीं है, और machine text को human के रूप में लेबल करने की अंतर्निहित पक्षपातिता है, न कि इसके विपरीत। इस परीक्षण में शामिल दो commercial tools Turnitin और PlagiarismCheck थे। इस परीक्षण में सभी tools ने तब खराब प्रदर्शन किया जब पाठ को paraphrase किया गया था।
लेकिन 2 साल बाद, स्थिति स्थिर नहीं है। University of Chicago के Booth School के Brian Jabarian और Alex Imas द्वारा तैयार एक working paper ने 3 नए उपकरणों, Pangram, GPTZero और Originality.ai, तथा 1 open-source प्रतिस्पर्धी को लगभग 2,000 मानव-लिखित अंशों, blogs, news, reviews और fiction से, परखा। नियंत्रित परीक्षण स्थितियों में, इस समूह में सबसे अच्छा tool कभी भी 99.8 percent accuracy से नीचे नहीं गया और उसने अपनी false positive rate को निम्न स्तर पर बनाए रखा। open-source model ने एक random guesser जितना अच्छा प्रदर्शन किया। चीजें सचमुच बेहतर हो गई हैं। कुछ हद तक। थोड़ा सा।
लेकिन समस्या controlled शब्द है। benchmark passages साफ, पूर्ण और ज्ञात स्थितियों के तहत तैयार किए गए होते हैं। प्रस्तुत किया गया essay इनमें से कोई भी चीज़ विश्वसनीय रूप से नहीं होता। वास्तविक दुनिया के परिणाम प्रयोगशाला के परिणामों के समान नहीं भी हो सकते, जैसा कि Turnitin के अपने chief product officer ने सार्वजनिक रूप से कहा है, हालांकि यह किसी vendor की ओर से एक दुर्लभ और उपयोगी स्वीकारोक्ति है। अगला section vendor के numbers को स्वतंत्र numbers के साथ रखता है ताकि अंतर केवल कहा न जाए, बल्कि दिखाई दे।
Vendor के दावे बनाम स्वतंत्र परीक्षण
नीचे दी गई table यह दिखाती है कि 4 detectors अपने बारे में क्या दावा करते हैं, इसकी तुलना में स्वतंत्र शोधकर्ताओं ने क्या मापा जब उन्होंने tools को सीधे test किया। बीच के 2 columns को साथ पढ़ें, केवल vendor column को नहीं।
| डिटेक्टर | विक्रेता द्वारा दावा की गई सटीकता | स्वतंत्र रूप से देखी गई | झूठे सकारात्मक परिणामों के बारे में विक्रेता क्या कहता है |
|---|---|---|---|
| Turnitin | चिह्नित करने से पहले 98% विश्वास-सीमा; दस्तावेज़-स्तर पर 1% से कम झूठे सकारात्मक परिणाम | लगभग 80% सटीकता, 2023 की एक तुलना में 12 उपकरणों में सर्वश्रेष्ठ, उपकरण के एक पुराने संस्करण पर | 20% AI-written सीमा से ऊपर दस्तावेज़ स्तर पर 1% से कम; वाक्य स्तर पर लगभग 4% |
| GPTZero | स्वतंत्र RAID बेंचमार्क पर 1% झूठे सकारात्मक दर के साथ 95.7% AI-पाठ पहचान | छोटे अंशों पर 96% सटीकता; 2025 University of Chicago Booth अध्ययन में 1% से कम झूठी सकारात्मक दर | RAID बेंचमार्क पर 1% झूठी सकारात्मक दर की रिपोर्ट करता है |
| Originality.ai | 99% सटीकता; 0.5% झूठी सकारात्मक दर (Lite model), 1.5% (Turbo model) | 1% से कम झूठी सकारात्मक दर, लेकिन उसी Booth अध्ययन में AI-written पाठ का 10% से 40% तक चूक गया | मॉडल स्तर के अनुसार अलग-अलग झूठे सकारात्मक आँकड़े प्रकाशित करता है |
| Pangram | ऐसी त्रुटि दरें जिनके बारे में यह कहता है कि वे प्रतिस्पर्धी उपकरणों की तुलना में 38 गुना से अधिक कम हैं; गैर-देशी English लेखकों के विरुद्ध कोई पक्षपात नहीं होने का दावा करता है | Booth अध्ययन में सटीकता कभी 99.8% से नीचे नहीं, झूठी सकारात्मक दर लगभग शून्य | 10 पाठ डोमेन और 8 भाषा मॉडलों में लगभग-शून्य झूठी सकारात्मक दरों का दावा करता है |
दो बातें स्पष्ट हैं। पहली, सभी विक्रेता आँकड़े एक ऐसे प्रयोगशाला से हैं जो विक्रेता के नियंत्रण में है, और Booth के आँकड़े ऐसे शोधकर्ताओं से हैं जिनके पास बेचने के लिए कुछ नहीं है। दूसरी, Turnitin उस मध्य स्तंभ में बिल्कुल शामिल नहीं है, क्योंकि 2025 के अध्ययन ने इसका परीक्षण नहीं किया। तालिका में, इसका स्वतंत्र आँकड़ा 2023 की एक पूर्व तुलना पर आधारित है, लेकिन यह उपकरण के एक पुराने संस्करण पर किया गया था, इसलिए तालिका को समान-के-समान तुलना के रूप में देखते समय इसे याद रखें।
Turnitin की AI पहचान कितनी सटीक है?
Turnitin एक एकल सटीकता आंकड़ा प्रकाशित नहीं करता। इसके बजाय, यह एक सीमा और एक समझौता प्रकाशित करता है। कंपनी ने कहा है कि वह किसी दस्तावेज़ को तभी चिह्नित करती है जब उसे 98 प्रतिशत विश्वास हो कि चिह्नित भाग AI-लिखित है, और यही सीमा दस्तावेज़-स्तर की false positive दर को 1 प्रतिशत से नीचे रखती है। Turnitin ने अनुमान लगाया है कि वह AI-सहायता प्राप्त लेखन का लगभग 85 प्रतिशत पकड़ लेता है, और शेष को जानबूझकर निकल जाने देता है, बजाय इसके कि गलत आरोप लगाने का जोखिम लिया जाए।
वास्तविक false positive प्रतिशत, जिसे Turnitin वाक्य-स्तर पर लौटाता है, जहां एक इंटरफ़ेस पूरे दस्तावेज़ के बजाय विशिष्ट पंक्तियों को हाइलाइट करता है, वास्तव में लगभग 4 प्रतिशत के अधिक निकट है। यदि कोई प्रोफेसर पूरे दस्तावेज़ के स्कोर के बजाय केवल एक चिह्नित अनुच्छेद का स्क्रीनशॉट लेता है, तो यह जानने योग्य संख्या है, क्योंकि हाइलाइट किया गया वाक्य उसके बगल के दस्तावेज़ स्कोर की तुलना में गलत होने की अर्थपूर्ण रूप से अधिक संभावना रखता है।
यह भी ध्यान देने योग्य है कि Turnitin ने इस अंतर को सीधे स्वीकार किया है। उन्होंने पाया कि उनके पहले वास्तविक-विश्व परिणामों, विशेष रूप से छोटे दस्तावेज़ों के लिए, में उनके प्रयोगशाला परीक्षणों के आधार पर अपेक्षित false positive दरों से अधिक दरें थीं। इसलिए उन्होंने स्कोर किए जाने के लिए अपने न्यूनतम दस्तावेज़-लंबाई को 150 से बढ़ाकर 300 शब्द कर दिया। यह एक विक्रेता द्वारा अपने ही उत्पाद को समायोजित करना है क्योंकि प्रकाशित संख्या प्रयोगशाला के बाहर टिक नहीं पाई, और यह उतना ही कुछ कहता है जितना कोई स्वतंत्र अध्ययन कह सकता है।
एक false positive वास्तव में एक छात्र को क्या लागत देता है
यह Yale's School of Management के एक executive MBA छात्र के साथ हुआ। छात्र पर, सबसे शाब्दिक अर्थ में संभव, एक उल्लंघन का आरोप लगाया गया। इसमें शामिल detector GPTZero था। वित्त के एक पाठ्यक्रम में छात्र की अंतिम परीक्षा को एक teaching assistant ने चिह्नित किया था, जिसने सोचा कि लेखन लंबा और विस्तृत था, लगभग पूर्ण विराम-चिह्न और व्याकरण के साथ। और यह विशेष professor इसे GPTZero से चला रहा था, जिसने उत्तरों को संभवतः AI-generated के रूप में स्कोर किया।
वह पाठ्यक्रम में असफल रहा और उसे 1 वर्ष के लिए निलंबित कर दिया गया। फरवरी 2025 में संघीय न्यायालय में दायर उसके मुकदमे में दावा किया गया है कि Yale की अपनी नीति इसी कारण से GPTZero जैसे उपकरणों के उपयोग को सीमित करती है, अर्थात गैर-देशी अंग्रेज़ी बोलने वालों के विरुद्ध इसकी प्रलेखित false positive दर, और उसने उस नीति के विरुद्ध इसका उपयोग किया। उसकी दायर याचिका में यह भी उद्धृत किया गया है कि GPTZero ने Yale के अपने पूर्व विश्वविद्यालय अध्यक्ष और बिज़नेस स्कूल के डीन की शैक्षणिक लेखन पर 100 percent AI-generated स्कोर दिया था।
न्यायाधीश ने May 2025 में प्रारंभिक injunction जारी करने से इनकार कर दिया। मामला अभी तक सुलझा नहीं है, जैसा कि मैं लिख रहा हूँ। वादी, एक फ्रांसीसी नागरिक, का दावा है कि गैर-देशी अंग्रेज़ी बोलने वालों के विरुद्ध वही ज्ञात पक्षपात उसके लेखन के उस तरह प्रदर्शन करने का कारण बना जैसा उसने किया। अगले खंड में हम इसी पर विचार करते हैं। जिस बात पर बहस नहीं है, वह कीमत है, एक डिग्री कार्यक्रम से 1 वर्ष का नुकसान, एक failing grade, कानूनी खर्च, और स्कोर को लेकर बहस में कई महीने, जबकि डिग्री अर्जित की जा सकती थी। 1 percent false positive rate छोटा लगता है, जब तक कि एक बड़ा जनसमूह उसे किसी विशिष्ट व्यक्ति का मामला न बना दे।
अपने पेपर को मानवीय बनाइए
अपने AI-सहायता प्राप्त पाठ को रूपांतरित करें और उसे मानवीय ध्वनि दें, महत्वपूर्ण शब्दों या उद्धरणों को छेड़े बिना।
कौन से लेखन गुण मानव पाठ को मशीन-निर्मित जैसा दिखाते हैं
साधारण लेखन के चार प्रकार सबसे अधिक जोखिम लाते हैं, और इनमें से किसी में भी व्यक्ति कुछ गलत नहीं कर रहा होता। छोटे दस्तावेज़, अत्यधिक सूत्रबद्ध लेखन, उद्धृत या टेम्पलेट-आधारित सामग्री, और ऐसा लेखन जिसकी बहुत कठोरता से proofreading की गई हो, सभी स्वतंत्र रूप से रचित गद्य की तुलना में अधिक पूर्वानुमेय के रूप में स्कोर करने की प्रवृत्ति रखते हैं, जबकि यही वह एक गुण है जिसे हर detector वास्तव में माप रहा होता है। एक free burstiness checker उसी परिवर्तनशीलता को सीधे मापता है, जो उसका वर्णन पढ़ने की तुलना में पैटर्न देखने का अधिक तेज़ तरीका है।
कुछ विधाएँ अपने स्वभाव से ही सूत्रबद्ध होती हैं। विधि अनुभाग, प्रयोगशाला रिपोर्ट, मानक आवरण-पत्र और साहित्य समीक्षा, सभी पारंपरिक वाक्यांश को नवोन्मेषी वाक्यांश पर प्राथमिकता देते हैं, क्योंकि यही परंपरा दस्तावेज़ को उसके पाठक के लिए उपयोगी बनाती है। शोधकर्ताओं ने इसे वास्तविक लेखन पर सीधे परखा, उन्होंने 1980 और 2023 के बीच प्रकाशित 14,400 जर्नल सारों को, उन वर्षों से बहुत पहले जब कोई बड़े भाषा मॉडल का अस्तित्व भी नहीं था, एक सार्वजनिक रूप से उपलब्ध डिटेक्टर से गुज़ारा। 8 प्रतिशत तक को AI-generated के रूप में चिह्नित किया गया, प्रकाशन वर्ष की परवाह किए बिना, और New England Journal of Medicine के सारों को 10.24 प्रतिशत पर चिह्नित किया गया, जो परीक्षण किए गए 5 जर्नलों में सबसे अधिक false positive दर थी।
यह परीक्षण ChatGPT के बारे में कुछ भी नहीं पकड़ सकता था, क्योंकि जिन अधिकांश वर्षों का उसने नमूना लिया, उनमें ChatGPT मौजूद ही नहीं था। उसने विधा को पहचाना। अधिक औपचारिक रूप से, जैसा कि 2026 का पहचान समस्या का सांख्यिकीय विश्लेषण इसे कहेगा, ऐसा कोई तरीका नहीं है जिससे ऐसा डिटेक्टर बनाया जा सके जो उस वाक्य के बीच अंतर कर सके जो इसलिए पूर्वानुमेय है क्योंकि उसे सॉफ़्टवेयर ने लिखा है, और उस वाक्य के बीच जो इसलिए पूर्वानुमेय है क्योंकि वह उस विधा में लिखी जाने वाली चीज़ का प्रकार है। बाहर से वे बिल्कुल एक जैसे दिखते हैं।
अत्यधिक संपादन भी इसी दिशा में धकेलता है। पहला मसौदा लेखक की विशिष्ट अनियमितताएँ लिए होता है, असामान्य शब्द क्रम, वह वाक्य जो इसलिए लंबा हो जाता है क्योंकि विचार भी लंबा था। एक गहन प्रूफ़रीडिंग चरण, विशेषकर जो किसी अन्य उपकरण से चलाया गया हो, ठीक उन्हीं अनियमितताओं को समतल कर देने की प्रवृत्ति रखता है। अब तक के डिटेक्शन उपकरणों के सबसे बड़े स्वतंत्र तुलनात्मक अध्ययन ने ऐसे 14 उपकरणों का परीक्षण किया और पाया कि, प्रत्येक उपकरण के लिए, सटीकता और घट गई, जब नमूना पाठ को paraphrased किया गया या machine-translated किया गया।
| लेखन विशेषता | यह किसी दस्तावेज़ की प्रतीत होने वाली अप्रत्याशितता को क्यों कम करती है | साक्ष्य क्या दिखाते हैं |
|---|---|---|
| संक्षिप्त प्रस्तुतियाँ | कम पाठ प्राकृतिक विविधता के लिए कम स्थान छोड़ता है, जो मानव लय को मशीन लय से अलग करती है | संक्षिप्त दस्तावेज़ों पर स्कोर कुछ असामान्य वाक्यों की शक्ति के आधार पर अधिक बदलते हैं |
| सूत्रबद्ध या अनुशासन-विशिष्ट लेखन | विधा की परंपरा अपेक्षित वाक्यांश को नवोन्मेषी वाक्यांश पर प्राथमिकता देती है | 14,400 पूर्व-ChatGPT जर्नल सारांशों (1980 to 2023) ने फिर भी 8% तक false positives उत्पन्न किए, एक जर्नल के सारांश 10.24% तक पहुँचे |
| बहुत अधिक संपादित या पुनर्परिभाषित प्रारूप | परिष्करण की प्रक्रिया उन व्यक्तिगत अनियमितताओं को समतल कर देती है जिन्हें एक डिटेक्टर मानव के रूप में पढ़ता है | 14-उपकरणों की एक स्वतंत्र तुलना में पाया गया कि पुनर्परिभाषण या मशीन अनुवाद के बाद सटीकता और घट गई |
| उद्धृत या टेम्पलेट-आधारित सामग्री | उद्धृत अंश अपने स्रोत की सांख्यिकीय छाप वहन करता है, न कि उद्धरण देने वाले लेखक की | जो डिटेक्टर उद्धरणों को बाहर नहीं करते, वे आसपास के दस्तावेज़ को उधार लिए गए पाठ के आधार पर अंक देते हैं |
AI डिटेक्टर गैर-देशी अंग्रेज़ी बोलने वालों को गलत वर्गीकृत क्यों करते हैं?
बुरी तरह, और बहुत बड़े अंतर से। यही उस अध्ययन का निष्कर्ष है जिसने सबसे पहले इस पर एक संख्या दी। Stanford के शोधकर्ताओं ने गैर-देशी अंग्रेज़ी बोलने वालों द्वारा लिखे गए 91 TOEFL निबंधों और US के आठवीं कक्षा के छात्रों के 88 निबंधों पर व्यापक रूप से उपयोग किए जाने वाले सात GPT डिटेक्टरों को चलाया। डिटेक्टरों ने आठवीं कक्षा के निबंधों को लगभग हर बार सही पढ़ा। जब बात TOEFL निबंधों की आई, जो ऐसे वयस्कों द्वारा लिखे गए थे जो स्नातकोत्तर-स्तर की अंग्रेज़ी परीक्षा देने के लिए पर्याप्त रूप से धाराप्रवाह थे, तो डिटेक्टरों की औसत false positive दर 61.3 percent थी। 91 में से 89 निबंधों को सात में से कम से कम एक डिटेक्टर ने GPT द्वारा उत्पन्न बताया; उन 18 निबंधों को सभी सात डिटेक्टरों ने चिह्नित किया।
वही तंत्र बाकी पहचान प्रक्रिया को नियंत्रित करता है, पूर्वानुमेय शब्दावली और सरल वाक्य-रचना कम perplexity के रूप में पढ़ी जाती हैं, और कम perplexity मशीन-निर्मित के रूप में पढ़ी जाती है, चाहे कलम किसके हाथ में हो। दूसरी भाषा में काम करने वाले लेखक प्रचलित वाक्यांशों पर निर्भर रहते हैं क्योंकि अतिरिक्त भाषा में प्रवाह वास्तव में ऐसा ही दिखता है, और यही वह सटीक प्रोफ़ाइल है जिसे detector चिह्नित करने के लिए बनाया गया था।
ऐसी स्थिति में मौजूद लेखकों को केवल अधिक स्वाभाविक ढंग से लिखने की सलाह से विशेष लाभ नहीं मिलता, क्योंकि स्वाभाविक होना ही ठीक वह बात थी जिसे चिह्नित किया गया। TextPulse's ESL academic writers के लिए पृष्ठ उस जोखिम के पीछे के वाक्यांश-प्रतिमानों को अधिक विस्तार से समझाता है, जिसमें यह भी शामिल है कि वाक्य का अर्थ बदले बिना उन्हें क्या बदलता है।
यह कोई अलग-थलग मामला नहीं था। दिसंबर 2025 में एक नया benchmark जारी किया गया, जिसे स्पष्ट रूप से इन detectors में bias का मूल्यांकन करने के लिए तैयार किया गया था। इसमें कई जनसांख्यिकीय समूहों और भाषाओं में 200,000 से अधिक नमूने शामिल थे। Stanford के पहले अध्ययन के दो वर्ष बाद होने और उन्हीं detectors के कई अलग-अलग model versions को शामिल करने के बावजूद, इस benchmark ने दिखाया कि English language learners के प्रति bias अभी भी मौजूद है।
यह सभी vendors के लिए ऐसा नहीं है। Pangram के अपने technical documentation में कहा गया है कि उसका classifier गैर-देशी English speakers के विरुद्ध biased नहीं है। Chicago Booth के शोधकर्ताओं ने इस दावे का स्वतंत्र रूप से परीक्षण नहीं किया, लेकिन यह दिखाता है कि detectors की नई पीढ़ी समस्या को अनदेखा करने के बजाय उसे ध्यान में रखकर बनाई जा रही है।
यदि आप यह देखना चाहते हैं कि आपकी अपनी लेखन-शैली किसी और के अंक देने से पहले कहाँ स्थित है, तो एक free perplexity checker आपको वही मूल संख्या देता है जिसे detector गणना करेगा, बिना पहले किसी संस्था को कुछ भी प्रस्तुत किए।
और किन्हें चिह्नित किया जाता है, और क्यों
गैर-देशी अंग्रेज़ी बोलने वाले सबसे बड़े प्रलेखित जोखिम को वहन करते हैं, लेकिन वही सांख्यिकीय तर्क अन्य लेखन पर भी लागू होता है। Weber-Wulff की टीम ने पाया कि उन्होंने जिन 14 उपकरणों का परीक्षण किया, वे पैराफ़्रेज़ किए गए पाठों पर चलाने पर कम सटीक थे, यह अकादमिक लेखन के उस महत्वपूर्ण हिस्से का वर्णन करता है जो किसी प्रूफ़रीडर, संपादक, या किसी पर्यवेक्षक की लाल कलम से गुज़र चुका होता है, इससे पहले कि कोई उस पर डिटेक्टर चलाए।
इसमें से कोई भी बात यह नहीं कहती कि संख्या अर्थहीन है, केवल यह कि किसी विशिष्ट व्यक्ति के बारे में कुछ भी अर्थ निकालने से पहले उसे पुष्टिकरण की आवश्यकता है। यदि आपके पास ऐसा पाठ है जो एकसमान पढ़ा जाता है, वाक्य लंबाई समान हैं, पूरे पाठ में लय समान है, तो वह इसे किसने लिखा या क्यों लिखा, इससे स्वतंत्र रूप से अधिक मशीन-जैसा स्कोर करेगा। इसे अनुमान लगाने के बजाय सीधे free burstiness checker का उपयोग करके जाँचा जा सकता है।
एक दूसरा, कम चर्चित समूह एक संबंधित समस्या का सामना करता है। शोधकर्ताओं ने लगभग 60,000 Reddit पोस्टों की तुलना की, जिन्हें एक ऐसे उपसमूह और एक सामान्य नमूने के बीच विभाजित किया गया था, जिन्हें संभवतः autistic लेखकों द्वारा लिखा गया माना गया, और दोनों को GPT-2-आधारित डिटेक्टर से गुज़ारा। दोनों समूह कुल मिलाकर 2 percent से नीचे ही रहे, लेकिन संभवतः autistic उपसमूह को सामान्य नमूने की तुलना में उल्लेखनीय रूप से अधिक दर से फ़्लैग किया गया। ऐसा लेखन जो शाब्दिक, पुनरावृत्त, कड़ाई से पैटर्नबद्ध वाक्यांशों की ओर झुकता है, जो कुछ autistic संचार शैलियों की एक प्रलेखित विशेषता है, ठीक वही कम-परिवर्तनशील पाठ उत्पन्न करता है जिसे पकड़ने के लिए डिटेक्टर बनाया गया है।
क्यों एक आत्मविश्वासी स्कोर एक आत्मविश्वासी आरोप नहीं है
False positive rate सुनने में ऐसा लगता है जैसे यह इस संभावना को संदर्भित करता है कि समस्या के रूप में फ़्लैग किया गया कोई एक छात्र निर्दोष हो सकता है। लेकिन नहीं। यह बताता है कि परीक्षण उसे लेने वाले सभी लोगों के लिए कैसे काम करता है। और ये अलग प्रश्न हैं, जिनके उत्तर भी अलग हैं, ठीक वैसे ही जैसे चिकित्सा या सुरक्षा में किसी भी screening test के साथ होता है।
मार्च 2026 के एक सांख्यिकीय विश्लेषण, जो Griffith University के एक शोधकर्ता द्वारा किया गया, अंतर्निहित गणित को स्पष्ट करता है। AI पहचान को एक अकेले पृथक दस्तावेज़ पर नहीं, बल्कि छात्र लेखकों की एक जनसंख्या पर लागू परीक्षण के रूप में देखें, और एक समझौता सामने आता है: जब भी उस जनसंख्या का कुछ हिस्सा ऐसे ढंग से लिखता है जो स्वाभाविक रूप से सामान्य AI आउटपुट, विधा-परंपरा, या दूसरी भाषा सीखने वाले की सीमा से मेल खाता है, तो वास्तविक शक्ति वाला कोई भी डिटेक्टर, जो AI-लिखित कार्य को पकड़ सके, उस ओवरलैप करने वाले हिस्से के कुछ मामलों में गलत संकेत देगा। यह किसी विशिष्ट डिटेक्टर के खराब बने होने का दावा नहीं है। यह एक विविध जनसंख्या का एक ही दस्तावेज़ और किसी अन्य साक्ष्य के बिना परीक्षण करने की विशेषता है।
पेपर का अपना उदाहरण इसमें शामिल पैमाने को दिखाता है। मान लीजिए कि छात्र जनसंख्या का 10 percent हिस्सा सामान्य AI आउटपुट के पर्याप्त निकट लिखता है, और एक डिटेक्टर को वास्तविक AI-लिखित कार्य के 80 percent को पकड़ने के लिए समायोजित किया गया है। तब गणित के अनुसार उस जनसंख्या में औसत false positive दर कम से कम 7.5 percent होनी चाहिए। यह डिटेक्टर की इंजीनियरिंग में कोई दोष नहीं है, यह इस बात का प्रत्यक्ष परिणाम है कि उस समूह का लेखन सांख्यिकीय रूप से उस चीज़ से कितना अधिक ओवरलैप करता है जिसे पहचाना जा रहा है।
10,000 छात्रों वाले एक विश्वविद्यालय पर लागू करने पर, केवल यह निचली सीमा ही लगभग 750 false flags का संकेत देती है, जो एक विविध जनसंख्या का एक ही दस्तावेज़ के विरुद्ध, और तौलने के लिए किसी अन्य साक्ष्य के बिना, परीक्षण करने का गणितीय परिणाम है। पेपर का लेखक स्पष्ट करता है कि ये विशेष आँकड़े किसी वास्तविक संस्थान में मापे गए नहीं, बल्कि केवल उदाहरणात्मक हैं। यह उदाहरण किसी एक परिसर के लिए विशिष्ट पूर्वानुमान के बजाय समस्या के स्वरूप को दिखाता है।
एक तर्कसंगत AI पहचान नीति कैसी दिखती है
Yale के पास पहले से एक नीति थी जो कथित रूप से GPTZero जैसे उपकरणों को प्रतिबंधित करती है, लगभग उन्हीं कारणों से जिन्हें यह लेख सामने रख चुका है, एक प्रलेखित false positive दर और गैर-देशी अंग्रेज़ी लेखकों के विरुद्ध प्रलेखित पक्षपात। इसलिए यह कहानी किसी एक दुर्भाग्यशाली छात्र की कम और एक मौजूदा नियम के पालन न होने की अधिक है। जब कोई नीति वास्तव में स्कोर और निर्णय के बीच के अंतर को लागू करती है, तब स्कोर एक निर्णय के बजाय केवल एक इनपुट बन जाता है।
- स्कोर को एक इनपुट के रूप में लें, कभी भी कदाचार निष्कर्ष का एकमात्र आधार न बनाएं
- उपकरण की प्रकाशित false positive rate को छात्रों पर उपयोग करने से पहले उन्हें बताएं
- छोटी प्रस्तुतियों और गैर-देशी अंग्रेज़ी लेखन पर अतिरिक्त सावधानी लागू करें, ये दोनों दस्तावेज़ित कमजोर बिंदु हैं
- ऐसी अपील का मार्ग सुनिश्चित करें जिसमें किसी सांख्यिकी को गलत सिद्ध करना आवश्यक न हो
इनमें से कुछ भी असाधारण नहीं है। यह इस बात के अधिक निकट है कि किसी भी एक फोरेंसिक साक्ष्य के टुकड़े को कहीं और कैसे माना जाना चाहिए, उपयोगी, जाँच योग्य, और अपने आप में कभी पर्याप्त नहीं।
किसी व्यक्तिगत लेखक के लिए, यही सिद्धांत स्कोर के अस्तित्व में आने से पहले लागू होता है, बाद में नहीं। किसी भी उपकरण से प्राप्त एकल संख्या एक अनुमान होती है, न कि निर्णय, और उसे किसी भी दिशा में, सुरक्षित या पकड़ा गया, निश्चितता मानना संख्या से उसकी क्षमता से अधिक अपेक्षा करना है।
TextPulse का अपना AI humanizer tool उसी तर्क पर Human Score रिपोर्ट करता है, यह आपके अपने पाठ से गणना किया गया एक अनुमान है, उस पर detector का निर्णय नहीं, और यह इस बात का उपयोगी संकेत है कि कोई मसौदा वर्तमान में कैसे पढ़ा जाता है, न कि इस बात का वादा कि कोई विशिष्ट detector क्या कहेगा।
सटीकता का प्रश्न अधिक संकीर्ण प्रश्नों में विभाजित हो जाता है, जिनमें से प्रत्येक का अपना पृष्ठ है। Turnitin's false positive rate और ZeroGPT's accuracy पर विशिष्ट साक्ष्य अलग से कवर किए गए हैं। यदि किसी स्कोर का पहले ही आपके विरुद्ध उपयोग किया जा चुका है, तो जब आप पर AI का उपयोग करने का आरोप लगे तो क्या करें पर व्यावहारिक सामग्री है, उस साक्ष्य पर जिसे आप यह सिद्ध करने के लिए एकत्र कर सकते हैं कि आपने AI का उपयोग नहीं किया, और अपील पत्र लिखने पर भी, जो स्कोर का उसके अपने मानकों पर उत्तर देता है।
किसी भी रिपोर्ट पर संख्या तब तक बदलती रहेगी जब तक विक्रेता अपने मॉडल को पुनः प्रशिक्षित करते रहते हैं और शोधकर्ता उन्हें कठिन मामलों के विरुद्ध परखते रहते हैं। लेकिन जो नहीं बदलना चाहिए, वह उसके नीचे की आदत है, एक स्कोर को कई मापों में से एक माप के रूप में पढ़ें, पूछें कि उसे किस जनसंख्या पर मान्य किया गया था, और पूछें कि विक्रेता उन मामलों के बारे में क्या नहीं कह रहा है जिन्हें वह अभी भी गलत करता है।
अक्सर पूछे जाने वाले प्रश्न
हाँ. Weber-Wulff और सहकर्मियों ने 2023 की एक तुलना में पाया कि AI-detection tools 'neither accurate nor reliable' हैं, और गैर-देशी English लेखक सबसे अधिक दर्ज जोखिम का सामना करते हैं, एक अध्ययन में TOEFL essays पर औसत गलत सकारात्मक दर 60 percent से ऊपर पाई गई. एक अकेला score अपने आप में किसी भी चीज़ का प्रमाण नहीं है, इसलिए उसे कभी भी आरोप के पीछे एकमात्र साक्ष्य नहीं होना चाहिए.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
