क्या AI डिटेक्टर सटीक हैं? गलत सकारात्मक और पक्षपात

Turnitin का दावा है कि उनकी false positive दर 1% से कम है। स्वतंत्र शोधकर्ताओं के एक समूह ने गैर-देशी अंग्रेज़ी बोलने वालों के लेखन नमूनों की एक व्यापक श्रेणी पर कई detectors का परीक्षण किया। उन्होंने पाया कि उसी प्रकार के लेखन पर औसत false positive दर 60% से अधिक थी। दोनों संख्याएँ वास्तविक हैं, दोनों प्रकाशित हुई थीं, और दोनों ऐसे detectors से संबंधित हैं जो उसी बाज़ार में बेचते हैं। क्या AI detectors सटीक हैं? यह इस पर निर्भर करता है कि आपने किस जनसंख्या का परीक्षण किया, आपने कौन सा detector उपयोग किया, और आपके vendor ने इसे मूल रूप से कैसे परिभाषित किया।

यह पोस्ट यह फिर से नहीं समझाएगी कि एक detector उस score की गणना कैसे करता है। तंत्र, perplexity, token probability, classifier को कैसे प्रशिक्षित किया जाता है, इस पर अन्यत्र विस्तार से चर्चा की गई है, और यदि आपने अभी तक नहीं पढ़ा है, तो पहले उसे पढ़ना उपयोगी होगा। यहाँ महत्वपूर्ण यह है कि score मौजूद होने के बाद क्या होता है, यह कितनी बार गलत होता है, किसके लेखन के बारे में यह सबसे अधिक गलत होता है, और एक false accusation वास्तव में उस व्यक्ति को क्या लागत पहुँचाती है जिसने कुछ भी गलत नहीं किया।

क्या AI detectors सटीक हैं?

लगातार नहीं, और marketing दावों तथा स्वतंत्र परीक्षण के बीच का अंतर अच्छी तरह प्रलेखित है। Debora Weber-Wulff के नेतृत्व में शोधकर्ताओं के एक समूह ने 2023 में 14 detection tools, जिनमें 12 free और दो commercial थे, पर अपने निष्कर्ष प्रकाशित किए, जिन्हें human और ChatGPT text के मिश्रण के विरुद्ध परीक्षण किया गया था। उन्होंने पाया कि इनमें से कोई भी tool सटीक या विश्वसनीय नहीं है, और इनमें एक अंतर्निहित पक्षपात है जो machine text को human के रूप में label करता है, न कि इसके विपरीत। इस परीक्षण में शामिल दो commercial tools Turnitin और PlagiarismCheck थे। इस परीक्षण में सभी tools ने तब खराब प्रदर्शन किया जब text को paraphrase किया गया।

लेकिन 2 साल बाद भी, स्थिति स्थिर नहीं है। University of Chicago के Booth School के Brian Jabarian और Alex Imas द्वारा तैयार एक working paper ने Pangram, GPTZero और Originality.ai, इन 3 नए उपकरणों, तथा 1 open-source प्रतिस्पर्धी को लगभग 2,000 मानव-लिखित अंशों, blogs, news, reviews और fiction से लिए गए, के साथ परखा। नियंत्रित परीक्षण स्थितियों में, इस समूह में सबसे अच्छा उपकरण कभी भी 99.8 percent accuracy से नीचे नहीं गया और उसने अपनी false positive rate को निम्न स्तर पर बनाए रखा। open-source model ने random guesser जितना अच्छा प्रदर्शन किया। चीजें वास्तव में बेहतर हुई हैं। कुछ हद तक। थोड़ा सा।

लेकिन समस्या controlled शब्द में है। benchmark passages साफ, पूर्ण और ज्ञात परिस्थितियों में तैयार किए गए होते हैं। submitted essay विश्वसनीय रूप से इनमें से कोई भी नहीं होता। वास्तविक दुनिया के परिणाम प्रयोगशाला के परिणामों के समान नहीं भी हो सकते, जैसा कि Turnitin के अपने chief product officer ने सार्वजनिक रूप से कहा है, हालांकि यह किसी vendor की ओर से एक दुर्लभ और उपयोगी स्वीकारोक्ति है। अगला section vendor के numbers को independent numbers के साथ रखता है ताकि अंतर केवल दावा न रहकर दिखाई दे।

Vendor के दावे बनाम independent testing

नीचे दी गई table यह दिखाती है कि 4 detectors अपने बारे में क्या दावा करते हैं, इसकी तुलना में independent researchers ने क्या मापा जब उन्होंने tools को सीधे test किया। बीच के 2 columns को साथ पढ़ें, केवल vendor column को नहीं।

डिटेक्टर	विक्रेता-प्रदत्त सटीकता	स्वतंत्र रूप से देखी गई	झूठे सकारात्मक के बारे में विक्रेता क्या कहता है
Turnitin	चिह्नित करने से पहले 98% विश्वास-सीमा; दस्तावेज़-स्तर पर 1% से कम झूठे सकारात्मक	लगभग 80% सटीकता, 2023 की तुलना में 12 उपकरणों में सर्वश्रेष्ठ, उपकरण के एक पहले संस्करण पर	20% AI-written सीमा से ऊपर दस्तावेज़-स्तर पर 1% से कम; वाक्य-स्तर पर लगभग 4%
GPTZero	स्वतंत्र RAID बेंचमार्क पर 1% झूठे सकारात्मक दर के साथ 95.7% AI-पाठ पहचान	छोटे अंशों पर 96% सटीकता; 2025 University of Chicago Booth अध्ययन में 1% से कम झूठे सकारात्मक दर	RAID बेंचमार्क पर 1% झूठे सकारात्मक दर की रिपोर्ट करता है
Originality.ai	99% सटीकता; 0.5% झूठे सकारात्मक दर (Lite मॉडल), 1.5% (Turbo मॉडल)	झूठे सकारात्मक दर 1% से कम, लेकिन उसी Booth अध्ययन में AI-written पाठ का 10% से 40% तक चूक गया	मॉडल स्तर के अनुसार अलग-अलग झूठे सकारात्मक आंकड़े प्रकाशित करता है
Pangram	त्रुटि दरें, जिनके बारे में यह कहता है कि वे प्रतिस्पर्धी उपकरणों की तुलना में 38 गुना से अधिक कम हैं; कहता है कि गैर-देशी English लेखकों के विरुद्ध कोई पक्षपात नहीं है	Booth अध्ययन में सटीकता कभी 99.8% से नीचे नहीं गई, झूठे सकारात्मक दर लगभग शून्य	10 पाठ डोमेन और 8 भाषा मॉडलों में लगभग-शून्य झूठे सकारात्मक दरों का दावा करता है

दो बातें स्पष्ट हैं। पहली, सभी विक्रेता आंकड़े एक ऐसे प्रयोगशाला से आते हैं जिसे विक्रेता नियंत्रित करता है, और Booth के आंकड़े ऐसे शोधकर्ताओं से आते हैं जिनके पास बेचने के लिए कुछ नहीं है। दूसरी, Turnitin उस मध्य स्तंभ में बिल्कुल नहीं है, क्योंकि 2025 अध्ययन ने इसका परीक्षण नहीं किया। तालिका में, इसका स्वतंत्र आंकड़ा 2023 की एक पहले की तुलना पर आधारित है, लेकिन यह उपकरण के एक पुराने संस्करण पर किया गया था, इसलिए तालिका को एक समान तुलना के रूप में देखते समय इसे याद रखें।

Turnitin की AI पहचान कितनी सटीक है?

Turnitin एक एकल सटीकता आंकड़ा प्रकाशित नहीं करता। इसके बजाय, यह एक सीमा और एक समझौता प्रकाशित करता है। कंपनी ने कहा है कि वह किसी दस्तावेज़ को तभी चिह्नित करती है जब उसे 98 percent विश्वास हो कि चिह्नित भाग AI-written है, और यही सीमा दस्तावेज़-स्तर की false positive दर को 1 percent से नीचे रखती है। Turnitin ने अनुमान लगाया है कि वह AI-helped लेखन का लगभग 85 percent पकड़ लेता है, और शेष को जानबूझकर निकल जाने देता है, बजाय इसके कि गलत आरोप लगाने का जोखिम ले।

वास्तविक false positives का प्रतिशत, जो Turnitin वाक्य-स्तर पर लौटाता है, जहां एक interface पूरे दस्तावेज़ के बजाय विशिष्ट पंक्तियों को highlight करता है, वास्तव में लगभग 4 percent के अधिक निकट है। यदि कोई professor पूरे दस्तावेज़ के score के बजाय केवल एक चिह्नित अनुच्छेद का screenshot लेता है, तो यही वह संख्या है जिसे जानना उपयोगी है, क्योंकि highlighted sentence के गलत होने की संभावना उसके बगल के document score की तुलना में अर्थपूर्ण रूप से अधिक होती है।

यह भी ध्यान देने योग्य है कि Turnitin ने इस अंतर को सीधे स्वीकार किया है। उन्होंने पाया कि उनके पहले वास्तविक-विश्व परिणाम, विशेष रूप से छोटे दस्तावेज़ों के लिए, उनकी laboratory tests के आधार पर अपेक्षित false positives की तुलना में अधिक थे। इसलिए उन्होंने scoring के लिए अपने minimum document length को 150 से बढ़ाकर 300 words कर दिया। यह एक vendor है जो अपने ही product को समायोजित कर रहा है क्योंकि प्रकाशित संख्या laboratory के बाहर टिक नहीं पाई, और यह किसी भी independent study जितना ही बहुत कुछ कहता है।

एक false positive वास्तव में एक छात्र को क्या लागत देता है

यह Yale's School of Management के एक executive MBA student के साथ हुआ। छात्र पर, सबसे शाब्दिक अर्थ में संभव, एक violation का आरोप लगाया गया। इसमें शामिल detector GPTZero था। finance course में छात्र की final exam को एक teaching assistant ने चिह्नित किया था, जिसने सोचा कि लेखन लंबा और विस्तृत था, और उसमें लगभग पूर्ण punctuation और grammar थी। और यह विशेष professor इसे GPTZero से चला रहा था, जिसने उत्तरों को संभवतः AI-generated के रूप में score किया।

वह पाठ्यक्रम में असफल रहा और उसे 1 वर्ष के लिए निलंबित कर दिया गया। फरवरी 2025 में संघीय न्यायालय में दायर उसके मुकदमे में दावा किया गया है कि Yale की अपनी नीति इसी कारण GPTZero जैसे उपकरणों के उपयोग को सीमित करती है, अर्थात गैर-देशी अंग्रेज़ी वक्ताओं के विरुद्ध इसकी प्रलेखित false positive दर, और उसने उस नीति के विरुद्ध इसका उपयोग किया। उसकी दायर याचिका में यह भी उद्धृत है कि GPTZero ने Yale के अपने पूर्व विश्वविद्यालय अध्यक्ष और व्यवसाय विद्यालय के डीन द्वारा लिखे गए अकादमिक लेखन पर 100 percent AI-generated स्कोर दिया था।

न्यायाधीश ने May 2025 में प्रारंभिक निषेधाज्ञा जारी करने से इनकार कर दिया। मामला अभी तक सुलझा नहीं है, जब मैं यह लिख रहा हूँ। वादी, एक फ्रांसीसी नागरिक, का दावा है कि गैर-देशी अंग्रेज़ी वक्ताओं के विरुद्ध वही ज्ञात पक्षपात उसके लेखन के उस रूप में आने का कारण बना जैसा वह आया। अगले खंड में हम इसी पर विचार करते हैं। जिस बात पर विवाद नहीं है, वह कीमत है, एक डिग्री कार्यक्रम से 1 वर्ष का नुकसान, एक असफल ग्रेड, कानूनी व्यय, और स्कोर को लेकर कई महीनों तक संघर्ष, जबकि डिग्री अर्जित की जा सकती थी। 1 percent false positive rate छोटी लगती है, जब तक कि एक बड़ा जनसमूह उसे किसी विशिष्ट व्यक्ति का मामला न बना दे।

AI detectors गैर-देशी अंग्रेज़ी वक्ताओं को गलत वर्गीकृत क्यों करते हैं?

बुरी तरह, और बहुत बड़े अंतर से। यही उस अध्ययन का निष्कर्ष है जिसने सबसे पहले इस पर एक संख्या रखी। Stanford के शोधकर्ताओं ने गैर-देशी अंग्रेज़ी वक्ताओं के 91 TOEFL निबंधों और US के आठवीं कक्षा के विद्यार्थियों के 88 निबंधों पर व्यापक रूप से उपयोग किए जाने वाले 7 GPT detectors चलाए। detectors ने आठवीं कक्षा के निबंधों को लगभग हर बार सही पढ़ा। जब बात TOEFL निबंधों की आई, जो ऐसे वयस्कों द्वारा लिखे गए थे जो स्नातकोत्तर-स्तर की अंग्रेज़ी परीक्षा देने के लिए पर्याप्त रूप से धाराप्रवाह थे, तो detectors की औसत false positive दर 61.3 percent थी। 91 निबंधों में से 89 को 7 detectors में से कम से कम 1 ने GPT द्वारा उत्पन्न बताया; उन 89 निबंधों में से 18 को सभी 7 detectors ने चिह्नित किया।

तंत्र वही है जो पहचान के शेष भाग को नियंत्रित करता है, अनुमानित शब्दावली और सरल वाक्य-रचना कम perplexity के रूप में पढ़ी जाती हैं, और कम perplexity मशीन-निर्मित के रूप में पढ़ी जाती है, चाहे कलम किसके हाथ में हो। दूसरी भाषा में काम करने वाले लेखक सुव्यवस्थित वाक्यांशों पर निर्भर करते हैं क्योंकि अतिरिक्त भाषा में प्रवाह वास्तव में ऐसा ही दिखता है, और यही वह सटीक प्रोफ़ाइल है जिसे चिह्नित करने के लिए एक detector बनाया गया था।

ऐसी स्थिति में लेखकों को केवल अधिक स्वाभाविक रूप से लिखने की सलाह से विशेष लाभ नहीं मिलता, क्योंकि स्वाभाविक ही वह चीज़ है जिसे चिह्नित किया गया। TextPulse का ESL शैक्षणिक लेखकों के लिए पृष्ठ उस जोखिम के पीछे के वाक्यांश-प्रतिरूपों को अधिक विस्तार से कवर करता है, जिसमें यह भी शामिल है कि वाक्य का अर्थ बदले बिना उन्हें क्या बदलता है।

यह कोई अलग-थलग मामला नहीं था। दिसंबर 2025 में एक नया benchmark जारी किया गया, जिसे स्पष्ट रूप से इन detectors में पक्षपात का मूल्यांकन करने के लिए डिज़ाइन किया गया था। इसमें कई जनसांख्यिकीय समूहों और भाषाओं में 200,000 से अधिक नमूने शामिल थे। Stanford के पहले अध्ययन के दो वर्ष बाद होने और उन्हीं detectors के अनेक अलग-अलग model versions को शामिल करने के बावजूद, इस benchmark ने प्रकट किया कि English language learners के प्रति पक्षपात अभी भी मौजूद है।

यह सभी vendors के लिए ऐसा नहीं है। Pangram के अपने तकनीकी दस्तावेज़ में कहा गया है कि उसका classifier गैर-देशी English speakers के विरुद्ध पक्षपाती नहीं है। Chicago Booth के शोधकर्ताओं ने इस दावे का स्वतंत्र रूप से परीक्षण नहीं किया, लेकिन यह दिखाता है कि detectors की नई पीढ़ी समस्या को अनदेखा करने के बजाय उसे ध्यान में रखकर बनाई जा रही है।

यदि आप यह देखना चाहते हैं कि आपकी अपनी लेखन-शैली किसी और के अंक देने से पहले कहाँ स्थित है, तो एक free perplexity checker आपको वही अंतर्निहित संख्या देता है जो एक detector गणना करेगा, बिना पहले किसी संस्था को कुछ भी प्रस्तुत किए।

और किसे चिह्नित किया जाता है, और क्यों

गैर-देशी अंग्रेज़ी वक्ताओं पर दर्ज सबसे बड़ा जोखिम पड़ता है, लेकिन वही सांख्यिकीय तर्क अन्य लेखन पर भी लागू होता है। Weber-Wulff की टीम ने पाया कि जिन 14 उपकरणों का उन्होंने परीक्षण किया, वे पैराफ़्रेज़ किए गए पाठों पर चलाने पर कम सटीक थे, यह अकादमिक लेखन के उस महत्वपूर्ण हिस्से का वर्णन करता है जो किसी प्रूफ़रीडर, संपादक, या किसी पर्यवेक्षक की लाल कलम से होकर गुज़रा होता है, इससे पहले कि कोई उस पर डिटेक्टर चलाए।

इसका अर्थ यह नहीं है कि संख्या निरर्थक है, केवल इतना कि किसी विशिष्ट व्यक्ति के बारे में कुछ भी अर्थ देने से पहले उसे पुष्टिकरण की आवश्यकता है। यदि आपके पास ऐसा पाठ है जो एकसमान पढ़ा जाता है, समान वाक्य-लंबाइयाँ, पूरे पाठ में समान लय, तो वह अधिक मशीन-सदृश अंक पाएगा, चाहे उसे किसी ने भी लिखा हो या किसी भी कारण से लिखा हो। इसे अनुमान लगाने के बजाय सीधे free burstiness checker का उपयोग करके जाँचा जा सकता है।

एक बचाव योग्य AI पहचान नीति कैसी दिखती है

Yale के पास पहले से एक नीति थी जो कथित रूप से GPTZero जैसे उपकरणों को प्रतिबंधित करती है, लगभग उन्हीं कारणों से जिन्हें यह लेख सामने रख चुका है, एक दर्ज false positive दर और गैर-देशी अंग्रेज़ी लेखकों के विरुद्ध दर्ज पक्षपात। इसलिए यह उतना किसी एक दुर्भाग्यशाली छात्र की कहानी नहीं है जितना कि एक मौजूदा नियम के लागू न होने की कहानी है। जब कोई नीति वास्तव में स्कोर और निर्णय के बीच के अंतर को लागू करती है, तब स्कोर एक निर्णय के बजाय केवल एक इनपुट बन जाता है।

• स्कोर को एक इनपुट के रूप में लें, कभी भी कदाचार निष्कर्ष का एकमात्र आधार न बनाएं
• उपकरण की प्रकाशित false positive दर को छात्रों को इसका उपयोग उनके विरुद्ध करने से पहले बताएं
• छोटी प्रस्तुतियों और गैर-देशी अंग्रेज़ी लेखन पर अतिरिक्त सावधानी लागू करें, दोनों दर्ज कमज़ोर बिंदु हैं
• अपील का ऐसा मार्ग सुनिश्चित करें जिसमें किसी सांख्यिकी को गलत सिद्ध करना आवश्यक न हो

इसमें कुछ भी असामान्य नहीं है। यह कहीं और किसी भी एकल फोरेंसिक साक्ष्य के साथ किए जाने वाले व्यवहार के अधिक निकट है, उपयोगी, जाँच योग्य, और अपने आप में कभी पर्याप्त नहीं।

किसी व्यक्तिगत लेखक के लिए, यही सिद्धांत स्कोर के अस्तित्व से पहले लागू होता है, बाद में नहीं। किसी भी उपकरण से प्राप्त एकल संख्या एक अनुमान है, निर्णय नहीं, और उसे किसी भी दिशा में, सुरक्षित या पकड़ा गया, निश्चितता मान लेना, संख्या से उसकी क्षमता से अधिक अपेक्षा करना है।

TextPulse का अपना AI humanizer tool उसी तर्क पर Human Score बताता है: यह आपके अपने पाठ से निकाला गया एक अनुमान है, किसी detector का उस पर दिया गया निर्णय नहीं, और यह इस बात का संकेत देने के लिए उपयोगी है कि कोई मसौदा अभी कैसे पढ़ा जा रहा है, न कि इस बात का वादा कि कोई विशिष्ट detector क्या कहेगा।

सटीकता का प्रश्न अधिक संकीर्ण प्रश्नों में विभाजित हो जाता है, जिनमें से प्रत्येक का अपना पृष्ठ है। वे दरें जिन पर detectors मानवीय लेखन को चिह्नित करते हैं अलग से कवर की गई हैं, जैसे Turnitin की false positive rate और ZeroGPT की सटीकता पर विशिष्ट साक्ष्य भी। यदि किसी score का पहले ही आपके विरुद्ध उपयोग किया जा चुका है, तो जब आप पर AI का उपयोग करने का आरोप लगे तो क्या करें, इस पर व्यावहारिक सामग्री उपलब्ध है, साथ ही वह साक्ष्य भी जिसे आप यह सिद्ध करने के लिए एकत्र कर सकते हैं कि आपने AI का उपयोग नहीं किया, और एक appeal letter लिखने पर भी, जो score का उत्तर उसकी अपनी शर्तों पर देता है।

किसी भी report में दिया गया number vendors द्वारा अपने models को पुनः प्रशिक्षित करने और researchers द्वारा उन्हें अधिक कठिन मामलों के विरुद्ध परखते रहने के साथ बदलता रहेगा। लेकिन जो नहीं बदलना चाहिए, वह उसके नीचे की आदत है: किसी score को कई मापों में से एक माप के रूप में पढ़ें, पूछें कि उसे किस population पर validated किया गया था, और पूछें कि vendor उन मामलों के बारे में क्या नहीं कह रहा है जिन्हें वह अभी भी गलत पहचानता है।