AI डिटेक्टर गैर-देशी अंग्रेज़ी लेखकों के विरुद्ध पक्षपाती क्यों हैं

AI detectors का गैर-देशी वक्ताओं के विरुद्ध पक्षपात कोई व्यक्तिपरक शिकायत नहीं है। एक peer-reviewed 2023 Stanford अध्ययन ने इसे सीधे मापा। शोधकर्ताओं ने गैर-देशी अंग्रेज़ी वक्ताओं द्वारा लिखे गए 91 वास्तविक TOEFL निबंधों और अमेरिकी आठवीं कक्षा के विद्यार्थियों द्वारा लिखे गए 88 निबंधों पर व्यापक रूप से उपयोग किए जाने वाले सात GPT detectors चलाए, फिर तुलना की कि प्रत्येक समूह को कैसे अंक मिले।

detectors ने आठवीं कक्षा के निबंधों को लगभग हर बार सही पढ़ा। TOEFL निबंधों पर, जो उन वयस्कों द्वारा लिखे गए थे जिन्होंने पहले ही graduate-level अंग्रेज़ी दक्षता परीक्षा पास कर ली थी, उन्हीं सात tools ने औसतन 61.22 percent की false positive rate दी। इक्यावन में से उन्यासी निबंध, लगभग 98 percent, को कम से कम एक of the seven tools द्वारा AI-generated के रूप में चिह्नित किया गया।

TextPulse का AI detector accuracy पर व्यापक साक्ष्य का अवलोकन उस प्रमुख निष्कर्ष और उसके बाद उससे जुड़े मुकदमों को शामिल करता है। जहाँ लगभग हर जगह इस अध्ययन का उल्लेख किया जाता है, वहाँ जो बात छोड़ दी जाती है, वह है इसका तंत्र, आखिर graduate-level अंग्रेज़ी वक्ता की गद्य-रचना शुरू में ही machine-made जैसी क्यों पढ़ी जाती है, और जब वह ऐसी पढ़नी बंद कर देती है, तो क्या बदलता है।

गैर-देशी वक्ताओं के विरुद्ध पक्षपाती AI Detectors, तंत्र

एक detector कभी अर्थ के लिए नहीं पढ़ता। वह इस आधार पर पढ़ता है कि उसके पहले आए शब्दों को देखते हुए प्रत्येक शब्द कितना पूर्वानुमेय है, और जब model उसका अधिकांश भाग पहले से अनुमान लगा सकता था, तब वह किसी अंश को कम अंक देता है। Lexical diversity, यानी एक लेखक कितनी व्यापक शब्दावली का उपयोग करता है, बजाय इसके कि वह सुरक्षित शब्दों के एक छोटे समूह को बार-बार दोहराए, और syntactic predictability, यानी वाक्य संरचना भाषा के सबसे सामान्य pattern का कितनी निकटता से अनुसरण करती है, बजाय इसके कि उसमें विविधता लाई जाए, भाषा-उत्पादन के दो ऐसे गुण हैं जो उस अंक को नीचे ले जाते हैं।

यह भेद महत्वपूर्ण है, क्योंकि दोनों पृष्ठ पर अलग तरह से दिखाई देते हैं। शब्द-वैविध्य स्वयं शब्दों से संबंधित है: जो लेखक तीन अलग-अलग वाक्यों में 'obtain,' 'acquire,' और 'secure' का प्रयोग करता है, वह उस लेखक की तुलना में अधिक विविध पढ़ा जाता है जो तीन बार 'get' लिखता है, भले ही अन्यथा वाक्य समान हों। वाक्य-विन्यासीय पूर्वानुमेयता संरचना से संबंधित है: कर्ता, क्रिया, कर्म, जो बार-बार दोहराए जाते हैं, न कि ऐसा वाक्य जो अधीनस्थ उपवाक्य से शुरू होता है या किसी अप्रत्याशित शब्द पर समाप्त होता है। परीक्षा की परिस्थितियों में काम करने वाले द्वितीय भाषा के लेखक के लिए दोनों के अधिक सुरक्षित रूप का सहारा लेना स्वाभाविक है।

द्वितीय भाषा में लेखन विश्वसनीय रूप से दोनों की मात्रा कम दिखाता है, और यह किसी कमी के रूप में नहीं। अतिरिक्त भाषा में काम करने वाला लेखक उस शब्दावली और वाक्य-पैटर्न पर निर्भर करता है जिनके सही होने की संभावना सबसे अधिक होती है, क्योंकि गलत अनुमान लगाने की कीमत तब अधिक होती है जब भाषा अभी पूरी तरह स्वचालित नहीं हुई होती। Stanford के उस शोध-पत्र में, जिसने detector bias का दस्तावेजीकरण किया, ठीक इसी पैटर्न पर अनुप्रयुक्त भाषाविज्ञान के शोध-समूह का हवाला दिया गया है, जो AI detectors के अस्तित्व में आने से बहुत पहले स्थापित हो चुका था: कम lexical richness, कम lexical diversity, और सरल वाक्य संरचना, द्वितीय भाषा के लेखन की प्रलेखित, मापनीय विशेषताएँ हैं, न कि किसी और बात का संकेत।

मातृभाषी और अमातृभाषी लेखन के बीच यह अंतर perplexity difference के रूप में दिखाई देता है, वही माप जिसे detector यह तय करने के लिए चलाता है कि कोई अंश machine-generated था या नहीं। कम perplexity, चाहे उसे किसी ने भी उत्पन्न किया हो, अधिक machine-like पढ़ी जाती है, और अमातृभाषी लेखन उस पैमाने पर नीचे स्थित होता है, ऐसे कारणों से जिनका किसी chatbot से कोई संबंध नहीं है। क्या वह अंतर वास्तव में detectors को संचालित करता है, या यह केवल संयोग है, यह एक परीक्षण योग्य प्रश्न है। Stanford की टीम ने इसका सीधे परीक्षण किया।

जब वही निबंध अधिक समृद्ध शब्दावली के साथ पुनर्लिखे गए तो क्या हुआ

शोधकर्ताओं ने वही 91 TOEFL निबंध लिए, जिन्होंने 61.22 percent की औसत false positive rate को ट्रिगर किया था, और ChatGPT से उन्हें एक ही निर्देश के साथ संशोधित करने को कहा: "शब्द-चयन को इस तरह बेहतर बनाइए कि वह किसी native speaker की तरह अधिक लगे." सामग्री, तर्क, या व्याकरण में किसी बदलाव का निर्देश नहीं दिया गया था. उस एक संपादन के बाद, उन्हीं सात detectors में औसत false positive rate 11.77 percent तक गिर गई, जो लगभग पचास percentage points की कमी थी, और हर detector द्वारा सर्वसम्मति से चिह्नित किए गए निबंधों की संख्या अठारह से घटकर एक रह गई.

इसके बाद शोधकर्ताओं ने प्रयोग को उल्टी दिशा में चलाया. उन्होंने 88 native-speaker eighth-grade निबंध लिए, जिन्हें detectors ने मूल रूप से लगभग हर बार सही ढंग से स्कोर किया था, और ChatGPT से कहा कि उनके शब्द-चयन को इस तरह सरल करे जैसे वे किसी non-native speaker द्वारा लिखे गए हों. उन्हीं native-written निबंधों पर औसत false positive rate 5.19 percent से बढ़कर 56.65 percent हो गई. निबंधों की authorship नहीं बदली. केवल शब्दावली बदली, और detectors ने शब्दावली का ही अनुसरण किया.

Perplexity दोनों दिशाओं में misclassification rate के साथ समान गति से बदला, TOEFL निबंधों के समृद्ध किए जाने पर यह तेज़ी से बढ़ा, और eighth-grade निबंधों के सरल किए जाने पर यह तेज़ी से घटा. लेखक इससे एक सीधा निष्कर्ष निकालते हैं: detectors वास्तव में जिस पर प्रतिक्रिया दे रहे थे, वह कभी authorship नहीं थी. वह शब्द-चयन था, एक ऐसा गुण जिसे किसी भी लेखक की शब्दावली धारण कर सकती है, चाहे उन्होंने English कहीं भी सीखी हो.

विभिन्न detectors के बीच यह पक्षपात कितना सुसंगत है

सातों detectors बहुत कम बातों पर सहमत थे, सिवाय इसके कि त्रुटि किस दिशा में जा रही थी. उनमें से हर एक ने TOEFL निबंधों को eighth-grade निबंधों की तुलना में कहीं अधिक बार चिह्नित किया, लेकिन बहुत अलग-अलग अंतर से.

डिटेक्टर	False positive rate, TOEFL निबंध	False positive rate, मूल-भाषी निबंध
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

ये 2023 के आंकड़े हैं, जिन्हें उन उपकरणों पर मापा गया था जैसी वे तब मौजूद थे। तब से कई पूरी तरह बदल चुके हैं, OpenAI ने जुलाई 2023 में अपना स्वयं का डिटेक्टर बंद कर दिया, इस परीक्षण के चार महीने बाद, यह पाए जाने के बाद कि वह वास्तविक AI-लिखित पाठ का केवल 26 प्रतिशत ही सही ढंग से चिह्नित कर रहा था, जबकि वह मानव लेखन के 9 प्रतिशत को भी गलत रूप से लेबल कर रहा था। जो नहीं बदला है, वह अंतर की दिशा है। एक व्यापक पक्षपात बेंचमार्क, जिसे विशेष रूप से जनसांख्यिकीय और भाषाई श्रेणियों में डिटेक्टरों का परीक्षण करने के लिए बनाया गया था, दिसंबर 2025 में प्रकाशित हुआ और चार नए ओपन-सोर्स उपकरणों के विरुद्ध चलाया गया, फिर भी कम प्रतिनिधित्व वाले लेखकों के समूहों के लिए लगातार कम recall की रिपोर्ट करता है।

क्या यह पक्षपात नए डिटेक्टरों में भी अब दिखता है?

Stanford अध्ययन अब कई AI पीढ़ियों पुराना है, और इसके अपने लेखकों ने स्वयं इसकी सीमा बताई थी, एक छोटा पायलट नमूना, और ऐसे डिटेक्टर जो मुख्यतः GPT-2 पर आधारित थे, जो आज की detection को शक्ति देने वाले मॉडल की तुलना में कहीं छोटा और पुराना मॉडल है। इससे एक उचित प्रश्न उठता है। क्या बेहतर तकनीक ने इस अंतर को पाट दिया है?

सबसे हालिया समर्पित परीक्षण कहता है, अभी नहीं। सुल्तान क़ाबूस विश्वविद्यालय के फरवरी 2026 के एक अध्ययन में, शोधकर्ताओं ने दो वर्तमान वाणिज्यिक डिटेक्टर, Turnitin और Originality, को 192 पाठों के विरुद्ध परखा, जिनमें प्रामाणिक ChatGPT-पूर्व EFL छात्र-लेखन, पेशेवर मानव-लेखन, AI-जनित पाठ, और संकर मानव-AI पाठ शामिल थे। परिणामों में दोनों उपकरणों के लिए समग्र सटीकता 69 प्रतिशत और 61 प्रतिशत रही, जबकि संकर श्रेणी, यानी वह प्रकार का लेखन जो वास्तव में एक संपादन-पास से उत्पन्न होता है, में सटीकता लगभग शून्य तक गिर गई। उसी अध्ययन ने एक दूसरा पक्षपात भी उजागर किया, जो भाषा-आधारित पक्षपात के साथ-साथ चल रहा था, वैज्ञानिक लेखन पर सटीकता मानविकी लेखन की तुलना में 28 से 38 प्रतिशत अंक कम थी।

इनमें से कोई भी निष्कर्ष किसी एक दोषपूर्ण उत्पाद के बारे में नहीं है। दो अलग-अलग डिटेक्टर संरचनाएँ, जिन्हें तीन वर्ष के अंतर से, अलग-अलग शोध टीमों द्वारा, अलग-अलग कॉर्पस पर परखा गया, लगातार एक ही परिणाम पर पहुँचती हैं, शैलीगत परंपरा से आकार लिया हुआ लेखन या दूसरी भाषा में लिखा गया लेखन, उन लेखनों की तुलना में अधिक उस चीज़ के निकट बैठता है जिसे ये उपकरण मशीन-निर्मित कहते हैं, जबकि ऐसा लेखन जो इनमें से कोई नहीं है। TextPulse's free tools लेखक को यह वही सांख्यिकीय प्रोफ़ाइल किसी संस्था के डिटेक्टर तक पहुँचने से पहले जाँचने देते हैं।

स्वतंत्र साक्ष्य कि अंतर वास्तविक है, परीक्षण की कलाकृति नहीं

TOEFL परिणामों के साथ पहली समस्या यह है कि यह तर्क दिया जा सकता है कि वे केवल एक छोटे 2023 पायलट अध्ययन पर लागू होते हैं। उसी शोध टीम ने इसका उत्तर एक अन्य अध्ययन में दिया, जिसमें ऐसे डेटा का उपयोग किया गया जिसका डिटेक्टरों से कोई संबंध नहीं है। उन्होंने ICLR 2023 में स्वीकृत 1,574 पत्रों की जाँच की, जो मशीन लर्निंग का एक प्रमुख सम्मेलन है, और नमूने को उन सारांशों तक सीमित किया जो ChatGPT के अस्तित्व में आने से पहले प्रस्तुत और समीक्षित किए गए थे।

जिन देशों में अंग्रेज़ी प्राथमिक भाषा नहीं है, वहाँ स्थित लेखकों ने ऐसे सारांश लिखे जिनकी perplexity, मूल अंग्रेज़ी-भाषी देशों में स्थित लेखकों की तुलना में, उल्लेखनीय रूप से कम थी, और यह अंतर तब भी बना रहा जब इस बात को नियंत्रित किया गया कि प्रत्येक शोधपत्र को समीक्षकों ने कितनी उच्च रेटिंग दी थी। यह नमूना किसी ऐसे व्यक्ति द्वारा आकार नहीं दिया जा सकता था जो किसी chatbot जैसा अधिक या कम सुनाई देने की कोशिश कर रहा हो। ChatGPT के जारी होने में अभी तीन महीने बाकी थे जब प्रस्तुतिकरण की अवधि समाप्त हुई। मूल अंग्रेज़ी और गैर-मूल अंग्रेज़ी अकादमिक लेखन के बीच perplexity का अंतर detectors ने गढ़ा हुआ नहीं है। यह वह चीज़ है जिसे उन्होंने विरासत में पाया है।

AI detection के परीक्षण समस्या के रूप में 2026 का एक सांख्यिकीय विश्लेषण इसी निष्कर्ष का एक औपचारिक रूप प्रस्तुत करता है। जब भी लेखकों का कोई समूह ऐसी भाषा उत्पन्न करता है जो समग्र रूप से सामान्य AI output से मेल खाती है, तो वास्तविक शक्ति वाला कोई भी detector, जो AI-written text को पकड़ सके, उस विशेष समूह के लिए अधिक false positive rate वहन करेगा, जो किसी एक tool की कमी नहीं बल्कि विविध जनसंख्या के परीक्षण का एक गणितीय गुण है। गैर-मूल अंग्रेज़ी लेखक ठीक इसी प्रकार के overlap का सबसे स्पष्ट प्रलेखित मामला हैं।

दूसरी भाषा में लिखने वाले लेखकों के लिए इसका क्या अर्थ है

इसका अर्थ यह नहीं है कि आप अपने-आप जैसे कम लिखें। इसका कारण यह जानना है कि score आने से पहले वास्तव में क्या मापा जा रहा है। यदि कोई detector आपके गद्य को predictable मान रहा है, तो वह दूसरी भाषा में लेखन के एक वास्तविक सांख्यिकीय गुण को पकड़ रहा है, न कि इस बात का प्रमाण कि आपने किसी ऐसे tool का उपयोग किया जिसे आपने उपयोग ही नहीं किया।

Stanford के शोधकर्ताओं, जिन्होंने मूल अध्ययन किया था, अपने ही निष्कर्ष के एक असहज निहितार्थ की ओर संकेत करते हैं: false positive risk को कम करने वाला वही vocabulary adjustment उस प्रकार का revision भी है जिसकी किसी लेखक को पूरी तरह अलग कारणों से आवश्यकता हो सकती है, अधिक स्पष्ट phrasing, अधिक सटीक शब्द, किसी भी detector से स्वतंत्र। TextPulse का ESL academic writers के लिए page यह बताता है कि वास्तविक वाक्यों पर इस प्रकार का revision कैसा दिखता है, detection score से संबंधित किसी भी बात से अलग।

नए डिटेक्टर इस पैटर्न को अब स्पष्ट रूप से ध्यान में रखने लगे हैं। Pangram, हाल के व्यावसायिक प्रवेशकों में से एक, अपनी तकनीकी प्रलेखन में कहता है कि उसका वर्गीकार गैर-देशी अंग्रेज़ी लेखकों के विरुद्ध पक्षपाती नहीं है, हालांकि यह दावा स्वतंत्र परीक्षण के बजाय विक्रेता से आता है। एक निःशुल्क perplexity checker वही अंतर्निहित मापन दिखाता है जिसे इनमें से कोई भी उपकरण किसी लेखन-खंड से गणना करता है, और वह भी मसौदे को पहले कहीं भेजे बिना।

दो व्यावहारिक सहचर उसी समूह में आते हैं: a, an और the का उपयोग कब करें, जो इस पैटर्न का सबसे सामान्य एकल स्रोत है, और अधिक सामान्य रूप से अंग्रेज़ी शैक्षणिक लेखन में स्वाभाविक कैसे लगें।

अनुसंधान दो वर्षों बाद भी उसी दिशा में लगातार बढ़ रहा है, विभिन्न टीमों, विभिन्न डिटेक्टरों, और विभिन्न परीक्षण डिज़ाइनों के across. जो बात समान गति से आगे नहीं बढ़ी है, वह एक व्यापक रूप से अपनाई गई संस्थागत प्रतिक्रिया है, किसी एक लेखक पर भरोसा करने से पहले लेखकों की एक श्रेणी के विरुद्ध डिटेक्टर का ऑडिट करना, न कि तब जब किसी विशिष्ट छात्र पर पहले ही आरोप लगाया जा चुका हो। जब तक यह नियमित नहीं हो जाता, तब तक false flag को गलत सिद्ध करने का भार ठीक उन्हीं लेखकों पर पड़ता है, जिनके बारे में यह अनुसंधान कहता है कि उन्हें एक मिलने की सबसे अधिक संभावना है।