AI डिटेक्टर गैर-देशी अंग्रेज़ी लेखकों के विरुद्ध पक्षपाती क्यों हैं

AI detectors biased against non-native speakers कोई व्यक्तिपरक शिकायत नहीं है। एक peer-reviewed 2023 Stanford अध्ययन ने इसे सीधे मापा। शोधकर्ताओं ने non-native English speakers द्वारा लिखे गए 91 वास्तविक TOEFL निबंधों और अमेरिकी आठवीं कक्षा के छात्रों द्वारा लिखे गए 88 निबंधों पर व्यापक रूप से उपयोग किए जाने वाले सात GPT detectors चलाए, फिर तुलना की कि प्रत्येक समूह को कैसे अंक मिले।

detectors ने आठवीं कक्षा के निबंधों को लगभग हर बार सही पढ़ा। TOEFL निबंधों पर, जो उन वयस्कों द्वारा लिखे गए थे जिन्होंने पहले ही graduate-level English proficiency exam पास कर लिया था, उन्हीं सात tools ने औसतन 61.22 percent की false positive rate दी। उन इक्यानवे निबंधों में से उन्यासी, लगभग 98 percent, को सात में से कम से कम एक tool ने AI-generated के रूप में चिह्नित किया।

TextPulse का AI detector accuracy पर व्यापक साक्ष्य का अवलोकन उस मुख्य निष्कर्ष और उसके बाद उससे जुड़े मुकदमों को शामिल करता है। अध्ययन का उल्लेख लगभग हर जगह जिस बात को छोड़ दिया जाता है, वह है इसका mechanism, graduate-level English speaker की prose शुरू में machine-made जैसी क्यों पढ़ी जाती है, और जब वह उस तरह पढ़ना बंद करती है तो क्या बदलता है।

Non-Native Speakers के विरुद्ध पक्षपाती AI Detectors: तंत्र

एक detector कभी अर्थ के लिए नहीं पढ़ता। वह इस बात के लिए पढ़ता है कि उससे पहले आए शब्दों को देखते हुए प्रत्येक शब्द कितना अनुमानित है, और जब model उसका अधिकांश भाग पहले से अनुमान लगा सकता था, तब वह किसी passage को कम score देता है। Lexical diversity, यानी एक writer कितनी व्यापक vocabulary का उपयोग करता है, बजाय इसके कि वह सुरक्षित शब्दों के एक छोटे set को दोहराए, और syntactic predictability, यानी sentence structure भाषा के सबसे सामान्य pattern का कितना निकटता से अनुसरण करता है, बजाय इसके कि उसमें विविधता लाई जाए, भाषा उत्पादन के दो गुण हैं जो उस score को नीचे ले जाते हैं।

यह भेद महत्वपूर्ण है, क्योंकि दोनों पृष्ठ पर अलग-अलग रूप में दिखाई देते हैं। शब्द-वैविध्य स्वयं शब्दों से संबंधित है: जो लेखक तीन अलग-अलग वाक्यों में 'obtain,' 'acquire,' और 'secure' का प्रयोग करता है, वह उस लेखक की तुलना में अधिक विविध पढ़ता है जो 'get' को तीन बार लिखता है, भले ही अन्यथा वाक्य समान हों। वाक्य-विन्यासीय पूर्वानुमेयता संरचना से संबंधित है: कर्ता, क्रिया, कर्म, जो बार-बार दोहराए जाते हैं, न कि ऐसा वाक्य जो अधीनस्थ उपवाक्य से शुरू होता है या किसी अप्रत्याशित शब्द पर समाप्त होता है। परीक्षा की परिस्थितियों में काम करने वाले दूसरी भाषा के लेखक के लिए दोनों के अधिक सुरक्षित रूप पर निर्भर होना स्वाभाविक है।

दूसरी भाषा में लेखन विश्वसनीय रूप से इन दोनों का कम प्रदर्शन दिखाता है, और यह किसी कमी के रूप में नहीं है। अतिरिक्त भाषा में काम करने वाला लेखक उस शब्दावली और वाक्य-पैटर्न पर निर्भर करता है जिनके सही होने की संभावना सबसे अधिक होती है, क्योंकि गलत अनुमान लगाने की कीमत तब अधिक होती है जब भाषा अभी पूरी तरह स्वचालित नहीं हुई होती। Stanford के उस शोधपत्र, जिसने डिटेक्टर-पूर्वाग्रह का दस्तावेजीकरण किया, में अनुप्रयुक्त भाषाविज्ञान के शोध-संग्रह का हवाला दिया गया है जो ठीक इसी पैटर्न पर है, और यह AI डिटेक्टरों के अस्तित्व से बहुत पहले स्थापित हो चुका था: कम शब्द-समृद्धि, कम शब्द-वैविध्य, और सरल वाक्य-संरचना दूसरी भाषा के लेखन की प्रलेखित, मापनीय विशेषताएँ हैं, न कि किसी और चीज़ का संकेत।

मातृभाषी और गैर-मातृभाषी लेखन के बीच यह अंतर perplexity के अंतर के रूप में दिखाई देता है, वही माप जिसे कोई डिटेक्टर यह तय करने के लिए चलाता है कि कोई अंश मशीन-जनित था या नहीं। कम perplexity अधिक मशीन-जैसी पढ़ाई देती है, चाहे उसे किसी ने भी उत्पन्न किया हो, और गैर-मातृभाषी लेखन उस पैमाने पर नीचे स्थित होता है, ऐसे कारणों से जिनका किसी chatbot से कोई संबंध नहीं है। क्या वह अंतर वास्तव में डिटेक्टरों को संचालित करता है, या यह केवल संयोग है, यह एक परीक्षण योग्य प्रश्न है। Stanford टीम ने इसे सीधे परखा।

जब उन्हीं निबंधों को अधिक समृद्ध शब्दावली के साथ पुनर्लिखा गया, तब क्या हुआ

शोधकर्ताओं ने वही 91 TOEFL निबंध लिए, जिन्होंने 61.22 percent की औसत false positive rate को उत्पन्न किया था, और ChatGPT से उन्हें एक ही निर्देश के साथ संशोधित करने को कहा: "शब्द-चयन को इस तरह बेहतर बनाइए कि वह किसी native speaker की तरह अधिक लगे." सामग्री, तर्क, या व्याकरण में किसी भी परिवर्तन का निर्देश नहीं दिया गया था. उस एक संपादन के बाद, उन्हीं सात detectors में औसत false positive rate 11.77 percent तक गिर गई, जो लगभग पचास percentage points की गिरावट थी, और हर detector द्वारा सर्वसम्मति से flagged किए गए निबंधों की संख्या अठारह से घटकर एक रह गई.

इसके बाद शोधकर्ताओं ने प्रयोग को उलटी दिशा में चलाया. उन्होंने 88 native-speaker eighth-grade निबंध लिए, जिन्हें detectors ने मूल रूप से लगभग हर बार सही ढंग से score किया था, और ChatGPT से उनके शब्द-चयन को इस तरह सरल करने को कहा जैसे वे किसी non-native speaker द्वारा लिखे गए हों. उन्हीं native-written निबंधों पर औसत false positive rate 5.19 percent से बढ़कर 56.65 percent हो गई. निबंधों की authorship नहीं बदली. केवल vocabulary बदली, और detectors ने vocabulary का अनुसरण किया.

Perplexity दोनों दिशाओं में misclassification rate के साथ lockstep में चला: जब TOEFL निबंधों को समृद्ध किया गया, तो यह तेज़ी से बढ़ा, और जब eighth-grade निबंधों को सरल किया गया, तो यह तेज़ी से घटा. लेखक इससे एक स्पष्ट निष्कर्ष निकालते हैं: detectors वास्तव में authorship पर कभी प्रतिक्रिया नहीं दे रहे थे. वे word choice पर प्रतिक्रिया दे रहे थे, जो किसी भी writer की vocabulary का एक गुण है, चाहे उन्होंने English कहीं भी सीखी हो.

विभिन्न detectors के बीच यह पक्षपात कितना सुसंगत है

सातों detectors बहुत कम बातों पर सहमत थे, सिवाय इसके कि त्रुटि किस दिशा में जा रही थी. उनमें से प्रत्येक ने TOEFL निबंधों को eighth-grade निबंधों की तुलना में कहीं अधिक बार flagged किया, लेकिन बहुत अलग-अलग margins से.

डिटेक्टर	False positive rate, TOEFL essays	False positive rate, native essays
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

ये 2023 के आंकड़े हैं, जिन्हें उन उपकरणों पर मापा गया था जैसे वे तब मौजूद थे। तब से कई पूरी तरह बदल चुके हैं: OpenAI ने जुलाई 2023 में अपना स्वयं का डिटेक्टर बंद कर दिया, इस परीक्षण के चार महीने बाद, यह पाए जाने के बाद कि वह वास्तविक AI-लिखित पाठ का केवल 26 प्रतिशत ही सही ढंग से चिह्नित कर रहा था, जबकि वह मानव लेखन के 9 प्रतिशत को भी गलत रूप से लेबल कर रहा था। जो नहीं बदला है, वह अंतर की दिशा है। एक व्यापक पक्षपात बेंचमार्क, जिसे विशेष रूप से जनसांख्यिकीय और भाषाई श्रेणियों में डिटेक्टरों का परीक्षण करने के लिए बनाया गया था, दिसंबर 2025 में प्रकाशित हुआ और चार नए open-source उपकरणों के विरुद्ध चलाया गया, फिर भी उसने लेखकों के कम प्रतिनिधित्व वाले समूहों के लिए लगातार कम recall की सूचना दी।

क्या यह पक्षपात नए डिटेक्टरों में भी अभी दिखता है?

Stanford अध्ययन अब कई AI पीढ़ियों पुराना है, और इसके अपने लेखकों ने स्वयं इसकी सीमा बताई थी: एक छोटा पायलट नमूना, और ऐसे डिटेक्टर जो मुख्यतः GPT-2 पर आधारित थे, जो आज की detection को शक्ति देने वाले मॉडल की तुलना में बहुत छोटा और पुराना मॉडल है। इससे एक उचित प्रश्न उठता है। क्या बेहतर तकनीक ने इस अंतर को पाट दिया है?

सबसे हालिया समर्पित परीक्षण कहता है, अभी नहीं। सुल्तान क़ाबूस विश्वविद्यालय के फरवरी 2026 के एक अध्ययन में, शोधकर्ताओं ने दो वर्तमान वाणिज्यिक डिटेक्टरों, Turnitin और Originality, का परीक्षण 192 पाठों के विरुद्ध किया, जिनमें प्रामाणिक pre-ChatGPT EFL छात्र-लेखन, पेशेवर मानव लेखन, AI-जनित पाठ, और संकर मानव-AI पाठ शामिल थे। परिणामों से दोनों उपकरणों के लिए समग्र सटीकता 69 प्रतिशत और 61 प्रतिशत रही, जबकि संकर श्रेणी पर सटीकता, अर्थात् उस प्रकार का लेखन जो वास्तव में संपादन-पास से उत्पन्न होता है, लगभग शून्य तक गिर गई। उसी अध्ययन ने भाषा-संबंधी पक्षपात के साथ-साथ चलने वाला एक दूसरा पक्षपात भी उजागर किया, वैज्ञानिक लेखन पर सटीकता मानविकी लेखन की तुलना में 28 से 38 प्रतिशत अंक कम थी।

इनमें से कोई भी निष्कर्ष किसी एक दोषपूर्ण उत्पाद के बारे में नहीं है। दो भिन्न डिटेक्टर संरचनाएँ, जिन्हें तीन वर्ष के अंतर से अलग-अलग कॉर्पस पर अलग-अलग शोध दलों ने परखा, लगातार एक ही परिणाम पर पहुँचती हैं, शैलीगत परंपरा से आकारित लेखन या दूसरी भाषा में लिखा गया लेखन, उस लेखन की तुलना में जिसे न तो इनमें से कोई विशेषता प्राप्त है, इन उपकरणों की दृष्टि में मशीन-निर्मित के अधिक निकट बैठता है। TextPulse के मुफ्त उपकरण किसी लेखक को यह सांख्यिकीय प्रोफ़ाइल किसी संस्था के डिटेक्टर तक पहुँचने से पहले ही जाँचने देते हैं।

स्वतंत्र साक्ष्य कि यह अंतर वास्तविक है, परीक्षण की कलाकृति नहीं

TOEFL परिणामों के साथ पहली समस्या यह है कि यह तर्क दिया जा सकता है कि वे केवल एक छोटे 2023 पायलट अध्ययन पर लागू होते हैं। इसका उत्तर उसी शोध दल ने एक अन्य अध्ययन में दिया, जिसमें ऐसे डेटा का उपयोग किया गया जिसका डिटेक्टरों से कोई संबंध नहीं है। उन्होंने ICLR 2023 में स्वीकृत 1,574 शोध-पत्रों की जाँच की, जो मशीन लर्निंग का एक प्रमुख सम्मेलन है, और नमूने को उन सारों तक सीमित किया गया जो ChatGPT के अस्तित्व में आने से पहले प्रस्तुत और समीक्षित किए गए थे।

जिन देशों में अंग्रेज़ी प्राथमिक भाषा नहीं है, वहाँ स्थित लेखकों ने ऐसे सारांश लिखे जिनकी perplexity, मूल अंग्रेज़ी-भाषी देशों में स्थित लेखकों की तुलना में, उल्लेखनीय रूप से कम थी, और यह अंतर तब भी बना रहा जब इस बात को नियंत्रित किया गया कि प्रत्येक शोधपत्र को समीक्षकों ने कितनी उच्च रेटिंग दी थी। यह नमूना किसी ऐसे व्यक्ति द्वारा आकार नहीं दिया जा सकता था जो चैटबॉट जैसा अधिक या कम सुनाई देने की कोशिश कर रहा हो। ChatGPT के जारी होने में अभी तीन महीने बाकी थे जब प्रस्तुतिकरण अवधि समाप्त हुई। मूल अंग्रेज़ी और गैर-मूल अंग्रेज़ी शैक्षणिक लेखन के बीच perplexity का अंतर detectors ने गढ़ा हुआ नहीं है। यह वह चीज़ है जिसे उन्होंने विरासत में पाया है।

AI detection के परीक्षण समस्या के रूप में 2026 का एक सांख्यिकीय विश्लेषण इसी निष्कर्ष का एक औपचारिक रूप प्रस्तुत करता है। जब भी लेखकों का कोई समूह ऐसी भाषा उत्पन्न करता है जो समष्टि स्तर पर सामान्य AI output के साथ ओवरलैप करती है, तो वास्तविक रूप से AI-written text पकड़ने की क्षमता रखने वाले किसी भी detector को विशेष रूप से उस समूह के लिए false positive rate अधिक रखनी होगी, जो किसी एक tool की कमी नहीं बल्कि विविध जनसंख्या के परीक्षण का एक गणितीय गुण है। गैर-मूल अंग्रेज़ी लेखक ठीक इसी ओवरलैप का सबसे स्पष्ट प्रलेखित मामला हैं।

दूसरी भाषा में लिखने वाले लेखकों के लिए इसका क्या अर्थ है

इसमें से कुछ भी स्वयं की तरह कम लिखने का तर्क नहीं है। यह जानने का कारण है कि score आने से पहले वास्तव में क्या मापा जा रहा है। यदि कोई detector आपके गद्य को पूर्वानुमेय मानता है, तो वह दूसरी भाषा में लेखन के एक वास्तविक सांख्यिकीय गुण को पकड़ रहा है, न कि इस बात का प्रमाण कि आपने किसी ऐसे tool का उपयोग किया जिसे आपने उपयोग ही नहीं किया।

मूल अध्ययन करने वाले Stanford शोधकर्ताओं ने अपने ही निष्कर्ष के एक असहज निहितार्थ की ओर संकेत किया है, वही vocabulary adjustment जो false positive risk को कम करता है, वह भी उस प्रकार का संशोधन है जिसे कोई लेखक पूरी तरह अलग कारणों से चाह सकता है, अधिक स्पष्ट वाक्य-विन्यास, अधिक सटीक शब्द, detector की परवाह किए बिना। ESL academic writers के लिए TextPulse का page यह बताता है कि वास्तविक वाक्यों पर इस प्रकार का संशोधन कैसा दिखता है, detection score से संबंधित किसी भी चीज़ से अलग।

नए डिटेक्टर इस पैटर्न को स्पष्ट रूप से ध्यान में रखना शुरू कर रहे हैं। Pangram, हाल के वाणिज्यिक प्रवेशकों में से एक, अपनी तकनीकी प्रलेखन में कहता है कि उसका वर्गीकार गैर-देशी अंग्रेज़ी लेखकों के विरुद्ध पक्षपाती नहीं है, हालांकि यह दावा स्वतंत्र परीक्षण के बजाय विक्रेता से आता है। एक निःशुल्क perplexity checker वही अंतर्निहित मापन दिखाता है जिसे इनमें से कोई भी उपकरण किसी लेखन-खंड से गणना करता है, बिना मसौदे को पहले कहीं भेजे।

दो व्यावहारिक सहचर उसी समूह में आते हैं: a, an और the का उपयोग कब करें, जो इस पैटर्न का सबसे सामान्य एकल स्रोत है, और अंग्रेज़ी शैक्षणिक लेखन में स्वाभाविक कैसे लगें, अधिक सामान्य रूप से।

अनुसंधान दो वर्ष बाद भी उसी दिशा में लगातार बढ़ रहा है, विभिन्न टीमों, विभिन्न डिटेक्टरों, और विभिन्न परीक्षण डिज़ाइनों के across. जो चीज़ गति से नहीं बढ़ी है, वह है व्यापक रूप से अपनाई गई संस्थागत प्रतिक्रिया: किसी भी एक लेखक पर भरोसा करने से पहले, एक डिटेक्टर का लेखकों की एक श्रेणी के विरुद्ध ऑडिट करना, न कि तब जब किसी विशिष्ट छात्र पर पहले ही आरोप लगाया जा चुका हो। जब तक यह नियमित नहीं हो जाता, झूठे फ्लैग को गलत सिद्ध करने का भार ठीक उन्हीं लेखकों पर पड़ता है, जिनके बारे में यह अनुसंधान कहता है कि उन्हें ऐसा मिलने की सबसे अधिक संभावना है।