AI Detector False Positives: मानव लेखन क्यों फ़्लैग होता है
विक्रेता false positive rates को लगभग one percent के आसपास प्रकाशित करते हैं। उन्हीं tools के independent tests, अलग-अलग writing पर, नियमित रूप से कुछ और ही पाते हैं। यहाँ बताया गया है कि वास्तव में false flag किससे trigger होता है, और एक score मौजूद होने पर उसका क्या अर्थ होता है और क्या नहीं.
1982 में, New England Journal of Medicine ने अस्थि-मज्जा प्रत्यारोपण रोगियों में साइटोमेगालोवायरस पर एक शोधपत्र प्रकाशित किया। यह सहकर्मी समीक्षा से पारित हुआ और चार दशकों तक अभिलेखागार में पड़ा रहा। 2023 में, शोधकर्ताओं ने इसे OpenAI द्वारा सार्वजनिक रूप से जारी किए गए एक AI लेखन डिटेक्टर से गुजारा, और उपकरण ने इसे 99.96 percent AI-जनित होने की संभावना वाला आँका, उस मॉडल के अस्तित्व में आने से सैंतीस वर्ष पहले जिसके द्वारा कथित रूप से यह लिखा गया था। यह AI detector false positive का सबसे शुद्ध रूप है, एक ऐसा दस्तावेज़ जिसे मशीन-लिखित के रूप में चिह्नित किया गया है, जबकि उसका मशीन-लिखित होना संभव ही नहीं है।
यह उदाहरण केवल अपने समय-निर्धारण में चरम है। अंतर्निहित पैटर्न, अर्थात् किसी भी लेखक या समय की परवाह किए बिना, सूत्रबद्ध, पूर्वानुमेय गद्य को मशीन-निर्मित मान लेना, सामान्य प्रस्तुतियों में लगातार दिखाई देता है: निबंध, कवर लेटर, प्रयोगशाला रिपोर्ट, व्यक्तिगत वक्तव्य। यह लेख बताता है कि false positive किस कारण होता है, किस प्रकार का लेखन इसके प्रति सबसे अधिक संवेदनशील है, और क्यों एक अकेला चिह्नित स्कोर वह प्रमाण नहीं है जैसा वह दिखता है।
AI Detector False Positive क्या है?
AI detector false positive मानव-लिखित पाठ का वह अंश है जिसे कोई detection tool AI-जनित के रूप में अंकित करता है। लेखक की प्रक्रिया, ईमानदारी, या कौशल के बारे में कुछ भी मापा नहीं जा रहा होता। उपकरण वाक्य के सांख्यिकीय रूप की तुलना करता है, अर्थात् शब्द-चयन और संरचना कितनी पूर्वानुमेय हैं, उस रूप से जिसे उसने मशीन आउटपुट से जोड़ना सीखा है।
विक्रेता false positive rates को एक छोटे प्रतिशत के रूप में रिपोर्ट करते हैं, आमतौर पर one or two percent से कम। वह आँकड़ा विक्रेता द्वारा बनाए गए benchmark पर किए गए एक नियंत्रित परीक्षण का वर्णन करता है, किसी भी व्यक्तिगत दस्तावेज़ के बारे में कोई गारंटी नहीं। क्या AI detectors वास्तव में accurate हैं का व्यापक प्रश्न पहले ही स्वतंत्र रूप से परखा जा चुका है, और परिणाम पूरी तरह अलग दिशा में जाते हैं, कभी-कभी किसी भी विक्रेता के आँकड़े से कहीं अधिक। यह लेख अधिक संकीर्ण विषय पर रहता है, कौन-सा लेखन इस जोखिम को बढ़ाता है, और एक चिह्नित स्कोर किसी को क्या बता सकता है और क्या नहीं।
कौन-से लेखन गुण मानव पाठ को मशीन-निर्मित जैसा दिखाते हैं
साधारण लेखन के चार प्रकार सबसे अधिक जोखिम रखते हैं, और इनमें से किसी में भी किसी व्यक्ति द्वारा कुछ गलत करना शामिल नहीं है। छोटे दस्तावेज़, अत्यधिक सूत्रबद्ध लेखन, उद्धृत या टेम्पलेट-आधारित सामग्री, और ऐसा लेखन जिसकी बहुत सावधानी से प्रूफरीडिंग की गई हो, सभी मुक्त रूप से रचित गद्य की तुलना में अधिक पूर्वानुमेय के रूप में अंकित होने की प्रवृत्ति रखते हैं, जबकि यही वह एक गुण है जिसे हर detector वास्तव में माप रहा होता है। एक free burstiness checker उसी परिवर्तनशीलता को सीधे मापता है, जो उसका वर्णन पढ़ने की तुलना में उस पैटर्न को देखने का अधिक तेज़ तरीका है।
कुछ विधाएँ स्वभाव से ही सूत्रबद्ध होती हैं। एक methods section, एक lab report, एक standard cover letter और एक literature review, सभी परंपरागत वाक्यांश को आविष्कारशील वाक्यांश पर प्राथमिकता देते हैं, क्योंकि वही परंपरा दस्तावेज़ को उसके पाठक के लिए उपयोगी बनाती है। शोधकर्ताओं ने इसे वास्तविक लेखन पर सीधे परखा, उन्होंने 1980 और 2023 के बीच प्रकाशित 14,400 journal abstracts को, जो किसी बड़े language model के अस्तित्व में आने से कई वर्ष पहले के थे, एक सार्वजनिक रूप से उपलब्ध detector से गुज़ारा। 8 percent तक को publication year की परवाह किए बिना AI-generated के रूप में चिह्नित किया गया, और New England Journal of Medicine के abstracts को 10.24 percent पर चिह्नित किया गया, जो परीक्षण किए गए पांच journals में सबसे ऊँची false positive rate थी।
यह test ChatGPT के बारे में कुछ भी detect नहीं कर सकता था, क्योंकि जिन वर्षों का उसने नमूना लिया, उनमें से अधिकांश में ChatGPT अस्तित्व में ही नहीं था। उसने genre detect किया। अधिक औपचारिक रूप से, जैसा कि detection problem के 2026 के statistical analysis में कहा जाएगा, ऐसा detector बनाने का कोई तरीका नहीं है जो उस sentence के बीच अंतर कर सके जो इसलिए predictable है क्योंकि उसे software ने लिखा था, और उस sentence के बीच जो इसलिए predictable है क्योंकि वह अपनी genre में लिखी जाने वाली चीज़ों जैसा है। बाहर से वे बिल्कुल एक जैसे दिखते हैं।
भारी संपादन भी इसी दिशा में धकेलता है। पहला मसौदा लेखक की विशिष्ट अनियमितताएँ लिए होता है, असामान्य शब्द-क्रम, वह वाक्य जो इसलिए लंबा हो जाता है क्योंकि विचार भी लंबा था। एक गहन प्रूफरीडिंग चरण, विशेषकर जब उसे किसी अन्य टूल से चलाया जाए, ठीक उन्हीं अनियमितताओं को समतल करने की प्रवृत्ति रखता है। अब तक के डिटेक्शन टूल्स के सबसे बड़े स्वतंत्र तुलनात्मक अध्ययन ने इनमें से 14 का परीक्षण किया और पाया कि, जब नमूना पाठ को पैराफ्रेज़ किया गया या मशीन-अनुवादित किया गया, तो हर टूल के लिए सटीकता और घट गई।
| लेखन-विशेषता | यह किसी दस्तावेज़ की प्रतीत होने वाली अप्रत्याशितता को क्यों घटाती है | साक्ष्य क्या दिखाते हैं |
|---|---|---|
| संक्षिप्त प्रस्तुतियाँ | कम पाठ में उस प्राकृतिक विविधता के लिए कम स्थान रहता है जो मानवीय लय को मशीन लय से अलग करती है | संक्षिप्त दस्तावेज़ों पर स्कोर कुछ असामान्य वाक्यों की ताकत के साथ अधिक बदलते हैं |
| सूत्रबद्ध या अनुशासन-विशिष्ट लेखन | विधा की परंपरा अपेक्षित वाक्यांश को आविष्कारशील वाक्यांश पर प्राथमिकता देती है | 14,400 pre-ChatGPT जर्नल सारांशों (1980 से 2023) ने फिर भी 8% तक false positives उत्पन्न किए, एक जर्नल के सारांश 10.24% तक पहुँचे |
| बहुत अधिक संपादित या पैराफ्रेज़ किए गए मसौदे | पॉलिश करने का चरण उन व्यक्तिगत अनियमितताओं को समतल कर देता है जिन्हें एक डिटेक्टर मानवीय मानता है | एक स्वतंत्र 14-tool तुलना में पाया गया कि पैराफ्रेज़िंग या मशीन अनुवाद के बाद सटीकता और घट गई |
| उद्धृत या टेम्पलेट-आधारित सामग्री | उद्धृत अंश अपने स्रोत की सांख्यिकीय छाप लिए होता है, उद्धृत करने वाले लेखक की नहीं | जो डिटेक्टर उद्धरणों को बाहर नहीं करते, वे आसपास के दस्तावेज़ को उधार लिए गए पाठ के आधार पर अंक देते हैं |
अपने पेपर को मानवीय बनाइए
अपने AI-सहायता प्राप्त पाठ को रूपांतरित करें और उसे मानवीय ध्वनि दें, महत्वपूर्ण शब्दों या उद्धरणों को छेड़े बिना।
प्रकाशित दरें और वास्तविक-जगत की दरें क्यों मेल नहीं खातीं
हर प्रमुख डिटेक्टर लगभग एक प्रतिशत या उससे कम की false positive rate प्रकाशित करता है। उन्हीं टूल्स के स्वतंत्र परीक्षण, जो अलग-अलग दस्तावेज़ों पर और अलग-अलग परिस्थितियों में किए गए, नियमित रूप से इससे कहीं अधिक दर रिपोर्ट करते हैं, कभी-कभी दस गुना या उससे भी अधिक। दोनों आँकड़े सही हो सकते हैं और फिर भी लगभग कुछ भी समान नहीं दर्शाते, क्योंकि वे एक ही चीज़ को माप नहीं रहे होते।
Turnitin एक उपयोगी उदाहरण है, ठीक इसलिए क्योंकि यह अधिकांश प्रतिस्पर्धियों की तुलना में अधिक विवरण प्रकाशित करता है: दस्तावेज़ स्तर पर 1 प्रतिशत से कम की false positive दर, बशर्ते किसी submission का 20 प्रतिशत से अधिक भाग AI-written के रूप में चिह्नित किया गया हो, साथ ही कंपनी का यह कथन कि वास्तविक दुनिया के परिणाम उसके अपने प्रयोगशाला परीक्षण से भिन्न होते हैं। Washington Post ने 2023 में 16 वास्तविक दस्तावेज़ों को उसी tool से गुज़ारा और पाया कि आधे से अधिक कम से कम आंशिक रूप से गलत पहचाने गए, जिसमें एक पूरी तरह human-written निबंध भी शामिल था जिसे आंशिक रूप से AI-generated चिह्नित किया गया था। इनमें से कोई भी संख्या गढ़ी हुई नहीं है। वे अलग-अलग नमूनों, अलग-अलग thresholds, और इस बात की अलग-अलग परिभाषाओं से आती हैं कि किसे flag माना जाए।
उसी अंतर का पता पूरे उद्योग में चलता है, केवल एक company पर नहीं। 14 tools की उस तुलना में पाया गया कि उनमें से हर एक कुल मिलाकर 80 percent accuracy से कम रहा, और 14 में से 6 ने किसी भी paraphrasing के आने से पहले, अपरिवर्तित human writing पर false positive दिया। प्रकाशित संख्या एक benchmark का वर्णन करती है। यह उस दस्तावेज़ का वर्णन नहीं करती जो अभी किसी professor के सामने पड़ा है।
क्यों एक आत्मविश्वासी score, एक आत्मविश्वासी आरोप नहीं है
False positive rate सुनने में ऐसा लगता है कि यह इस संभावना को संदर्भित करता है कि समस्या के रूप में चिह्नित कोई एक student निर्दोष हो। लेकिन नहीं। यह बताता है कि test उसे लेने वाले सभी लोगों के लिए कैसे काम करता है। और ये अलग प्रश्न हैं, जिनके उत्तर भी अलग हैं, ठीक वैसे ही जैसे medicine या security में किसी भी screening test के साथ होता है।
Griffith University के एक researcher द्वारा March 2026 में की गई statistical analysis अंतर्निहित mathematics को स्पष्ट करती है। AI detection को एक test मानिए जो student writers की population पर लागू किया गया है, न कि किसी एक अलग दस्तावेज़ पर, और तब एक trade-off सामने आता है: जब भी उस population का कुछ हिस्सा ऐसे तरीके से लिखता है जो स्वाभाविक रूप से typical AI output, genre convention, या second-language learner's range से मेल खाता है, तो AI-written work को पकड़ने की वास्तविक शक्ति वाला कोई भी detector उस overlapping हिस्से के कुछ मामलों में गलत परिणाम देगा। यह किसी विशिष्ट detector के खराब बने होने का दावा नहीं है। यह एक विविध population को एक ही document और किसी अन्य evidence के बिना test करने की विशेषता है।
पेपर का अपना उदाहरण इसमें शामिल पैमाने को दिखाता है। मान लीजिए कि एक छात्र आबादी का 10 percent हिस्सा ऐसी लेखन शैली में लिखता है जो सामान्य AI आउटपुट के काफ़ी करीब है, और एक detector को वास्तविक AI-लिखित कार्य के 80 percent को पकड़ने के लिए समायोजित किया गया है। तब गणित के अनुसार उस आबादी में औसत false positive rate कम से कम 7.5 percent होना चाहिए। यह detector की engineering में कोई दोष नहीं है, बल्कि इस बात का प्रत्यक्ष परिणाम है कि उस समूह का लेखन सांख्यिकीय रूप से उस चीज़ से कितना अधिक overlap करता है जिसे detect किया जा रहा है।
10,000 छात्रों वाले एक विश्वविद्यालय पर लागू करने पर, केवल यह lower bound ही पूरी आबादी में लगभग 750 false flags का संकेत देता है, जो बिना किसी अन्य साक्ष्य को तौलने के, विविध आबादी का एक ही document के विरुद्ध परीक्षण करने का गणितीय परिणाम है। पेपर का लेखक स्पष्ट करता है कि ये विशेष आंकड़े किसी वास्तविक संस्थान में मापे गए नहीं, बल्कि illustrative हैं। यह उदाहरण किसी एक campus के लिए किसी विशिष्ट prediction के बजाय समस्या के स्वरूप को दिखाता है।
इसमें से कुछ भी यह नहीं कहता कि flagged score निरर्थक है। इसका अर्थ यह है कि score एक कमजोर, population-level signal है, जिसे एक single individual के बारे में प्रश्न का उत्तर देने के लिए कहा जा रहा है, और यह ऐसा mismatch है जिसे vendor की किसी भी polish से अपने आप पूरी तरह दूर नहीं किया जा सकता। एक जिम्मेदार reading इस संख्या को बेहतर साक्ष्य जुटाने के संकेत के रूप में लेती है, drafts, version history, और किसी व्यक्ति के वास्तव में कुछ लिखने का सामान्य paper trail। TextPulse's free tools एक writer को यह जाँचने देते हैं कि कोई draft इन same measurements पर अभी कहाँ स्थित है, इससे पहले कि कोई और ऐसा करे, जो इस technology का एक अलग उपयोग है, किसी specific detector को defeat करने की कोशिश से अलग।
कौन से लेखक सबसे अधिक जोखिम का सामना करते हैं
अनुसंधान दो ऐसे समूहों को दिखाता है जो अन्य सभी की तुलना में अधिक उभरकर सामने आते हैं, वे लोग जो दूसरी भाषा में लिख रहे हैं, और वे लोग जो स्वभाव से बहुत structured या repetitive writers हैं, ऐसे कारणों से जो इस बात से संबंधित नहीं हैं कि उन्होंने अपना essay कैसे लिखा। इन दोनों प्रकार के writers उसी statistical signature पर दिखाई देते हैं जिसे पकड़ने के लिए detector बनाया गया है।
गैर-देशी अंग्रेज़ी बोलने वालों पर सबसे बड़ा प्रलेखित जोखिम पड़ता है। स्वतंत्र परीक्षणों ने बार-बार पाया है कि डिटेक्टर धाराप्रवाह दूसरी भाषा में लिखे गए अकादमिक लेखन को मशीन-जनित मानकर native लेखन की तुलना में कहीं अधिक दर से गलत पढ़ते हैं। TextPulse का ESL अकादमिक लेखकों के लिए पृष्ठ इस जोखिम के पीछे की प्रक्रिया को अधिक विस्तार से समझाता है, जिसमें यह भी शामिल है कि कौन से वाक्य-रचना पैटर्न इसके लिए जिम्मेदार हैं।
एक दूसरा, कम चर्चा में आने वाला समूह एक संबंधित समस्या का सामना करता है। शोधकर्ताओं ने लगभग 60,000 Reddit पोस्टों की तुलना की, जिन्हें एक ऐसे उपसमूह और एक सामान्य नमूने में विभाजित किया गया था, जिसे संभवतः autistic लेखकों द्वारा लिखा गया माना गया, और दोनों को GPT-2-आधारित डिटेक्टर से गुजारा। दोनों समूह कुल मिलाकर 2 percent से नीचे flagged रहे, लेकिन संभवतः autistic उपसमूह को सामान्य नमूने की तुलना में उल्लेखनीय रूप से अधिक दर से flagged किया गया। ऐसा लेखन जो शाब्दिक, दोहरावदार, कड़ाई से पैटर्नबद्ध वाक्य-रचना की ओर झुकता है, जो कुछ autistic संचार शैलियों की एक प्रलेखित विशेषता है, ठीक वही कम-परिवर्तनशील पाठ उत्पन्न करता है जिसे डिटेक्टर पकड़ने के लिए बनाया गया है।
दो विक्रेता दावे की जाँच के लिए पर्याप्त जानकारी प्रकाशित करते हैं। Turnitin की अपनी false positive rate अलग से प्रस्तुत की गई है, और ZeroGPT की accuracy को उसकी अपनी पृष्ठ पर देखा गया है। ये त्रुटियाँ सबसे कठोर रूप से किन पर पड़ती हैं, यह एक अलग प्रश्न है, और गैर-देशी अंग्रेज़ी लेखकों को अधिक बार क्यों flagged किया जाता है इसका अपना उत्तर है।
इनमें से कुछ भी जल्द सरल होने की संभावना नहीं है। डिटेक्टर वास्तव में मशीन-लिखित पाठ को पकड़ने में सुधार करते रहेंगे, और जनसंख्या की विविधता false accusation की कुछ ऐसी दर उत्पन्न करती रहेगी जिसे केवल बेहतर engineering से पूरी तरह समाप्त नहीं किया जा सकता। अधिक उपयोगी परिवर्तन कुछ संस्थानों में पहले से हो रहा है, score को बातचीत की शुरुआत मानना, न कि उसका अंत, और यह पूछना कि प्रकाशित rate वास्तव में किस जनसंख्या पर परीक्षण की गई थी, इससे पहले कि यह माना जाए कि वह उनके सामने मौजूद दस्तावेज़ पर लागू होती है।
Frequently Asked Questions
एक AI detector false positive वह human-written text है जिसे detection tool गलती से AI-generated के रूप में score करता है। ऐसा इसलिए होता है क्योंकि detectors यह मापते हैं कि कोई passage कितना predictable है, यह नहीं कि उसे किसने लिखा। जो writing short, formulaic, heavily edited, या second language में लिखी गई हो, वह अक्सर ऐसे कारणों से predictable लगती है जिनका authorship से कोई संबंध नहीं होता, और यही flag trigger करने के लिए पर्याप्त है.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.