AI Detection

AI डिटेक्टर कैसे काम करते हैं? Perplexity, Burstiness और Token Probability

AI डिटेक्टर मशीन-लेखन को उस तरह नहीं पहचानते जैसे कोई पाठक करता है। वे यह मापते हैं कि आपका पाठ कितना पूर्वानुमेय है, फिर उसे एक अंक में बदल देते हैं। यह समझ आते ही, तकनीक और उसकी विफलताएँ, दोनों अधिक अर्थपूर्ण लगती हैं।

अद्यतन दिनांक 12 min
Diagram showing how AI detectors work by scoring token predictability across a sentence

आपके विश्वविद्यालय ने प्रस्तुतियों को एक AI detector से जाँचना शुरू कर दिया है, और एक रिपोर्ट में एक ऐसा अंक आया है जिसकी आपको अपेक्षा नहीं थी। उसे चुनौती देने की कोशिश करने से पहले, यह जानना उपयोगी है कि उस अंक का अर्थ क्या है। AI detectors कैसे काम करते हैं? वे मशीन-लिखित पाठ को वैसे नहीं पढ़ते जैसे कोई व्यक्ति पढ़ता है। वे मापते हैं कि आपका पाठ किसी भाषा मॉडल के लिए कितना पूर्वानुमेय है, फिर उस पूर्वानुमेयता को एक स्कोर में बदल देते हैं। उस प्रक्रिया में कुछ भी यह नहीं देखता कि आपका आशय क्या है, आपका तर्क क्या है, या क्या आपने वास्तव में वह चीज़ लिखी है।

मैंने वर्षों तक ऐसे उपकरण बनाने में समय लगाया है जो पाठ को सांख्यिकीय रूप से विश्लेषित करते हैं, और detection के बारे में समझने के लिए सबसे उपयोगी एकमात्र बात यह है: यह सामान्यता का मापन है, उत्पत्ति का नहीं। यह बात समझ में आते ही, तकनीक और उसकी विफलताएँ, दोनों बहुत अधिक अर्थपूर्ण लगने लगती हैं।

एक detector वास्तव में किस चीज़ को माप रहा है

एक detector को यह नहीं पता होता कि कुछ किसने लिखा। उसके पास जो होता है, वह एक भाषा मॉडल और एक scoring function है। मॉडल आपके पाठ को बाएँ से दाएँ पढ़ता है, और हर बिंदु पर यह इस बात का probability distribution बनाता है कि अगला शब्द क्या होना चाहिए। यदि आप उसे "the results of the" शब्द दें, तो वह "study" को सबसे ऊपर रखेगा, "experiment" को थोड़ा नीचे, और "marmalade" को लगभग शून्य के पास कहीं रखेगा।

इसलिए detector आपके दस्तावेज़ से एक प्रश्न पूछता है: इस पाठ ने कितनी बार उस शब्द को चुना जिसकी अपेक्षा मॉडल ने की थी? जो लेखन बार-बार उच्च-probability शब्दों पर आकर टिकता है, वह मशीन-निर्मित जैसा दिखता है, क्योंकि यही ठीक वही है जो एक text generator करता है। मॉडल अपनी ही distribution के शीर्ष से बार-बार, हज़ारों tokens के लिए, नमूना लेता है।

यही कारण है कि यह पूरी श्रेणी marketing के दावे की तुलना में अधिक अस्थिर आधार पर खड़ी है। एक detector कोई watermark या fingerprint नहीं खोज रहा होता। वह केवल यह देख रहा होता है कि आपका गद्य सांख्यिकीय रूप से अप्रत्याशित नहीं है, और अप्रत्याशित न होने वाले गद्य के कारण chatbot के अलावा भी बहुत से हो सकते हैं।

Perplexity: मॉडल कितना चकित होता है

मुख्य माप को perplexity कहा जाता है, जो सुनने में जितना कठिन लगता है, उससे आसान है। मॉडल ने वास्तव में आए प्रत्येक शब्द को जो संभावना दी, उसे लें, उन संभावनाओं के लघुगणकों का औसत निकालें, और परिणाम का घात लें। इससे एक ही संख्या प्राप्त होती है, जो बताती है कि आपका दस्तावेज़ मॉडल के लिए कितना अप्रत्याशित था। आप अनुमान लगाने के बजाय अपने मसौदे की perplexity जाँच सकते हैं

कम perplexity का अर्थ है कि पाठ उसी दिशा में गया जिसकी मॉडल को अपेक्षा थी। अधिक perplexity का अर्थ है कि वह ऐसे मोड़ लेता रहा जिनकी मॉडल को अपेक्षा नहीं थी। मानव लेखन सामान्यतः अधिक ऊपर होता है, क्योंकि लोग असामान्य विशिष्ट संज्ञा, असामान्य संरचना, या ऐसे वाक्य की ओर जाते हैं जो किसी अप्रत्याशित स्थान से शुरू होता है। उत्पन्न पाठ सामान्यतः नीचे होता है, क्योंकि decoding प्रक्रिया ठीक ऐसे ही कदमों से बचने के लिए बनाई गई है।

विधि अनुभाग की शुरुआत करने के दो तरीकों की तुलना करें। "The results of the study were statistically significant" एक ऐसी अनुक्रम है जिसकी उच्च confidence के साथ लगभग कोई भी model भविष्यवाणी कर सकता है, क्योंकि इसमें कोई अप्रत्याशित जानकारी नहीं है। "Two of the three cohorts drifted before week six, which we had not planned for" कहीं कम पूर्वानुमेय है, क्योंकि इसमें विशिष्ट, असुविधाजनक जानकारी है, जिसका अनुमान paper के बाकी हिस्से से नहीं लगाया जा सकता था। दूसरे वाक्य में detector को वास्तविक surprise की लागत आती है, और वही surprise human के रूप में दर्ज होता है।

Burstiness, औसत नहीं, विचरण

केवल perplexity पर्याप्त नहीं है, क्योंकि कोई दस्तावेज़ औसतन पूरी तरह उचित संख्या दे सकता है, जबकि भीतर से वह संदिग्ध रूप से एकसमान हो सकता है। महत्वपूर्ण है आपके पाठ में होने वाला variation, और burstiness उसी को मापता है, अर्थात लेखन के आगे बढ़ने के साथ sentence length और sentence-level perplexity कितना बदलते हैं। एक burstiness checker यह spread आपको सीधे दिखाएगा।

जब हम आश्वस्त होते हैं तो गति बढ़ा लेते हैं, और जब हम सावधानी से बोल रहे होते हैं तो धीमे हो जाते हैं, और वही rhythm prose में भी बना रहता है। लोग bursts में लिखते हैं। एक paragraph आठ शब्दों के छोटे declarative sentence से शुरू हो सकता है, फिर एक ऐसे तीस-चार शब्दों वाले sentence तक जा सकता है जिसमें तीन clauses और एक parenthetical हो, और फिर वापस किसी brisk वाक्य पर आ सकता है।

मॉडल आउटपुट यह काम विश्वसनीय रूप से नहीं करता। वाक्य औसत लंबाई के आसपास समूहित हो जाते हैं। अनुच्छेद सुव्यवस्थित गुच्छों में आते हैं। प्रत्येक खंड अपने ही शीर्षक को दोहराकर शुरू होता है। यह सहज रूप से पढ़ा जाता है और खराब अंक प्राप्त करता है, क्योंकि वाक्यों के बीच कम विचरण एक डिटेक्टर के पास उपलब्ध सबसे मजबूत संकेतों में से एक है। इसे उजागर करने वाला कोई एकल वाक्य नहीं होता। यह एकरूपता होती है।

संकेतयह क्या मापता हैमशीन-लिखित पाठ का अंक कम क्यों होता है
Perplexityआपके शब्द-चयन से मॉडल कितना आश्चर्यचकित होता है, पूरे दस्तावेज़ पर औसतितडिकोडिंग, उच्च-प्रायिकता वाले टोकनों से नमूना लेती है, यह डिज़ाइन का भाग है
Burstinessपाठ में वाक्य-लंबाई और पूर्वानुमेयता कितनी बदलती हैआउटपुट औसत के पास समूहित हो जाता है, झूलता नहीं है
Token probabilityप्रति-शब्द वह संभाव्यता जिससे अन्य दो की गणना की जाती हैव्यक्तिगत रूप से साधारण प्रतीत होने वाले विकल्पों की लंबी शृंखलाएँ

Token probability और अंक कहाँ से आता है

इन दोनों संख्याओं का निर्माण एक तीसरी संख्या से होता है, प्रति-टोकन log-likelihood, वही कच्चा पदार्थ जिससे बाकी सब की गणना की जाती है। कुछ उपकरण इसे सीधे दिखाते हैं, और उन अंशों को उभारते हैं जहाँ आपका पाठ सबसे अधिक पूर्वानुमेय था। वे उभार किसी विशिष्ट वाक्य के बारे में आरोप नहीं हैं, चाहे इंटरफ़ेस कुछ भी संकेत दे। वे वे हिस्से हैं जिन्होंने दस्तावेज़-स्तर की संख्या में सबसे अधिक योगदान दिया।

अनुसंधान-पद्धतियाँ साधारण thresholds से आगे बढ़ चुकी हैं। DetectGPT और उसके उत्तराधिकारी curvature को देखते हैं, वे आपके पाठ में थोड़ा perturb करते हैं और जाँचते हैं कि क्या likelihood उस पैटर्न में घटती है जिसे generated text सामान्यतः दिखाता है। अन्य तरीके उसी अंश की तुलना दो अलग-अलग models के अंतर्गत करते हैं और disagreement को एक संकेत के रूप में उपयोग करते हैं।

एक परिणाम किसी भी मूल्यांकित व्यक्ति के लिए महत्वपूर्ण है। क्योंकि मापदंड किसी विशेष संदर्भ मॉडल के विरुद्ध गणना किए जाते हैं, इसलिए एक स्कोर हमेशा उस मॉडल के सापेक्ष होता है। दो डिटेक्टर एक ही अनुच्छेद को पढ़कर पूरी तरह असहमत हो सकते हैं, और उनमें से कोई भी खराबी पर नहीं होता। वे अलग-अलग संदर्भ बिंदुओं के साथ एक ही प्रश्न का उत्तर दे रहे होते हैं।

दूसरा परिणाम कम बार उल्लेखित होता है। कोई मॉडल किसी अंश को तभी पूर्वानुमेय मान सकता है जब वह अंश उस सामग्री से मिलता-जुलता हो जिस पर उसे प्रशिक्षित किया गया था, इसलिए जैसे-जैसे संदर्भ मॉडल और पाठ उत्पन्न करने वाली किसी भी प्रणाली के बीच अंतर बढ़ता है, पहचान की गुणवत्ता घटती जाती है। नए जनरेटर, असामान्य विषय-विषयक क्षेत्र, और English के अलावा अन्य भाषाएँ, सभी उस अंतर को बढ़ाती हैं। यही कारणों में से एक है कि नियंत्रित बेंचमार्क में मापी गई सटीकता वास्तविक प्रस्तुतियों के ढेर के संपर्क में आने पर शायद ही बनी रहती है।

अपने पेपर को मानवीय बनाइए

अपने AI-सहायता प्राप्त पाठ को रूपांतरित करें और उसे मानवीय ध्वनि दें, महत्वपूर्ण शब्दों या उद्धरणों को छेड़े बिना।

मुफ़्त में शुरू करें

AI पाठ का पता आखिर क्यों चलता है

एक भाषा मॉडल अपना अगला शब्द कैसे चुनता है

अपने आप छोड़ दिए जाने पर, एक भाषा मॉडल केवल संभावित अगले शब्दों की अपनी पूरी क्रमबद्ध सूची प्रस्तुत करेगा और किसी और को चयन करने देगा। व्यवहार में, एक डिकोडिंग रणनीति यह चयन स्वतः, शब्द दर शब्द, करती है, और कौन-सी रणनीति चल रही है, यह आउटपुट के रूप को बदल देती है, भले ही अंतर्निहित मॉडल कभी न बदले।

Greedy decoding हमेशा सबसे अधिक संभाव्य एकल शब्द का चयन करता है। जिस पेपर ने nucleus sampling को एक समाधान के रूप में प्रस्तुत किया था, उसमें Ari Holtzman और सहलेखकों ने देखा कि इस रणनीति का पालन करने से ऐसा पाठ बनता है जो, उनके अपने शब्दों में, 'निरस और अजीब तरह से दोहरावपूर्ण' होता है। Beam search, जो एक साथ कई संभावित निरंतरताओं को ट्रैक करता है और फिर एक पर ठहरता है, उसी समस्या के एक समान रूप में फँस जाता है।

Sampling रणनीतियाँ कुछ यादृच्छिकता फिर से जोड़ती हैं, लेकिन नियंत्रित तरीके से। Temperature यह समायोजित करता है कि कोई शब्द चुने जाने से पहले मॉडल अपनी शीर्ष पसंदों को कितनी तीव्रता से प्राथमिकता देता है। Nucleus sampling, जिसे कभी-कभी top-p कहा जाता है, वितरण को उन शब्दों के सबसे छोटे समूह तक सीमित कर देता है जिनकी संयुक्त प्रायिकता एक सीमा को पार करती है, और केवल उसी समूह से चयन करता है, जिसे मूल पेपर में वितरण के अविश्वसनीय tail के बजाय उसके गतिशील nucleus से sampling के रूप में वर्णित किया गया है।

यहाँ तक कि इन सेटिंग्स में सबसे कम deterministic विकल्प भी उस shortlist से ही चुनता है, जो इस आधार पर बनाई गई होती है कि model पहले से क्या likely मानता है। Human writing कभी भी vocabulary को rank करके और उसके शीर्ष से चुनकर उत्पन्न नहीं हुई थी, इसलिए वह लगातार उस shortlist से आगे जाती रहती है। अर्थ कभी-कभी उस शब्द में रहता है जो सूची में कभी था ही नहीं।

Vocabulary Flatness: कम, अधिक सुरक्षित शब्द

Vocabulary flatness उसी आदत का word-level रूप है। किसी वाक्य के हर बिंदु पर, दर्जनों शब्द उसे plausibly आगे बढ़ा सकते हैं, लेकिन उनमें से कुछ model की ranking में बाकी सब से बहुत ऊपर होते हैं, और decoding बार-बार उसी कुछ शब्दों पर आकर रुकती है। इस चयन को दस्तावेज़ के हर वाक्य पर लागू करने से, वास्तव में प्रयुक्त शब्दों की सीमा, समान लंबाई की human writing की तुलना में, मापनीय रूप से संकुचित हो जाती है।

इसका प्रभाव स्थिर नहीं रहता, बल्कि एकत्रित होता जाता है। जो model पहले वाक्य में शीर्ष-ranked शब्द चुनता है, उसके लिए यह अधिक संभव हो जाता है कि वह ऐसा context बनाए जिसमें दूसरे वाक्य में भी शीर्ष-ranked शब्द सामान्य हो, क्योंकि सामान्य शब्दों के बाद सामान्य शब्द आने की प्रवृत्ति होती है। Human writer इस drift को लगातार बाधित करता है, विशिष्ट technical term, थोड़ा असामान्य verb, या वह शब्द चुनता है जो वास्तविक वस्तु का नाम देता है, न कि उसका सुरक्षित अनुमान। यह अंतर generated version में working vocabulary के मापनीय रूप से छोटे होने के रूप में दिखाई देता है, भले ही दोनों versions वही मूल तथ्य वर्णित करते हों।

यह पूरे passage का गुण है, किसी एक शब्द-चयन का नहीं। एक सुरक्षित शब्द कुछ सिद्ध नहीं करता। ऐसे शब्दों का एक पृष्ठ, जिसमें वाक्य दर वाक्य common vocabulary के उसी rank की ओर झुकाव हो, वही है जिसे detector का word-level signal वास्तव में पहचानने के लिए बनाया गया है।

Syntactic Uniformity: वही आकृतियाँ, बार-बार

Syntactic uniformity sentence-level रूप है। यह इस बारे में नहीं है कि कोई वाक्य कितना लंबा चलता है। यह इस बारे में है कि passage कितनी distinct grammatical shapes का उपयोग करता है, वाक्य कैसे शुरू होते हैं, clauses एक-दूसरे से कैसे जुड़ते हैं, और एक idea को अगले से जोड़ने का काम transition word कितनी बार करता है। जो model statistically likely अगली structure की भविष्यवाणी करता रहता है, वह shapes के एक छोटे rotation में स्थिर हो जाता है और उसे दोहराता है।

एक अनुच्छेद अपने वाक्य-लंबाइयों में भिन्नता ला सकता है और फिर भी वाक्यात्मक रूप से समतल पढ़ा जा सकता है, यदि हर वाक्य वही कर्ता-क्रिया-पूरक संरचना अपनाए, उसी प्रकार के संक्रमण से शुरू हो, या उसी तरह समाप्त हो। पूर्वानुमेयता पैटर्न में रहती है, शब्द-संख्या में नहीं, एक भेद जिसकी अधिक विस्तार से चर्चा burstiness वास्तव में क्या मापता है के मार्गदर्शक में की गई है।

क्या संकुचित करता हैडिकोडिंग-अनुकूलित पाठ सामान्यतः क्या करता हैमानव लेखन सामान्यतः क्या करता है
शब्द-चयनहर चरण पर सबसे संभाव्य सामान्य शब्द पर टिक जाता हैउस विशिष्ट या कम सामान्य शब्द की ओर जाता है जो वास्तविक वस्तु का नाम लेता है
वाक्य-आरंभसुरक्षित संक्रमणात्मक आरंभों के एक छोटे चक्र को दोहराता हैवाक्य की शुरुआत करने के तरीके में विविधता लाता है, उन आरंभों सहित जिन्हें एक मॉडल कम संभाव्य मानेगा
उपवाक्य-संरचनाएक अनुच्छेद में एक या दो पसंदीदा व्याकरणिक आकृतियों को दोहराता हैइस पर निर्भर करते हुए कि किसी वाक्य को क्या चाहिए, सरल और जटिल संरचनाओं का मिश्रण करता है

वे विकल्प जिन्हें केवल एक मनुष्य लेने की प्रवृत्ति रखता है

एक संकीर्ण दायरे का दूसरा पक्ष वह है जो उससे बाहर पड़ता है। वास्तविक घटनाओं का वर्णन करने वाला व्यक्ति सटीक संख्या की ओर जाता है, गोल संख्या की ओर नहीं, उस हिस्से को स्वीकार करता है जो काम नहीं कर पाया, बीच विचार में उसे सुधारने के लिए वाक्य को रोक देता है, या ऐसा शब्द चुनता है जो सामान्य होने के बजाय सही हो। इन प्रत्येक विकल्पों में, भाषा मॉडल के दृष्टिकोण से, एक कम-प्रायिकता टोकन होता है, ठीक वही प्रकार जिसे decoding टालने के लिए बनाया गया है।

इसका अर्थ यह नहीं है कि विशिष्ट या असामान्य लेखन हर प्रकार के चिह्न से सुरक्षित है, या यह कि प्रवाहपूर्ण, सही लेखन डिफ़ॉल्ट रूप से संदिग्ध है। किसी विधि-खंड, किसी कानूनी उपवाक्य, या किसी अत्यधिक संपादित अंतिम मसौदे का एक संकीर्ण दायरे में आ जाना ऐसे कारणों से हो सकता है जिनका किसी मॉडल से कोई संबंध नहीं है, और इसी कारण एकल स्कोर किसी पैटर्न का वर्णन है, न कि इस बात का निर्णय कि उसे किसने टाइप किया।

यह देखना कि आपका अपना मसौदा उस दायरे में कहाँ आता है, अनुमान लगाने से अधिक उपयोगी है। TextPulse का free perplexity checker और burstiness checker शब्द-स्तरीय पूर्वानुमेयता और वाक्य-दर-वाक्य लय को अलग-अलग मापते हैं, इसलिए एक सपाट शब्दावली और दोहराई गई वाक्य संरचना एक मिश्रित संख्या के बजाय दो अलग संकेतों के रूप में दिखाई देती है।

इससे दो अधिक संकीर्ण पृष्ठ निकलते हैं। Turnitin AI को विशेष रूप से कैसे पहचानता है एक है, और इसके similarity score और इसके AI score के बीच का अंतर दूसरा है, क्योंकि इन दोनों को नियमित रूप से एक-दूसरे के साथ भ्रमित किया जाता है।

दोनों व्यापक free tools collection के भीतर आते हैं, उन सभी के लिए जो केवल एक संख्या पर अंधविश्वास करने के बजाय स्वयं पैटर्न देखना चाहते हैं।

अब वेब का कितना भाग AI-generated है?

कई मापों के अनुसार, मशीन-निर्मित पाठ अब ऑनलाइन मानव-लिखित पाठ से अधिक है। Amazon Web Services की एक टीम ने वेब से 6.4 billion sentences का विश्लेषण किया और पाया कि 57.1% तीन या अधिक भाषाओं में machine translations के रूप में मौजूद थे, जिनमें से बहुत-सा निम्न गुणवत्ता का था। SEO firm Graphite के 2025 के विश्लेषण में पाया गया कि हाल ही में प्रकाशित web articles में आधे से थोड़ा अधिक AI generated थे। Wikipedia भी इससे मुक्त नहीं है: August 2024 में बनाए गए पृष्ठों के Princeton अध्ययन ने लगभग हर बीस में से एक नए English article को पर्याप्त रूप से AI-generated मापा।

यह हिस्सा बढ़ रहा है, क्योंकि model output की लागत human writing की तुलना में कई गुणा कम है और हर व्यावसायिक प्रोत्साहन उसी दिशा में संकेत करता है। अब पूरे platforms बिना human writers के भी चल रहे हैं: Chirper एक social network है जो पूरी तरह AI accounts से भरा हुआ है, जहाँ humans केवल देख सकते हैं, और SocialAI एक ऐसा feed बेचता है जिसमें आपको मिलने वाली हर reply एक bot होती है। Forums, review sections और comment threads छोटे पैमाने पर वही pattern दिखाते हैं।

पता लगाने के लिए यह आधार दर को बदल देता है। 2023 में मनमाने वेब पाठ को पढ़ने वाला एक वर्गीकारक यह मान सकता था कि उसका अधिकांश भाग मानव-लिखित है, 2026 में एक वर्गीकारक ऐसा नहीं कर सकता। यह स्वयं मॉडलों में भी प्रतिपुष्टि करता है, क्योंकि प्रत्येक नई पीढ़ी ऐसे वेब पर प्रशिक्षण लेती है जिसे उसकी पूर्ववर्ती पीढ़ियों ने पहले ही उसमें लिख दिया था, और यही एक कारण है कि डिटेक्टर जिन शब्दावली-आदतों पर ध्यान देते हैं, वे लुप्त होने के बजाय फैलती हैं।

आपके अपने लेखन के लिए इसका परिणाम सीधा है: मानव-लिखित गद्य अब अल्पसंख्यक वर्ग बनता जा रहा है, और मूल्यांकनकर्ता, संपादक तथा पाठक यह जानते हैं। बढ़ा हुआ संदेह अब डिफ़ॉल्ट है, और यही कारण है कि यह समझना उपयोगी है कि एक डिटेक्टर क्या माप सकता है और क्या नहीं।

व्यावसायिक डिटेक्टर ऊपर से क्या जोड़ते हैं

संस्थाएँ वास्तव में जो उपकरण खरीदती हैं, वे पाठ्यपुस्तकीय perplexity नहीं चलाते। Turnitin, GPTZero, Originality.ai और अन्य बड़े लेबलयुक्त मानव और मशीन पाठ-संग्रहों पर पर्यवेक्षित वर्गीकारक प्रशिक्षित करते हैं, और सांख्यिकीय विशेषताओं के साथ-साथ शैलीगत विशेषताओं का उपयोग करते हैं। वर्गीकारक जो सीखता है, वह उसके प्रशिक्षण डेटा में उन दो ढेरों को अलग करने वाली कोई भी बात होती है, जो सामान्य रूप से "AI लेखन" की तुलना में अधिक संकीर्ण और अधिक ऐतिहासिक चीज़ है।

प्रशिक्षण-निर्भरता शांत समस्या है। मुख्यतः मॉडल-आउटपुट की एक पीढ़ी पर प्रशिक्षित वर्गीकारक को नए मॉडलों, अपरिचित विषयों, और ऐसे लेखकों पर सामान्यीकरण करना पड़ता है जिनकी अंग्रेज़ी उसके प्रशिक्षण-वितरण जैसी नहीं है। विक्रेता अपने स्वयं के मूल्यांकनों से शुद्धता के आँकड़े प्रकाशित करते हैं, और स्वतंत्र बेंचमार्क नियमित रूप से उन्हीं उपकरणों पर उन संख्याओं से काफी नीचे आते हैं।

स्कोर को अधिक पढ़े बिना पढ़ना

एक डिटेक्टर रिपोर्ट सामान्यतः प्रतिशत के रूप में आती है, और उस प्रतिशत की नियमित रूप से गलत व्याख्या की जाती है। यह आपके दस्तावेज़ का वह अनुपात नहीं है जो मशीन द्वारा लिखा गया है। उपकरण के अनुसार यह वर्गीकारक का विश्वास-स्तर हो सकता है, या उन वाक्यों का हिस्सा हो सकता है जो किसी आंतरिक सीमा को पार कर गए हों, और विक्रेता अक्सर इस बारे में अस्पष्ट रहते हैं कि कौन-सा। दो रिपोर्टें, दोनों में साठ प्रतिशत दिखना, काफी अलग अर्थ रख सकता है।

यह जानना भी उपयोगी है कि किसी स्कोर में ऐसे कारणों से क्या बदलाव आता है जिनका लेखक से कोई संबंध नहीं होता। छोटे दस्तावेज़ अधिक शोरयुक्त होते हैं, क्योंकि औसत के स्थिर होने के लिए कम पाठ उपलब्ध होता है, और पांच सौ शब्दों का निबंध दो या तीन असामान्य वाक्यों के बल पर काफी ऊपर नीचे हो सकता है। उद्धृत सामग्री भी गिनी जाती है, जब तक कि उपकरण उसे हटा न दे, इसलिए block quotes से भरी साहित्य समीक्षा उसी की पूर्वानुमेयता को अपना लेती है जिसे वह उद्धृत करती है। मानक शब्दावली से भरा तकनीकी अंश भी इसी तरह व्यवहार करता है।

यदि आपके विरुद्ध कोई flag लगाया गया है, तो उपयोगी प्रतिक्रिया मीट्रिक पर बहस नहीं, बल्कि साक्ष्य है। संस्करण इतिहास, प्रारूप, नोट्स और खोज अभिलेख सभी प्रक्रिया की ओर संकेत करते हैं, और प्रक्रिया ही वह चीज़ है जिसका मूल्यांकन misconduct panel वास्तव में कर सकता है। कोई ऐसी सीमा नहीं है जिसे कोई व्यक्ति दिखाकर यह कह सके कि वह एक सावधान लेखक को model से अलग करती है।

डिटेक्टर उस लेखन को क्यों flag करते हैं जो किसी model ने नहीं बनाया

False positives कोई दुर्लभ खराबी नहीं हैं। वे सीधे विशिष्टता को मापने से उत्पन्न होते हैं। कोई भी लेखन जो वास्तव में पूर्वानुमेय है, उसे पूर्वानुमेय ही स्कोर मिलेगा, चाहे उसे किसी ने भी बनाया हो।

Non-native English writers सबसे अधिक प्रभावित होते हैं। Stanford के शोधकर्ताओं ने पाया कि डिटेक्टरों ने non-native speakers के निबंधों के बड़े हिस्से को machine-generated के रूप में गलत वर्गीकृत किया, जबकि native-speaker निबंधों को सही वर्गीकृत किया। इसका कारण दुर्भावनापूर्ण नहीं, बल्कि यांत्रिक है, दूसरी भाषा में काम करने वाले लेखक प्रायः प्रचलित संरचनाओं और अधिक सामान्य शब्दावली पर निर्भर करते हैं। यह ठीक low perplexity का प्रोफ़ाइल है, इसलिए ESL writers को सावधानी से लिखने पर flag किया जाता है

शैक्षणिक परंपराएँ भी यही समस्या पैदा करती हैं। methods section का सूत्रबद्ध होना अपेक्षित है। कानूनी लेखन, तकनीकी दस्तावेज़ीकरण और नैदानिक रिपोर्टिंग, सभी में नवीन अभिव्यक्ति की तुलना में मानक वाक्यांशों को अधिक महत्व मिलता है। भारी संपादन इसे और बढ़ा देता है, क्योंकि किसी प्रारूप को परिष्कृत करने का अर्थ अक्सर उन अनियमितताओं को हटाना होता है जो आपके सांख्यिकीय हस्ताक्षर को वहन करती थीं।

संस्थानों ने ध्यान दिया है। Vanderbilt ने Turnitin की AI detection सुविधा को बंद कर दिया, बजाय इसके कि वह ऐसे scores पर कार्रवाई करे जिन्हें वह सत्यापित नहीं कर सकता था, और अन्य विश्वविद्यालयों ने misconduct proceedings में इन numbers के उपयोग को सीमित किया है। detector score को साक्ष्य का एक कमजोर हिस्सा मानें, verdict नहीं।

आपकी अपनी लेखन के लिए इसका क्या अर्थ है

mechanics से निकलने वाली व्यावहारिक सलाह असामान्य नहीं है, और इसमें से किसी में भी किसी चीज़ को gaming करना शामिल नहीं है। अपनी sentence length को जानबूझकर बदलें, क्योंकि uniformity ही वह चीज़ है जो दर्ज होती है। विशिष्ट विवरण बनाए रखें, वास्तविक figure, वास्तविक limitation, वह चीज़ जो week six में गलत हुई। सामान्य competence वह है जो machine-made के रूप में score करती है, और specificity बेहतर लेखन भी है और एक मजबूत signal भी।

अपनी idiom भी बनाए रखें। यदि चीज़ों को कहने का आपका अपना तरीका है, तो उसे रहने दें। किसी draft को तब तक घिसते रहने की प्रवृत्ति, जब तक वह field के हर दूसरे paper जैसा न लगने लगे, वही प्रवृत्ति है जो आपकी perplexity को कम करती है।

एक चीज़ जिससे बचना चाहिए, कुछ tools जानबूझकर grammatical errors introduce करते हैं ताकि perplexity बढ़े। यह metric पर काम करता है और किसी भी graded या peer-reviewed चीज़ के लिए एक बहुत खराब विचार है, क्योंकि आप एक suspicion के बदले एक certainty का आदान-प्रदान कर रहे हैं। लक्ष्य ऐसा लेखन है जो आपका पढ़ा जाए, न कि ऐसा लेखन जिसे जानबूझकर नुकसान पहुँचाया गया हो। यही एक human reader के लिए rewriting और scorer को धोखा देने के लिए text को तोड़ने के बीच पूरा अंतर है।

यदि आप इन numbers को अपने draft के लिए देखना चाहते हैं, बजाय इसके कि किसी black box की बात को मान लें, तो underlying measurements secret नहीं हैं। free text analysis tools आपको दिखाएँगे कि आपका prose कहाँ स्थित है, और आप स्वयं तय कर सकते हैं कि क्या flat stretches एक stylistic problem हैं जिन्हें ठीक करना उचित है।

XLinkedInFacebook

अक्सर पूछे जाने वाले प्रश्न

हाँ, और यह अपेक्षित भी है। डिटेक्टर यह मापते हैं कि पाठ सांख्यिकीय रूप से कितना पूर्वानुमेय है, यह नहीं कि उसे किसने लिखा, इसलिए कोई भी सचमुच सूत्रबद्ध लेखन मशीन-निर्मित के रूप में अंकित हो सकता है। स्वतंत्र बेंचमार्क लगातार विक्रेता के दावों से कम सटीकता रिपोर्ट करते हैं, और कई विश्वविद्यालयों ने इस बात पर प्रतिबंध लगाए हैं कि इन अंकों का उपयोग कैसे किया जा सकता है।

Moe

PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.

AI मानवीकरण पर अपडेट रहें

शैक्षणिक लेखन, AI पहचान, और मानवीकरण के सुझाव सीधे अपने इनबॉक्स में प्राप्त करें।

कोई स्पैम नहीं। कभी भी सदस्यता समाप्त करें।