AI पाठ का पता क्यों चलता है? वास्तविक कारण
AI लेखन के पीछे की डिकोडिंग प्रक्रिया हर चरण में संभावित शब्दों और संभावित वाक्य-रूपों को प्राथमिकता देती है, यही कारण है कि AI पाठ का पता चलता है, भले ही वह प्रवाहपूर्ण लगे। यह पोस्ट शब्दावली की समतलता, वाक्यगत एकरूपता, और वे विशिष्ट विकल्प जिनका चयन केवल मानव लेखक करते हैं, को कवर करती है, बिना अंतर्निहित गणित के.
यदि आप किसी भाषा मॉडल से वाक्य "The weather today is," को पूरा करने के लिए कहते हैं, तो वह "cerulean" या "apocalyptic" जैसे किसी रंग को चुनने की कोशिश नहीं करेगा। इसके बजाय, वह "sunny," "cloudy," या "nice," कहने की कोशिश करेगा, क्योंकि जिन पाठों पर उसे प्रशिक्षित किया गया था, उनमें इस वाक्यांश के बाद ये शब्द सबसे अधिक बार आए थे। वाक्य में अगला शब्द चुनने वाला सॉफ़्टवेयर इसी प्रकार के उत्तर को प्राथमिकता देने के लिए बनाया गया है।
AI पाठ का पता क्यों चलता है? क्योंकि 'sunny' को 'cerulean' पर प्राथमिकता देने वाली वही प्रवृत्ति पूरे दस्तावेज़ में, शब्द दर शब्द, बनी रहती है, और परिणाम लेखन की उन संभावित शैलियों की तुलना में एक संकरे दायरे में आता है, जिनमें वास्तव में कोई व्यक्ति होता है। एक detector को झूठ पकड़ने की आवश्यकता नहीं होती। उसे केवल यह देखना होता है कि कोई अंश बार-बार उसी संकरे दायरे में आ रहा है।
आगे आने वाली किसी भी बात के लिए सूत्र की आवश्यकता नहीं है। इसकी कार्यप्रणाली एक ही विचार में निहित है, जो तीन अलग-अलग स्तरों पर दोहराया जाता है, शब्द चयन, वाक्य संरचना, और वह विशिष्ट विवरण जिसे लेखक बिना सोचे-समझे चुन लेता है। इन प्रत्येक स्तरों से how AI detectors actually work के व्यापक प्रश्न तक पहुँच बनती है, और मूल कारण का नामकरण हो जाने पर इन्हें देखना अधिक आसान हो जाता है।
AI पाठ का पता क्यों चलता है? संक्षिप्त उत्तर
AI पाठ का पता इसलिए चलता है क्योंकि decoding प्रक्रिया, जो model की भविष्यवाणियों को पूर्ण वाक्यों में बदलती है, हर चरण में संभावित शब्दों को प्राथमिकता देने के लिए बनाई गई है, और यह काम लगातार, हजारों शब्दों की एक पंक्ति में करने से ऐसा लेखन उत्पन्न होता है जो भाषा के उस हिस्से में आता है, जिसमें एक मानव सामान्यतः नहीं आता। एक सांख्यिकीय उपकरण इस संकीर्णता को तब भी पहचान सकता है, जब हर वाक्य व्याकरण की दृष्टि से पूर्ण और तथ्यात्मक रूप से सटीक हो।
उस एक कारण से तीन लक्षण उत्पन्न होते हैं। शब्दावली सबसे सुरक्षित सामान्य शब्द की ओर संकुचित हो जाती है। वाक्य संरचना कुछ पसंदीदा रूपों की ओर संकुचित हो जाती है। और वह विशिष्ट, थोड़ा असंभावित चयन, जो कोई व्यक्ति लगभग सहज रूप से करता है, वह अजीब शब्द, वह अतिरिक्त टिप्पणी, वह विवरण जिसे शामिल करने में कुछ नहीं लगता और जिसकी भविष्यवाणी करने में सब कुछ लग जाता है, प्रायः बिल्कुल दिखाई नहीं देता।
एक भाषा मॉडल अपना अगला शब्द कैसे चुनता है
अपने-आप छोड़ देने पर, एक भाषा मॉडल बस संभावित अगले शब्दों की अपनी पूरी क्रमबद्ध सूची रिपोर्ट करेगा और किसी और को चयन करने देगा। व्यवहार में, एक डिकोडिंग रणनीति यह चयन स्वतः, शब्द दर शब्द, करती है, और कौन-सी रणनीति चल रही है, यह आउटपुट का रूप बदल देती है, भले ही अंतर्निहित मॉडल कभी न बदले।
Greedy decoding हमेशा सबसे अधिक संभाव्य एकल शब्द का चयन करती है। nucleus sampling को एक समाधान के रूप में प्रस्तुत करने वाले पेपर में, Ari Holtzman और सहलेखकों ने देखा कि इस रणनीति का पालन करने से ऐसा पाठ बनता है जो, उनके अपने शब्दों में, 'निरस और अजीब तरह से पुनरावृत्त' होता है। Beam search, जो एक समय में कई संभावित निरंतरताओं को ट्रैक करती है और फिर एक पर ठहरती है, उसी समस्या के एक समान रूप में फँस जाती है।
Sampling रणनीतियाँ कुछ यादृच्छिकता फिर से लाती हैं, लेकिन नियंत्रित ढंग से। Temperature यह समायोजित करती है कि कोई शब्द चुने जाने से पहले मॉडल अपनी शीर्ष पसंदों को कितनी तीव्रता से प्राथमिकता देता है। Nucleus sampling, जिसे कभी-कभी top-p कहा जाता है, वितरण को उन शब्दों के सबसे छोटे समूह तक सीमित करती है जिनकी संयुक्त प्रायिकता एक सीमा को पार करती है, और केवल उसी समूह से चयन करती है, जिसे मूल पेपर में वितरण के अविश्वसनीय tail के बजाय उसके एक गतिशील nucleus से sampling के रूप में वर्णित किया गया है।
इन सेटिंग्स में सबसे कम deterministic होने पर भी, चयन अभी भी एक ऐसी shortlist से होता है जो इस पर आधारित होती है कि मॉडल पहले से क्या संभाव्य मानता है। मानव लेखन कभी भी किसी शब्दावली को क्रमबद्ध करके और उसके शीर्ष से चयन करके उत्पन्न नहीं हुआ था, इसलिए वह लगातार उस shortlist से आगे जाता है। अर्थ कभी-कभी उस शब्द में रहता है जो सूची में कभी था ही नहीं।
अपने पेपर को मानवीय बनाइए
अपने AI-सहायता प्राप्त पाठ को रूपांतरित करें और उसे मानवीय ध्वनि दें, महत्वपूर्ण शब्दों या उद्धरणों को छेड़े बिना।
शब्दावली की समतलता, कम, अधिक सुरक्षित शब्द
शब्दावली की समतलता उसी आदत का शब्द-स्तरीय रूप है। किसी वाक्य के प्रत्येक बिंदु पर, दर्जनों शब्द उसे आगे बढ़ा सकते हैं, लेकिन कुछ ही शब्द मॉडल की रैंकिंग में बाकी सब से बहुत ऊपर होते हैं, और decoding बार-बार उन्हीं कुछ शब्दों पर आकर रुकती है। इस चयन को दस्तावेज़ के हर वाक्य पर लागू करने पर, वास्तव में प्रयुक्त शब्दों की सीमा समान लंबाई के मानव लेखन की तुलना में मापनीय रूप से संकुचित हो जाती है।
प्रभाव स्थिर रहने के बजाय संचयी होता जाता है। जो मॉडल पहले वाक्य में शीर्ष-स्थान वाले शब्द की ओर जाता है, उसके लिए यह अधिक संभावना होती है कि वह ऐसा संदर्भ बनाए जिसमें दूसरे वाक्य में शीर्ष-स्थान वाला शब्द भी सामान्य हो, क्योंकि सामान्य शब्द सामान्य शब्दों के बाद आने की प्रवृत्ति रखते हैं। मानव लेखक इस प्रवाह को लगातार बाधित करता है, विशिष्ट तकनीकी शब्द, थोड़ा असामान्य क्रिया, या वह शब्द चुनता है जो वास्तविक वस्तु का नाम देता है, न कि उसका सुरक्षित अनुमान। यह अंतर उत्पन्न संस्करण में मापनीय रूप से छोटे कार्यशील शब्द-भंडार के रूप में दिखाई देता है, भले ही दोनों संस्करण वही अंतर्निहित तथ्य वर्णित करते हों।
यह पूरे अनुच्छेद का गुण है, किसी एक शब्द-चयन का नहीं। एक सुरक्षित शब्द कुछ सिद्ध नहीं करता। ऐसे शब्दों का एक पृष्ठ, जिसमें वाक्य दर वाक्य सामान्य शब्दावली की उसी श्रेणी की ओर जाया जाए, वही है जिसे पहचानक का शब्द-स्तरीय संकेत वास्तव में पहचानने के लिए बनाया गया है।
वाक्य-विन्यासीय एकरूपता: वही आकृतियाँ, बार-बार
वाक्य-विन्यासीय एकरूपता इसका वाक्य-स्तरीय रूप है। यह इस बात से संबंधित नहीं है कि कोई वाक्य कितना लंबा चलता है। यह इस बात से संबंधित है कि कोई अनुच्छेद कितनी भिन्न व्याकरणिक आकृतियों का उपयोग करता है, वाक्य कैसे आरंभ होते हैं, उपवाक्य एक-दूसरे से कैसे जुड़ते हैं, और एक विचार को अगले से जोड़ने का काम संक्रमण शब्द कितनी बार करते हैं। जो मॉडल सांख्यिकीय रूप से संभाव्य अगली संरचना की भविष्यवाणी करता रहता है, वह आकृतियों के एक छोटे चक्र में स्थिर हो जाता है और उसे दोहराता है।
कोई अनुच्छेद अपने वाक्य-लंबाई में विविधता रख सकता है, फिर भी यदि हर वाक्य समान कर्ता-क्रिया-पूरक संरचना का अनुसरण करता है, समान प्रकार के संक्रमण से आरंभ होता है, या समान तरीके से समाप्त होता है, तो वह वाक्य-विन्यासीय रूप से सपाट पढ़ा जा सकता है। पूर्वानुमेयता पैटर्न में रहती है, शब्द-संख्या में नहीं, एक भेद जिसे burstiness वास्तव में क्या मापता है के मार्गदर्शक में अधिक विस्तार से समझाया गया है।
| क्या संकुचित करता है | डिकोडिंग-अनुकूलित पाठ सामान्यतः क्या करता है | मानव लेखन सामान्यतः क्या करता है |
|---|---|---|
| शब्द-चयन | हर चरण में सबसे संभाव्य सामान्य शब्द पर टिक जाता है | उस विशिष्ट या कम प्रचलित शब्द की ओर जाता है जो वास्तविक वस्तु का नाम देता है |
| वाक्य-आरंभ | सुरक्षित संक्रमणात्मक आरंभों के एक छोटे चक्र को दोहराता है | वाक्य की शुरुआत को बदलता है, उन आरंभों सहित जिन्हें एक मॉडल कम संभाव्य मानेगा |
| उपवाक्य-संरचना | एक अंश में एक या दो पसंदीदा व्याकरणिक रूपों को दोहराता है | वाक्य की आवश्यकता के अनुसार सरल और जटिल संरचनाओं का मिश्रण करता है |
वे विकल्प जिन्हें केवल मनुष्य लेने की प्रवृत्ति रखता है
एक संकीर्ण दायरे का दूसरा पक्ष वह है जो उसके बाहर पड़ता है। वास्तविक घटनाओं का वर्णन करने वाला व्यक्ति सटीक संख्या की ओर जाता है, न कि गोल संख्या की ओर, उस हिस्से को स्वीकार करता है जो काम नहीं आया, विचार के बीच में उसे सुधारने के लिए वाक्य को रोक देता है, या ऐसा शब्द चुनता है जो सामान्य होने के बजाय सही हो। इन विकल्पों में से प्रत्येक, भाषा मॉडल के दृष्टिकोण से, एक निम्न-प्रायिकता टोकन है, ठीक वही प्रकार जिसे डिकोडिंग टालने के लिए बनाई गई है।
इसका अर्थ यह नहीं है कि विशिष्ट या असामान्य लेखन हर प्रकार के चिह्न से सुरक्षित है, या कि प्रवाहपूर्ण, सही लेखन डिफ़ॉल्ट रूप से संदिग्ध है। किसी विधि-खंड, किसी कानूनी उपबंध, या किसी अत्यधिक संपादित अंतिम मसौदे का संकीर्ण दायरे में आना ऐसे कारणों से हो सकता है जिनका किसी मॉडल से कोई संबंध नहीं है, इसलिए एकल स्कोर किसी पैटर्न का वर्णन है, न कि इस बारे में कोई निर्णय कि उसे किसने टाइप किया।
यह देखना कि आपका अपना मसौदा उस दायरे में कहाँ स्थित है, अनुमान लगाने से अधिक उपयोगी है। TextPulse का मुफ़्त perplexity checker और burstiness checker शब्द-स्तरीय पूर्वानुमेयता और वाक्य-दर-वाक्य लय को अलग-अलग मापते हैं, इसलिए समतल शब्दावली और दोहराई गई वाक्य-संरचना दो अलग संकेतों के रूप में दिखाई देती हैं, न कि एक मिश्रित संख्या के रूप में।
इससे दो अधिक संकीर्ण पृष्ठ निकलते हैं। Turnitin AI को विशेष रूप से कैसे पहचानता है एक है, और इसके similarity score और AI score के बीच का अंतर दूसरा है, क्योंकि इन दोनों को नियमित रूप से एक-दूसरे के साथ भ्रमित किया जाता है।
दोनों व्यापक free tools collection के भीतर आते हैं, उन सभी के लिए जो केवल एक संख्या पर अंधविश्वास करने के बजाय स्वयं पैटर्न देखना चाहते हैं।
अक्सर पूछे जाने वाले प्रश्न
AI पाठ का पता क्यों चलता है? क्योंकि उसे उत्पन्न करने वाली डिकोडिंग प्रक्रिया हर चरण में संभावित शब्दों और संभावित वाक्य संरचनाओं को प्राथमिकता देती है, जिससे ऐसा लेखन बनता है जो भाषा के एक संकरे दायरे में रहता है, सामान्य मानव लेखन की तुलना में। एक डिटेक्टर उस संकीर्णता को मापता है, अर्थ को पढ़ता नहीं, इसलिए यह पैटर्न प्रवाहपूर्ण, सटीक गद्य में भी दिखाई दे सकता है.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
