ZeroGPT কি সঠিক?
ZeroGPT-এর নিজস্ব FAQ অভ্যন্তরীণ পরীক্ষায় 98 শতাংশের দিকে অগ্রসর হওয়া একটি হারের দাবি করে, এবং আলাদাভাবে স্বীকার করে যে সূত্রবদ্ধ লেখা, কে লিখেছে তা নির্বিশেষে, AI হিসেবে পড়া যেতে পারে। এখানে কোম্পানি তার পদ্ধতি সম্পর্কে কী বলে, এই নির্দিষ্ট পণ্যের ওপর স্বাধীন পরীক্ষায় কী পাওয়া গেছে, এবং একটি বিনামূল্যের স্কোর আসলে কী কাজে লাগে, তা দেওয়া হলো।
ZeroGPT-এর নির্ভুলতা, কোম্পানির নিজস্ব বর্তমান দাবি অনুযায়ী, একটি হার, "internal evaluations-এ >98% এর দিকে অগ্রসর হচ্ছে," এবং কোম্পানি স্বীকার করে যে এই সংখ্যা এসেছে এমন পরীক্ষার ফল থেকে যা তারা নিজেদের ওপর চালিয়েছে, কোনো বাইরের ল্যাব থেকে নয়। এই একটিমাত্র শর্ত, internal, কোনো free detector-এর শতাংশকে স্থির সত্য হিসেবে গ্রহণ করার আগে পাঠকের যা জানা দরকার তার বেশির ভাগই বলে দেয়।
ZeroGPT সবচেয়ে বেশি ব্যবহৃত free AI detector-গুলোর একটি, মূলত কারণ এটি বিনামূল্যে এবং কয়েক সেকেন্ডের মধ্যে উত্তর দেয়। AI detector-গুলোর ক্ষেত্রে সাধারণভাবে যে vendor-এর দাবি এবং independent testing-এর মধ্যে ব্যবধান দেখা যায়, সেটিই এখানেও দেখা যায়। নিচে আছে কোম্পানি বর্তমানে নিজের নির্ভুলতা এবং পদ্ধতি সম্পর্কে কী বলছে, সেই পদ্ধতি বাস্তবে কী মাপছে বলে মনে হয়, এবং কেন এই ধরনের একটি tool academic পাঠকেরা যে ধরনের লেখা জমা দেন তাতে নির্দিষ্ট, পূর্বানুমেয় উপায়ে ভুল করতে প্রবণ।
কোম্পানির মতে ZeroGPT-এর নির্ভুলতা কী?
ZeroGPT-এর নিজস্ব FAQ-তে বলা হয়েছে যে কোম্পানি "industry-leading accuracy প্রদান করে এবং best-in-class performance বজায় রাখতে ধারাবাহিকভাবে উন্নত করা হচ্ছে, internal evaluations-এ >98% এর দিকে অগ্রসর হচ্ছে।" এটি নিজের product সম্পর্কে একটি vendor-এর দাবি, যা কোম্পানি নিজেই পরীক্ষা করেছে, এবং ভাষার ভেতরেই বাস্তব hedging রয়েছে: "pushing toward" কোনো সংখ্যায় পৌঁছানো এবং তা ধরে রাখার একই বক্তব্য নয়, আর "internal evaluations" মানে বাইরে কোনো পক্ষ মিলিয়ে দেখার মতো সংখ্যা প্রকাশ করেনি। পৃষ্ঠায় কোথাও বলা নেই সেই internal test set কত বড় ছিল, এতে কী ছিল, বা কোম্পানির বাইরে কে methodology পর্যালোচনা করেছে।
কোম্পানিটি স্থিতিশীল ফলাফলের জন্য অন্তত 150 থেকে 200 শব্দের পাঠ্য সুপারিশ করে, আর 500 থেকে 1,000 শব্দ বা তার বেশি হলে নির্ভরযোগ্যতা আরও বাড়ে, এবং সরাসরি বলে যে খুব ছোট বা ব্যাপকভাবে সম্পাদিত অংশ "carry fewer signals." এই একক প্রকাশনা শিরোনামের শতাংশের চেয়ে বেশি গুরুত্বপূর্ণ। এটি বিক্রেতার নিজের স্বীকারোক্তি যে স্কোরটি কেবল তখনই বিশ্বাসযোগ্য, যখন ইনপুটটি যথেষ্ট দীর্ঘ এবং অপরিবর্তিত থাকে, আর বাস্তব জমা সব সময় সেই শর্ত পূরণ করে না।
ZeroGPT আসলে কোন পদ্ধতি ব্যবহার করছে?
ZeroGPT তার অন্তর্নিহিত ব্যবস্থাকে DeepAnalyse বলে, যা তার নিজস্ব সাইটে "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives" হিসেবে বর্ণিত, এবং যা একটি পাঠ্যকে "from the macro level to the micro one" পড়ে। এর FAQ ব্র্যান্ডিংয়ের নিচে আরও নির্দিষ্ট কিছু বর্ণনা করে, "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets" এর বিশ্লেষণ।
Burstiness এবং entropy কেবল ZeroGPT-এর জন্য অনন্য নয়। এগুলো একই পরিসংখ্যানগত বৈশিষ্ট্য, অর্থাৎ বাক্যের দৈর্ঘ্য ও ছন্দ কতটা পরিবর্তিত হয়, এবং পরবর্তী প্রতিটি শব্দ কতটা পূর্বানুমেয়, যা TextPulse-এর how AI detectors work বিষয়ে নিজস্ব ব্যাখ্যায় এই সমগ্র শ্রেণির সরঞ্জামের সাধারণ প্রক্রিয়া হিসেবে আলোচিত হয়েছে। একটি free perplexity checker সেই একই অন্তর্নিহিত সংখ্যাটি সরাসরি দেখায়, কোনো লেখককে আগে কোনো একক বিক্রেতার শতাংশের ওপর ভরসা করতে না বলেই।
আপনার নিজস্ব পেপারকে মানবসদৃশ করুন
আপনার AI-সহায়তাপ্রাপ্ত লেখাকে রূপান্তর করুন এবং গুরুত্বপূর্ণ শব্দ বা উদ্ধৃতি স্পর্শ না করে সেটিকে মানবসদৃশ শোনান।
শিক্ষাগত লেখা কেন এই ডিটেক্টরগুলিকে বিভ্রান্ত করে?
ZeroGPT FAQ এটি এভাবে বলে: "highly polished, formulaic, or low-entropy writing can resemble AI." শিক্ষাগত গদ্য উচ্চমাত্রায় পরিশীলিত, সূত্রনির্ভর, নিম্ন-entropy লেখার জন্যই তৈরি। একটি পদ্ধতি-সংক্রান্ত অংশ, একটি সাহিত্য পর্যালোচনা এবং একটি আনুষ্ঠানিক কভার লেটার, সবই প্রচলিত বাক্যাংশকে উদ্ভাবনী বাক্যাংশের চেয়ে বেশি গুরুত্ব দেয়, কারণ প্রচলনই প্রথমে নথিটিকে তার পাঠকের কাছে ব্যবহারযোগ্য করে তোলে, এবং সেই প্রচলনই ঠিক সেই নিম্ন-entropy pattern, যাকে বিক্রেতার নিজের প্রকাশনা ঝুঁকি হিসেবে চিহ্নিত করে।
স্বতন্ত্র, peer-reviewed পরীক্ষায় দেখা যায় কেন এই ব্যর্থতার ধরন কিছু লেখকের ওপর অন্যদের তুলনায় বেশি প্রভাব ফেলে। 2023 সালের একটি Stanford গবেষণায় বহুল ব্যবহৃত সাতটি detector, যাদের মধ্যে ZeroGPT ছিল, 91টি প্রকৃত TOEFL প্রবন্ধের বিরুদ্ধে পরীক্ষা করা হয়, যা non-native English speakers লিখেছিলেন, এবং US-এর অষ্টম শ্রেণির শিক্ষার্থীদের লেখা 88টি প্রবন্ধের বিরুদ্ধেও। ZeroGPT TOEFL প্রবন্ধগুলোর 48 percent কে AI-generated হিসেবে চিহ্নিত করে, যেখানে অষ্টম শ্রেণির প্রবন্ধগুলোর ক্ষেত্রে তা ছিল 0 percent, এবং ওই গবেষণার প্রতিটি detector-ই একই ধরনের ত্রুটি দেখিয়েছিল, কেবল মাত্রা ভিন্ন ছিল।
এই ব্যবধানের মধ্যে ZeroGPT-এর জন্য আলাদা কিছু নেই, এবং এতে নতুন কোনো তথ্যও নেই। এটি detector industry জুড়ে নথিভুক্ত একই non-native-writer bias pattern, যা TextPulse-এর AI detectors কেন non-native speakers-এর বিরুদ্ধে biased, সে বিষয়ে নিজস্ব পৃষ্ঠায় আরও বিস্তারিতভাবে আলোচিত হয়েছে। এই ব্যবধানটি বিশেষভাবে একটি free consumer tool সম্পর্কে যা দেখায়, তা হলো vendor-এর নিজস্ব disclosed limitation, low-entropy writing machine-made হিসেবে পড়ে, এটি কেবল তাত্ত্বিক নয়। একটি peer-reviewed test এই exact product-এ এটি ঘটতে ধরে ফেলেছিল, কোম্পানির বর্তমান FAQ-তে mechanism-টি তার নিজের ভাষায় ব্যাখ্যা করার বহু বছর আগেই।
একটি Free Detector-এর Score কি কোনো একটি Document সম্পর্কে কিছু প্রমাণ করতে পারে?
নিজে থেকে পারে না। একটি ZeroGPT percentage কোনো নির্দিষ্ট document সম্পর্কে, কোনো দিকেই, কিছুই প্রমাণ করে না। এটি একটি model-এর estimate, যা কোম্পানি এমন internal testing-এর ভিত্তিতে তৈরি করেছে, যা company-র বাইরে কেউ যাচাই করতে পারে এমন form-এ প্রকাশ করা হয়নি, এবং এমন writing-এর ওপর প্রয়োগ করা হয়েছে যার length, editing history এবং genre reading-কে নানা ভাবে বদলে দেয়, যা vendor-এর own FAQ-ও ইতিমধ্যে স্বীকার করে। একটি single free score-কে verdict হিসেবে ধরা, সেই score-এর কাছে কোম্পানি যা দাবি করে তার চেয়ে বেশি কিছু প্রত্যাশা করে।
একটি স্কোরের প্রকৃত উপযোগিতা আরও সংকীর্ণ এবং আরও সাধারণ, এটি হলো, একটি খসড়া বর্তমানে কোথায় অবস্থান করছে, তার একটি দ্রুত, বিনামূল্যের পাঠ, একই ধরনের পরিসংখ্যানগত পরিমাপের ভিত্তিতে, যা একটি অর্থপ্রদ প্রাতিষ্ঠানিক টুলও চালায়, অন্য কেউ তা দেখার আগে। TextPulse-এর বিনামূল্যের টুলসমূহ একই ক্ষেত্র সরাসরি আচ্ছাদন করে, কোনো লেখককে একাধিক বিনামূল্যের ডিটেক্টরের মধ্যে কোনটির স্কোর আগে বিশ্বাস করা উচিত, তা অনুমান করতে না বলে।
নির্ভুলতার পরিসংখ্যান আড়াল করে, ত্রুটিগুলি কার ওপর পড়ে এবং কী সেগুলি উদ্দীপিত করে। a, an এবং the কখন ব্যবহার করতে হয় জানা সেইসব ধাঁচের একটি দূর করে, যা একটি পতাকা তোলে, এবং একটি false positive আসলে কী বোঝায় তা আলাদাভাবে ব্যাখ্যা করা হয়েছে।
এর কোনোটিই ZeroGPT-এর সংখ্যাকে অর্থহীন করে না, এবং কোনোটিই সেই সংখ্যাকে একা যথেষ্ট করে না। একটি স্কোর হলো একটি প্রাথমিক অনুমান, যা এমন একটি পদ্ধতি থেকে উৎপন্ন, যাকে কোম্পানি কেবল রূপরেখায় বর্ণনা করেছে এবং বাইরের পরীক্ষার জন্য উন্মুক্ত করেনি, এমন লেখার ওপর যেখানে কেবল ঘরানাই ফলাফল বদলে দিতে পারে, সংশ্লিষ্ট কেউ কোনো ভুল করার আগেই। সেই FAQ পাতায় সবচেয়ে বেশি তথ্য বহনকারী দুটি শব্দ শতাংশ নয়। সেগুলো হলো তার ঠিক পাশে থাকা সতর্কসূচক শব্দ, internal, এবং pushing toward। একটি বিনামূল্যের স্কোর হলো একটি খসড়া সম্পর্কে কথোপকথনের সূচনাবিন্দু, তার সমাপ্তি-যুক্তি নয়।
আমাদের নিজস্ব গবেষণা যা পেয়েছে
TextPulse Research-এর ডিটেক্টর সম্মতি গবেষণায় নয়টি বাণিজ্যিক AI ডিটেক্টর একই 90টি একাডেমিক লেখা মূল্যায়ন করেছে। এর একটি ছিল 455 শব্দের একটি হাইব্রিড লেখা: মানুষের লেখা শুরু ও শেষ, মাঝখানে 168 শব্দের AI-লেখা অংশ। ZeroGPT এই লেখাটিকে 7.6% AI স্কোর দিয়েছে, অথচ একই শব্দে অন্য টুলগুলোর রায় 0% থেকে 95.7% পর্যন্ত ছড়িয়ে ছিল। সম্পূর্ণ গবেষণাপত্র, করপাস ও প্রতিটি টুলের স্কোর ম্যাট্রিক্স উন্মুক্তভাবে পাওয়া যাবে TextPulse Research-এ।
সচরাচর জিজ্ঞাসিত প্রশ্ন
ZeroGPT নির্ভুলতা, কোম্পানির নিজস্ব বর্তমান দাবির ভিত্তিতে, "internal evaluations-এ >98% এর দিকে অগ্রসর হওয়া" একটি হারে পৌঁছে। এই সংখ্যাটি কোম্পানির নিজের পণ্যের ওপর করা পরীক্ষার ফল, বাইরের কোনো ল্যাবের নয়, এবং বিক্রেতার নিজস্ব FAQ আলাদাভাবে উল্লেখ করে যে অত্যন্ত পরিশীলিত বা সূত্রবদ্ধ লেখা, কে লিখেছে তা নির্বিশেষে, AI-generated হিসেবে পড়া যেতে পারে।
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
