کیا ZeroGPT درست ہے؟

ZeroGPT کی درستگی، کمپنی کے اپنے موجودہ دعوے کے مطابق، ایک ایسی شرح ہے جو "internal evaluations پر >98% کی طرف بڑھ رہی ہے," اور کمپنی تسلیم کرتی ہے کہ یہ عدد کسی بیرونی لیب کے بجائے اس کی اپنی کی گئی جانچ سے آیا ہے۔ یہ واحد وضاحت کنندہ، internal, قاری کو اتنا بتانے کے لیے کافی ہے کہ کسی بھی free detector کے فیصد کو قطعی حقیقت سمجھنے سے پہلے احتیاط برتی جائے۔

ZeroGPT سب سے زیادہ استعمال ہونے والے free AI detectors میں سے ایک ہے، بڑی حد تک اس لیے کہ اس کی قیمت کچھ نہیں اور یہ چند سیکنڈ میں جواب دے دیتا ہے۔ وہی فرق، جو vendor claims اور independent testing کے درمیان AI detectors میں عمومی طور پر نظر آتا ہے، یہاں بھی موجود ہے۔ آگے یہ بیان کیا گیا ہے کہ کمپنی اس وقت اپنی درستگی اور طریقۂ کار کے بارے میں کیا کہتی ہے، یہ طریقہ دراصل کیا ناپتا دکھائی دیتا ہے، اور کیوں اس نوعیت کا tool علمی قارئین کی جمع کرائی ہوئی تحریر میں مخصوص، قابلِ پیش گوئی طریقوں سے غلطی کرتا ہے۔

کمپنی کے مطابق ZeroGPT کی درستگی کیا ہے؟

ZeroGPT کے اپنے FAQ میں درج ہے کہ کمپنی "industry-leading accuracy فراہم کرتی ہے اور اسے مسلسل بہتر بنایا جاتا ہے تاکہ best-in-class performance برقرار رہے, pushing toward >98% on internal evaluations." یہ اپنے ہی product کے بارے میں vendor کا دعویٰ ہے, جسے کمپنی نے خود test کیا ہے, اور اس کے الفاظ میں حقیقی احتیاط بھی شامل ہے: "pushing toward" کسی عدد تک پہنچنے اور اسے برقرار رکھنے کے برابر بیان نہیں, اور "internal evaluations" کا مطلب ہے کہ کسی بیرونی فریق نے اس کے ہم معنی عدد شائع نہیں کیے۔ صفحے پر یہ نہیں بتایا گیا کہ اس internal test set کا حجم کتنا تھا, اس میں کیا شامل تھا, یا کمپنی سے باہر کس نے methodology کا جائزہ لیا۔

کمپنی مستحکم نتیجے کے لیے کم از کم 150 سے 200 الفاظ کے متن کی سفارش کرتی ہے، اور 500 سے 1,000 الفاظ یا اس سے زیادہ کو مزید قابلِ اعتماد قرار دیتی ہے، اور صاف طور پر کہتی ہے کہ بہت چھوٹے یا بہت زیادہ ترمیم شدہ اقتباسات "carry fewer signals." یہ ایک ہی انکشاف سرخی والے فیصد سے زیادہ اہم ہے۔ یہ خود فروشندہ کی طرف سے اس بات کا اعتراف ہے کہ اسکور صرف اسی حد تک قابلِ اعتماد ہے جس حد تک ان پٹ طویل اور غیرمتبدل ہو، اور یہ ایسی شرط ہے جس پر حقیقی جمع کرائی گئی تحریر ہمیشہ پوری نہیں اترتی۔

ZeroGPT دراصل کون سا طریقہ استعمال کر رہا ہے؟

ZeroGPT اپنے بنیادی نظام کو DeepAnalyse کہتا ہے، جسے اس کی اپنی ویب سائٹ پر ایک "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives" کے طور پر بیان کیا گیا ہے، جو متن کو "from the macro level to the micro one" پڑھتی ہے۔ اس کے FAQ میں برانڈنگ کے نیچے کچھ زیادہ مخصوص بیان کیا گیا ہے: "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets." کا تجزیہ۔

Burstiness اور entropy صرف ZeroGPT تک محدود نہیں ہیں۔ یہ وہی شماریاتی خصوصیات ہیں، یعنی جملوں کی لمبائی اور ردھم میں کتنا فرق ہوتا ہے، اور اگلا لفظ کتنا قابلِ پیش گوئی ہوتا ہے، جنہیں TextPulse کی اپنی وضاحت how AI detectors work پر اس پورے زمرے کے اوزار کے پیچھے عمومی طریقہ کار کے طور پر بیان کرتی ہے۔ ایک free perplexity checker وہی بنیادی عدد براہِ راست دکھاتا ہے، بغیر اس کے کہ پہلے کسی مصنف کو کسی ایک فروشندہ کے فیصد پر بھروسا کرنا پڑے۔

تعلیمی تحریر ان ڈیٹیکٹرز کو کیوں الجھا دیتی ہے؟

ZeroGPT کا FAQ اسے یوں بیان کرتا ہے: "highly polished, formulaic, or low-entropy writing can resemble AI." علمی نثر اسی طرح کی highly polished, formulaic, low-entropy writing کے لیے تیار کی جاتی ہے۔ ایک طریقہ کار کا حصہ، ایک ادبی جائزہ اور ایک رسمی کور لیٹر، سب روایتی فقرے کو اختراعی فقرے پر ترجیح دیتے ہیں، کیونکہ روایت ہی وہ چیز ہے جو دستاویز کو سب سے پہلے اپنے قاری کے لیے قابلِ استعمال بناتی ہے، اور یہی روایت بالکل وہ low-entropy pattern ہے جسے فروشندہ کا اپنا انکشاف خطرے کے طور پر نامزد کرتا ہے۔

آزاد، ہم مرتبہ نظرثانی شدہ جانچ سے واضح ہوتا ہے کہ یہ ناکامی کا انداز کچھ مصنفین پر دوسروں کے مقابلے میں زیادہ سخت کیوں پڑتا ہے۔ 2023 کی Stanford کی ایک تحقیق نے سات وسیع پیمانے پر استعمال ہونے والے ڈیٹیکٹرز، جن میں ZeroGPT بھی شامل تھا، کو 91 حقیقی TOEFL مضامین کے خلاف آزمایا جو غیر مادری انگریزی بولنے والوں نے لکھے تھے، اور 88 مضامین کے خلاف جو US کے آٹھویں جماعت کے طلبہ نے لکھے تھے۔ ZeroGPT نے TOEFL مضامین میں سے 48 فیصد کو AI-generated قرار دیا، جبکہ آٹھویں جماعت کے مضامین میں 0 فیصد کو، یعنی اسی نوع کی غلطی جو اس تحقیق کے ہر ڈیٹیکٹر نے دکھائی، صرف اس کا پیمانہ مختلف تھا۔

یہ فرق ZeroGPT کے لیے منفرد نہیں ہے، اور نہ ہی اس میں کوئی نئی معلومات ہے۔ یہ وہی غیر مادری مصنفین کے خلاف تعصب کا نمونہ ہے جو ڈیٹیکٹر انڈسٹری میں دستاویزی طور پر موجود ہے، اور TextPulse کے اس اپنے صفحے پر اس بات کی مزید تفصیل دی گئی ہے کہ AI detectors غیر مادری بولنے والوں کے خلاف کیوں متعصب ہیں۔ اس فرق سے ایک مفت صارف ٹول کے بارے میں خاص طور پر یہ ظاہر ہوتا ہے کہ فروشندہ کی اپنی ظاہر کردہ حد بندی، یعنی کم entropy والی تحریر مشینی ساخت کی لگتی ہے، محض فرضی نہیں ہے۔ ہم مرتبہ نظرثانی شدہ ایک آزمائش نے اس مخصوص مصنوعات پر یہ صورت حال برسوں پہلے پکڑ لی تھی، اس سے پہلے کہ کمپنی کے موجودہ FAQ نے اسی طریقۂ کار کو اپنے الفاظ میں بیان کیا۔

کیا ایک مفت ڈیٹیکٹر اسکور کسی ایک دستاویز کے بارے میں کچھ ثابت کر سکتا ہے؟

اپنے طور پر نہیں۔ ZeroGPT کا فیصد کسی مخصوص دستاویز کے بارے میں، کسی بھی سمت میں، کسی چیز کا ثبوت نہیں ہے۔ یہ صرف ایک ماڈل کا اندازہ ہے، جو کمپنی کی اندرونی جانچ پر مبنی ہے جسے کمپنی نے ایسی صورت میں شائع نہیں کیا جسے کمپنی سے باہر کوئی بھی جانچ سکے، اور اسے ایسی تحریر پر لاگو کیا جاتا ہے جس کی طوالت، تدوینی تاریخ اور صنف سبھی وہ عوامل ہیں جو مطالعے کے انداز کو اس طرح بدلتے ہیں جسے فروشندہ کا اپنا FAQ پہلے ہی تسلیم کرتا ہے۔ ایک واحد مفت اسکور کو حتمی فیصلہ سمجھنا اس اسکور سے اس سے زیادہ مطالبہ کرتا ہے جتنا اسے جاری کرنے والی کمپنی خود اس کے لیے دعویٰ کرتی ہے۔

اسکور کا حقیقی طور پر مفید ہونا زیادہ محدود اور زیادہ معمولی بات کے لیے ہے: ایک فوری، بلا لاگت اندازہ کہ مسودہ اس وقت اسی نوعیت کی شماریاتی پیمائش میں کہاں کھڑا ہے، جسے ایک ادا شدہ ادارہ جاتی ٹول بھی چلاتا ہے، اس سے پہلے کہ کوئی اور اسے دیکھے۔ TextPulse کے مفت ٹولز اسی میدان کا براہ راست احاطہ کرتے ہیں، بغیر اس کے کہ مصنف کو یہ اندازہ لگانا پڑے کہ کئی مفت ڈیٹیکٹرز کے اسکورز میں سے پہلے کس پر بھروسا کیا جائے۔

درستگی کے اعداد و شمار اس بات کو چھپا دیتے ہیں کہ غلطیاں کس پر پڑتی ہیں اور انہیں کیا چیز متحرک کرتی ہے۔ a, an اور the کب استعمال کرنا ہے جاننا ان نمونوں میں سے ایک کو دور کرتا ہے جو نشان لگواتا ہے، اور false positive کا اصل مطلب کیا ہے الگ سے بیان کیا گیا ہے۔

اس میں سے کوئی بات ZeroGPT کے عدد کو بے معنی نہیں بناتی، اور نہ ہی ان میں سے کوئی بات اس عدد کو اکیلے کافی بناتی ہے۔ اسکور ایک ابتدائی اندازہ ہے، جو ایک ایسے طریقے سے پیدا ہوتا ہے جسے کمپنی صرف خاکہ وار بیان کرتی ہے اور جسے بیرونی جانچ کے لیے نہیں کھولا گیا، ایسی تحریر پر جس کی صنف اکیلے ہی نتیجے کو بدل سکتی ہے، اس سے پہلے کہ شامل کسی بھی فرد نے کچھ غلط کیا ہو۔ اس FAQ صفحے پر سب سے زیادہ معلومات رکھنے والے دو الفاظ فیصد نہیں ہیں۔ وہ اس کے بالکل ساتھ موجود احتیاطی الفاظ ہیں: internal، اور pushing toward۔ ایک مفت اسکور مسودے کے بارے میں گفتگو کا نقطۂ آغاز ہے، اس گفتگو کا اختتامی استدلال نہیں۔

ہماری اپنی تحقیق نے کیا پایا

TextPulse Research کے ڈیٹیکٹر اتفاق مطالعے میں نو تجارتی AI ڈیٹیکٹرز نے وہی 90 علمی تحریریں پرکھیں۔ ان میں سے ایک 455 الفاظ کی ہائبرڈ تحریر تھی: آغاز اور اختتام انسان کے لکھے ہوئے، اور درمیان میں 168 الفاظ کا AI کا لکھا حصہ۔ ZeroGPT نے اس تحریر کو 7.6% AI قرار دیا، جبکہ انہی الفاظ پر باقی ٹولز کے فیصلے 0% سے 95.7% AI تک پھیلے ہوئے تھے۔ مکمل مقالہ، کارپس اور ہر ٹول کی اسکور میٹرکس TextPulse Research پر آزادانہ دستیاب ہے۔