Winston AI کا جائزہ: 99.98% درستگی کے دعوے بمقابلہ شواہد

Winston AI 99.98% درستگی کا دعویٰ کرتا ہے، جو کسی بھی مرکزی دھارے کے AI detector کی طرف سے خود بیان کردہ سب سے بلند عدد ہے۔ یہ عدد کمپنی کے ہوم پیج پر "The Most Trusted AI Detector" کے الفاظ کے ساتھ درج ہے، اور یہ کمپنی کی اپنی داخلی جانچ سے آیا ہے، کسی بیرونی لیب سے نہیں۔ اس کے ساتھ نہ طریقۂ کار، نہ ٹیسٹ سیٹ کا حجم، نہ انسانی بمقابلہ AI نمونوں کا تناسب، اور نہ ہی آپریٹنگ threshold شائع کیا گیا ہے۔ دعوے اور اس کی دستاویزات کے درمیان یہی خلا اس tool کے بارے میں پہلی بات ہے جو ایک محتاط قاری کو معلوم ہونی چاہیے۔

دوسری بات یہ ہے کہ Winston کی واقعی بیرونی جانچ بھی ہوئی ہے، جو بعض detectors کے بارے میں نہیں کہا جا سکتا۔ RAID benchmark، جو ACL 2024 میں پیش کی گئی ایک peer-reviewed study ہے، نے Winston کو تقریباً 6.2 million machine-generated texts کے خلاف آزمایا اور 71.0% مجموعی درستگی ناپی، جبکہ false positive rate کو 5% پر مقرر رکھا گیا۔ یہ 99.98% سے بہت دور ہے۔ اس نے آزمائے گئے چار تجارتی detectors میں Winston کو دوسرے نمبر پر بھی رکھا، GPTZero اور ZeroGPT سے آگے۔ یہ دونوں باتیں اہم ہیں، اور کوئی بھی دوسری کو باطل نہیں کرتی۔

اس کے بعد یہ بیان کیا گیا ہے کہ Winston کیا ہے اور یہ کس کے لیے بنایا گیا ہے، vendor کیا دعویٰ کرتا ہے، 99.98% کا self-benchmark شماریاتی طور پر کیا معنی رکھتا ہے اور کیا نہیں، اور آزاد اعداد و شمار حقیقت میں کیا دکھاتے ہیں۔

Winston AI کیا ہے اور اسے کون استعمال کرتا ہے؟

Winston AI ایک paid, subscription-based detector ہے جو براہ راست educators اور content publishers کے لیے بنایا گیا ہے۔ اس کی feature list ایک teacher's workflow جیسی ہے: کمپنی کی site scanned documents, photos, اور handwriting سے text نکالنے والے OCR کو بیان کرتی ہے، اپنی supported platforms میں Google Classroom integration درج کرتی ہے، AI detection کے ساتھ plagiarism checker بھی شامل کرتی ہے، اور submissions کے batches کو manage کرنے کے لیے document organization فراہم کرتی ہے۔ vendor کے مطابق یہ ChatGPT, Gemini, Claude, LLaMA "and much more" سے output detect کرتا ہے۔

انٹرفیس کا سب سے نمایاں حصہ ہر جملے کی سطح پر نتیجہ ہے۔ صرف ایک فیصدی عدد واپس کرنے کے بجائے، Winston جسے AI prediction map کہتا ہے وہ پیش کرتا ہے, یعنی رنگوں سے کوڈ کی گئی، جملہ بہ جملہ یہ جانچ کہ دستاویز کے کون سے حصے مشینی طور پر تیار شدہ معلوم ہوتے ہیں۔ ایک معلم کے لیے یہ نقشہ محض ایک عددی اسکور سے زیادہ مفید ہے، کیونکہ یہ دکھاتا ہے کہ آلے کا شبہ کہاں مرکوز ہے۔ تاہم اسے ضرورت سے زیادہ پڑھ لینا بھی آسان ہے، جس پر ذیل میں بات کی گئی ہے۔

کمپنی کیا دعویٰ کرتی ہے؟

Winston AI's homepage پر سرخی نما دعویٰ "99.98% Accurate." ہے۔ اس تحریر کے وقت تک، جس صفحے پر یہ عدد درج ہے وہ یہ نہیں بتاتا کہ آزمائشی corpus کیسے بنایا گیا، اس میں کتنے samples شامل تھے، اس میں انسانی اور AI متن کا کیا امتزاج تھا، یا جب یہ عدد ناپا گیا تو detector کی decision threshold کیا رکھی گئی تھی۔ یہ اس صنعت میں غیر معمولی بات نہیں ہے، vendor accuracy claims اور independent evidence کے درمیان یہی خلا بازار کے تقریباً ہر detector میں موجود ہے۔ Winston کے دعوے کی صورت صرف یہ ہے کہ اس پر کسی نے اب تک سب سے بڑا عدد لکھ دیا ہے۔

99.98% Self-Benchmark حقیقت میں کیا معنی رکھتا ہے؟

ایک لمحے کے لیے حساب کو سنجیدگی سے لیں۔ 99.98% accuracy rate کا مطلب ہے ہر 10,000 samples میں 2 errors۔ اس عدد کو ناپنے کے لیے بھی، کسی کمپنی کے پاس کم از کم دسیوں ہزار documents پر مشتمل ایک labeled test set ہونا چاہیے، جہاں ہر متن کی حقیقی origin یقین کے ساتھ معلوم ہو۔ پھر یہ عدد صرف اسی corpus پر کارکردگی بیان کرتا ہے, یعنی وہ AI models، وہ prompts، وہ genres، وہ text length، اور ایک منتخب threshold پر۔

اس میں سے کسی چیز کے لیے بد نیتی درکار نہیں۔ ایک detector جو مقبول chat models سے پیدا ہونے والے مضامین پر تربیت یافتہ ہو، پھر مقبول chat models سے پیدا ہونے والے مضامین کے ایک corpus پر آزمایا جائے، واقعی حد کے قریب score کرے گا۔ مسئلہ transferability ہے۔ جس لمحے آنے والا متن کسی مختلف model، کسی مختلف sampling strategy، یا ایسے writer سے آتا ہے جس کا فطری style غیر معمولی طور پر یکساں ہو، وہ corpus جس پر benchmark ناپا گیا تھا، اب اس متن کی وضاحت نہیں کرتا جس کا فیصلہ کیا جا رہا ہے۔ ایک internal benchmark ایک controlled experiment ہے جو outcome میں سب سے زیادہ دلچسپی رکھنے والے فریق کے ذریعے، اپنی پسند کی conditions پر چلایا جاتا ہے۔ یہ evidence ہے، لیکن اس کی قسم سب سے کمزور ہے، اور methodology کے غائب ہونے کا مطلب یہ ہے کہ company کے باہر کوئی اسے check بھی نہیں کر سکتا۔

Independent Testing کیا دکھاتا ہے؟

سب سے زیادہ rigorous public test جس میں Winston شامل ہے، RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors ہے، جو Dugan اور colleagues کی ایک peer-reviewed study ہے، اور ACL 2024 میں پیش کی گئی۔ RAID نے 12 detectors کا جائزہ لیا، جن میں چار commercial products شامل تھے، تقریباً 6.2 million generations کے مقابلے میں، جو 11 language models، 8 writing domains، 4 decoding strategies، اور 11 adversarial attacks پر محیط تھے، اور ہر detector کو ایک ہی 5% false positive rate پر calibrated کیا گیا تاکہ scores قابلِ موازنہ ہوں۔

Detector	RAID میں مجموعی درستگی (FPR 5% پر مقرر)
Originality.ai	85.0%
Winston AI	71.0%
GPTZero	66.5%
ZeroGPT	65.5%

اس جدول کی دو قرأتیں ایک ہی وقت میں دیانت دارانہ ہیں۔ Winston کا 71.0%، 99.98% کے قریب بھی نہیں ہے، اور پھر بھی Winston نے دستیاب سب سے سخت عوامی معیار پر اپنے تین تجارتی حریفوں میں سے دو کو پیچھے چھوڑ دیا۔ اوسطیں ایک معنی خیز پھیلاؤ کو بھی چھپا دیتی ہیں۔ RAID کے فی ماڈل نتائج میں، Winston نے ChatGPT output پر 99.6% اور GPT-4 output پر 98.8% اسکور کیا، جو اس کے اپنے دعوے کردہ عدد کے قریب ہے، لیکن GPT-2 متن پر 47.6% اور base MPT-30B model کے متن پر 24.8% تک گر گیا۔ paraphrased machine text پر اس کی درستگی 52.6% تک کم ہو گئی۔

یہ پھیلاؤ 99.98% کے دعوے کی پوری کہانی کا مختصر خلاصہ ہے۔ اس متن پر، جو غالباً detector کے لیے موزوں بنایا گیا تھا، یعنی recent chat models کا سادہ نثری لکھنا، Winston اپنی marketing کے قریب کارکردگی دکھاتا ہے۔ اس distribution سے باہر، کارکردگی یکایک بہت نیچے آ جاتی ہے۔ on-distribution text سے بنایا گیا ایک internal benchmark واقعی قریب قریب کامل عدد پیدا کر سکتا ہے، مگر آپ کو models، edits، اور paraphrases کے اس الجھے ہوئے امتزاج کے بارے میں تقریباً کچھ نہیں بتاتا جو ایک حقیقی inbox میں ہوتا ہے۔ detectors جن statistical signals پر انحصار کرتے ہیں، ان کی مزید تفصیل ہماری how AI detectors work والی وضاحت میں موجود ہے۔

False Positives: کس کو نقصان پہنچتا ہے؟

RAID کا design ایک ایسا trade-off نمایاں کرتا ہے جو vendor marketing میں شاذ و نادر ہی نظر آتا ہے: study میں ہر accuracy score false positive rate کو 5% پر fix کرنے کے بعد ناپا گیا تھا۔ اس calibration پر، 20 میں سے 1 واقعی انسانی document flag ہو جاتا ہے۔ ایک detector اس rate کو اپنا threshold بڑھا کر کم کر سکتا ہے، مگر صرف اس صورت میں کہ وہ کم AI text پکڑے، یہ دونوں اعداد ساتھ ساتھ حرکت کرتے ہیں، اور جو vendor ایک کو دوسرے کے بغیر quote کرے وہ نتیجے کا صرف آدھا حصہ quote کر رہا ہے۔

ان غلطیوں کا بوجھ یکساں طور پر تقسیم نہیں ہوتا۔ جو تحریر فارمولائی، روایتی، اور کم تغیر والی ہو، وہ ہر شماریاتی detector کو مشینی سی محسوس ہوتی ہے، اور یہ وصف طریقہ کار کے حصوں، literature reviews، اور دوسری زبان میں کام کرنے والے مصنفین کی محتاط نثر پر صادق آتا ہے۔ AI detectors کا غیر مقامی انگریزی بولنے والوں کو بلند شرحوں پر flag کرنا صنعت بھر میں دستاویزی طور پر موجود ہے، اور Winston کے طریقے میں کوئی ایسی بات نہیں جو اسے اس سے مستثنیٰ کرے۔ ہر جملے کی پیش گوئی کا نقشہ بھی اسی احتیاط کا مستحق ہے, سرخ رنگ سے نمایاں کیا گیا جملہ الفاظ کے نمونوں کے بارے میں ایک شماریاتی مشاہدہ ہے، مصنفیت کے بارے میں ثبوت نہیں۔ جن طلبہ کو غلط flag کا سامنا ہو، انہیں اعتراف سے نہیں بلکہ دستاویزات سے آغاز کرنا چاہیے, ہمارا رہنما یہ ثابت کرنے کا طریقہ کہ آپ نے AI استعمال نہیں کیا بتاتا ہے کہ واقعی کیا چیز قائل کرتی ہے۔

قیمت اور رسائی

Winston ایک paid product ہے جس میں محدود trial موجود ہے۔ Winston 14-day free trial کے ساتھ 2,000 credits، Essential plan $18 per month پر، یا سالانہ billing کی صورت میں $10 per month پر، 100,000 monthly credits کے ساتھ، Advanced plan $29 per month پر، یا $16 annually پر، جو team seats اور بڑے scans شامل کرتا ہے، اور اس سے اوپر Elite tier، درج کرتا ہے۔ کسی ایک educator کے لیے جو ایک class کی مقدار کے submissions کی screening کر رہا ہو، یہ Winston کو impulse-purchase territory میں رکھتا ہے، institutional contracts سے سستا، اور زیادہ تر free tools سے زیادہ capable۔

Detector Landscape میں Winston کہاں فٹ ہوتا ہے

independent evidence کی بنیاد پر، Winston ایک mid-priced commercial detector ہے جو market کے free tier سے بہتر اور اپنی ہی advertising سے کم کارکردگی دکھاتا ہے۔ یہ اس educator کے لیے مناسب ہے جو per-sentence visibility، Classroom integration، اور plagiarism checking کو ایک سستے tool میں چاہتا ہو، اور ہر نتیجے کو verdict کے بجائے گفتگو کے آغاز کے طور پر لیتا ہو۔ یہ اس شخص کے لیے مناسب نہیں جو score کو proof کے طور پر کام کرتے دیکھنا چاہتا ہو، کیونکہ کسی detector کا score ایسا نہیں کرتا۔

مکمل موازنہ

Winston ایک بھرے ہوئے میدان میں ایک detector ہے، اور اس کا 71% بمقابلہ 99.98% فرق صنعت بھر کے ایک نمونے کی ایک مثال ہے۔ Turnitin, GPTZero, Originality, ZeroGPT، اور باقی کے مقابلے میں، اسی evidence-first معیار پر یہ کیسے کھڑا ہوتا ہے، اس کے لیے ہماری مکمل guide to AI detectors compared دیکھیں۔

ہماری اپنی تحقیق نے کیا پایا

TextPulse Research کے ڈیٹیکٹر اتفاق مطالعے میں نو تجارتی AI ڈیٹیکٹرز نے وہی 90 علمی تحریریں پرکھیں۔ ان میں سے ایک 455 الفاظ کی ہائبرڈ تحریر تھی: آغاز اور اختتام انسان کے لکھے ہوئے، اور درمیان میں 168 الفاظ کا AI کا لکھا حصہ۔ Winston AI نے اس تحریر کو 7% AI قرار دیا، جبکہ انہی الفاظ پر باقی ٹولز کے فیصلے 0% سے 95.7% AI تک پھیلے ہوئے تھے۔ مکمل مقالہ، کارپس اور ہر ٹول کی اسکور میٹرکس TextPulse Research پر آزادانہ دستیاب ہے۔