کیا AI Detectors درست ہیں؟ غلط مثبت نتائج اور تعصب

Turnitin کا دعویٰ ہے کہ اس کی false positive rate 1% سے کم ہے۔ آزاد محققین کے ایک گروپ نے غیر مادری انگریزی بولنے والوں کے تحریری نمونوں کی ایک وسیع تر حد پر متعدد detectors کا تجربہ کیا۔ انہوں نے پایا کہ اسی نوعیت کی تحریر پر اوسط false positive rate 60% سے زیادہ تھی۔ دونوں اعداد حقیقی ہیں، دونوں شائع ہوئے تھے، اور دونوں ایسے detectors سے متعلق ہیں جو ایک ہی market کو فروخت کیے جاتے ہیں۔ کیا AI detectors درست ہیں؟ یہ اس پر منحصر ہے کہ آپ نے کس population کو test کیا، آپ نے کون سا detector استعمال کیا، اور آپ کے vendor نے اسے ابتدا میں کیسے define کیا تھا۔

یہ post اس بات کی دوبارہ وضاحت نہیں کرے گی کہ detector وہ score کیسے compute کرتا ہے۔ mechanism, perplexity, token probability, classifier کو کیسے train کیا جاتا ہے, دوسری جگہ تفصیل سے covered ہے, اور اگر آپ نے ابھی تک اسے نہیں پڑھا تو پہلے اسے پڑھنا قابلِ قدر ہے۔ یہاں اہم بات یہ ہے کہ score موجود ہونے کے بعد کیا ہوتا ہے: یہ کتنی بار غلط ہوتا ہے, یہ کس کی تحریر کے بارے میں سب سے زیادہ غلط ہوتا ہے, اور ایک false accusation کی قیمت اس شخص کے لیے واقعی کیا ہوتی ہے جس نے کچھ غلط نہیں کیا تھا۔

کیا AI detectors درست ہیں؟

مسلسل طور پر نہیں, اور marketing claims اور آزاد testing کے درمیان فرق اچھی طرح documented ہے۔ Debora Weber-Wulff کی قیادت میں محققین کے ایک گروپ نے 14 detection tools پر اپنے نتائج شائع کیے, جن میں 12 free اور دو commercial تھے, جنہیں 2023 میں human اور ChatGPT text کے ایک mixture کے خلاف test کیا گیا تھا۔ انہوں نے پایا کہ ان tools میں سے کوئی بھی accurate یا reliable نہیں ہے, اور ان میں ایک built-in bias ہے کہ machine text کو human کے طور پر label کریں, اس کے برعکس نہیں۔ اس test میں شامل دو commercial tools Turnitin اور PlagiarismCheck تھے۔ اس test میں تمام tools نے text کے paraphrased ہونے پر بدتر کارکردگی دکھائی۔

لیکن دو سال بعد، صورت حال جمود کا شکار نہیں ہے۔ University of Chicago کے Booth School کی ایک working paper، جسے Brian Jabarian اور Alex Imas نے تیار کیا، نے تین نئے آنے والوں، Pangram، GPTZero اور Originality.ai، اور ایک open-source حریف کو blogs، news، reviews اور fiction سے تقریباً 2,000 انسانی تحریر کردہ pieces کے ساتھ جانچا۔ کنٹرول شدہ test conditions کے تحت، اس مجموعے میں بہترین tool کی accuracy کبھی 99.8 percent سے کم نہیں ہوئی اور اس کی false positive rate کم سطح پر برقرار رہی۔ open-source model نے random guesser جتنی کارکردگی دکھائی۔ صورت حال واقعی بہتر ہوئی ہے۔ کچھ حد تک۔ تھوڑی سی۔

لیکن اصل نکتہ controlled لفظ ہے۔ benchmark passages صاف، مکمل اور معلوم conditions کے تحت تیار کیے جاتے ہیں۔ submitted essay ان میں سے کوئی چیز بھی قابل اعتماد طور پر نہیں ہوتا۔ حقیقی دنیا کے نتائج lab results سے یکساں نہیں بھی ہو سکتے، جیسا کہ Turnitin کے اپنے chief product officer نے عوامی طور پر کہا ہے، اگرچہ یہ vendor کی طرف سے ایک نادر اور مفید اعتراف ہے۔ اگلا حصہ vendor کے اعداد و شمار کو independent اعداد و شمار کے ساتھ رکھتا ہے تاکہ فرق محض دعویٰ نہ رہے بلکہ واضح نظر آئے۔

Vendor کے دعوے بمقابلہ independent testing

نیچے دی گئی table چار detectors کے اپنے دعووں کو ان نتائج کے ساتھ برابر رکھتی ہے جو independent researchers نے tools کو براہ راست test کرنے پر حاصل کیے۔ درمیانی دو columns کو ایک ساتھ پڑھیں، صرف vendor column کو نہیں۔

Detector	فروشندہ کے دعوے کے مطابق درستگی	آزادانہ طور پر مشاہدہ شدہ	غلط مثبت نتائج کے بارے میں فروشندہ کیا کہتا ہے
Turnitin	نشان زد کرنے سے پہلے 98% اعتماد کی حد، دستاویز کی سطح پر 1% سے کم غلط مثبت نتائج	تقریباً 80% درستگی، 2023 کے ایک موازنہ میں 12 ٹولز میں سب سے بہتر، ٹول کے پہلے ورژن پر	20% AI-written حد سے اوپر دستاویز کی سطح پر 1% سے کم، جملے کی سطح پر تقریباً 4%
GPTZero	آزاد RAID benchmark پر 1% غلط مثبت شرح کے ساتھ 95.7% AI-text detection	مختصر اقتباسات پر 96% درستگی، 2025 University of Chicago Booth study میں غلط مثبت شرح 1% سے کم	RAID benchmark پر 1% غلط مثبت شرح رپورٹ کرتا ہے
Originality.ai	99% درستگی، 0.5% غلط مثبت شرح (Lite model), 1.5% (Turbo model)	غلط مثبت شرح 1% سے کم، لیکن اسی Booth study میں AI-written متن کا 10% سے 40% تک مس کر دیا	model tier کے لحاظ سے الگ غلط مثبت اعداد و شمار شائع کرتا ہے
Pangram	وہ غلطی کی شرحیں جن کے بارے میں یہ کہتا ہے کہ وہ مقابل tools سے 38 گنا سے زیادہ کم ہیں، یہ بھی کہ غیر مقامی English لکھنے والوں کے خلاف کوئی تعصب نہیں	Booth study میں درستگی کبھی 99.8% سے کم نہیں، غلط مثبت شرح تقریباً صفر	10 text domains اور 8 language models میں تقریباً صفر غلط مثبت شرحوں کا دعویٰ کرتا ہے

دو باتیں نمایاں ہیں۔ پہلی، فروشندہ کے تمام اعداد و شمار ایک ایسی لیب سے ہیں جو فروشندہ کے کنٹرول میں ہے، اور Booth کے اعداد و شمار ایسے محققین سے ہیں جن کے پاس بیچنے کے لیے کچھ نہیں۔ دوسری، Turnitin اس درمیانی کالم میں بالکل شامل نہیں ہے کیونکہ 2025 study نے اس کا امتحان نہیں کیا۔ جدول میں اس کا آزادانہ عدد 2023 کے ایک پہلے موازنہ پر مبنی ہے، لیکن یہ ٹول کے ایک پرانے ورژن پر کیا گیا تھا، اس لیے جدول کو ایک جیسے پیمانے پر موازنہ سمجھتے وقت اسے یاد رکھیں۔

Turnitin کی AI detection کتنی درست ہے؟

Turnitin ایک ہی درستگی کا عدد شائع نہیں کرتا۔ یہ اس کے بجائے ایک حد اور ایک سمجھوتہ شائع کرتا ہے۔ کمپنی نے کہا ہے کہ وہ صرف اسی وقت کسی دستاویز کو نشان زد کرتی ہے جب اسے 98 فیصد یقین ہو کہ نشان زدہ حصہ AI سے لکھا گیا ہے، اور یہی حد دستاویز کی سطح پر غلط مثبت شرح کو 1 فیصد سے کم رکھتی ہے۔ Turnitin نے اندازہ لگایا ہے کہ وہ AI کی مدد سے لکھی گئی تحریر کا تقریباً 85 فیصد پکڑ لیتا ہے، اور باقی کو جان بوجھ کر گزرنے دیتا ہے تاکہ غلط الزام کا خطرہ نہ ہو۔

حقیقی طور پر غلط مثبت نتائج کی وہ شرح جو Turnitin جملے کی سطح پر واپس دیتا ہے, یعنی جہاں ایک انٹرفیس پوری دستاویز کے بجائے مخصوص سطور کو نمایاں کرتا ہے, دراصل تقریباً 4 فیصد کے قریب ہے۔ اگر کوئی پروفیسر پوری دستاویز کے اسکور کے بجائے صرف ایک نشان زدہ پیراگراف کا اسکرین شاٹ لے, تو یہی وہ عدد ہے جسے جاننا اہم ہے, کیونکہ نمایاں کیا گیا جملہ اس کے ساتھ موجود دستاویز کے اسکور کے مقابلے میں غلط ہونے کا نمایاں طور پر زیادہ امکان رکھتا ہے۔

یہ بھی قابلِ ذکر ہے کہ Turnitin نے اس فرق کو براہِ راست تسلیم کیا ہے۔ انہوں نے پایا کہ ان کے ابتدائی حقیقی دنیا کے نتائج, خاص طور پر مختصر دستاویزات کے لیے, ان کی لیب ٹیسٹوں کی بنیاد پر متوقع نتائج کے مقابلے میں غلط مثبت شرحیں زیادہ رکھتے تھے۔ چنانچہ انہوں نے اسکور کیے جانے کے لیے اپنی کم از کم دستاویز لمبائی 150 سے بڑھا کر 300 الفاظ کر دی۔ یہ ایک ایسا فروشندہ ہے جو اپنی ہی مصنوعات میں اس لیے تبدیلی کر رہا ہے کہ شائع شدہ عدد لیب سے باہر برقرار نہیں رہا, اور یہ بات کسی بھی آزاد مطالعے جتنی ہی معنی رکھتی ہے۔

ایک غلط مثبت نتیجہ ایک طالب علم کو حقیقت میں کیا نقصان پہنچاتا ہے

یہ Yale's School of Management کے ایک ایگزیکٹو MBA طالب علم کے ساتھ ہوا۔ طالب علم پر، ممکنہ حد تک لفظی معنوں میں، ایک خلاف ورزی کا الزام عائد کیا گیا۔ اس میں شامل detector GPTZero تھا۔ مالیات کے ایک کورس میں طالب علم کا آخری امتحان ایک teaching assistant نے نشان زد کیا تھا جس کے خیال میں تحریر طویل اور مفصل تھی, اور اس میں تقریباً بے عیب رموزِ اوقاف اور قواعد تھے۔ اور یہ مخصوص professor اسے GPTZero سے گزار رہا تھا, جس نے جوابات کو غالباً AI سے تیار شدہ قرار دیا۔

وہ کورس میں ناکام ہوا اور اسے ایک سال کے لیے معطل کر دیا گیا۔ فروری 2025 میں وفاقی عدالت میں دائر کی گئی اس کی قانونی درخواست میں دعویٰ کیا گیا ہے کہ Yale کی اپنی پالیسی اسی وجہ سے GPTZero جیسے اوزار کے استعمال کو محدود کرتی ہے، یعنی غیر مادری انگریزی بولنے والوں کے خلاف اس کی دستاویزی false positive شرح، اور اس نے اس پالیسی کے خلاف اسے استعمال کیا۔ اس کی درخواست میں یہ بھی درج ہے کہ GPTZero نے Yale کے اپنے سابق یونیورسٹی صدر اور بزنس اسکول کے ڈین کی علمی تحریر پر 100 percent AI-generated اسکور دیا۔

جج نے May 2025 میں ابتدائی injunction جاری کرنے سے انکار کر دیا۔ یہ مقدمہ ابھی تک حل نہیں ہوا ہے, جب میں یہ لکھ رہا ہوں۔ مدعی، ایک فرانسیسی شہری، دعویٰ کرتا ہے کہ غیر مادری انگریزی بولنے والوں کے خلاف یہی معروف تعصب اس کی تحریر کے اس طرح کارکردگی دکھانے کا سبب بنا۔ اگلے حصے میں ہم اسی پر نظر ڈالتے ہیں۔ جس چیز پر بحث نہیں ہے وہ قیمت ہے: ڈگری پروگرام سے ایک سال ضائع ہونا، ناکام گریڈ، قانونی اخراجات، اور اسکور پر جھگڑتے ہوئے کئی مہینے، بجائے اس کے کہ ڈگری حاصل کی جاتی۔ 1 percent false positive rate معمولی لگتی ہے، یہاں تک کہ جب ایک بڑی آبادی اسے کسی مخصوص فرد کا مسئلہ بنا دے۔

AI detectors غیر مادری انگریزی بولنے والوں کی غلط درجہ بندی کیوں کرتے ہیں؟

بری طرح، اور بہت بڑے فرق سے۔ یہی اس مطالعے کا نتیجہ ہے جس نے سب سے پہلے اس کی مقدار متعین کی۔ Stanford کے محققین نے وسیع پیمانے پر استعمال ہونے والے سات GPT detectors کو غیر مادری انگریزی بولنے والوں کے 91 TOEFL مضامین اور US کے آٹھویں جماعت کے طلبہ کے 88 مضامین کے خلاف آزمایا۔ detectors نے آٹھویں جماعت کے مضامین کو تقریباً ہر بار درست پڑھا۔ جب TOEFL مضامین کی بات آئی، جو بالغ افراد نے لکھے تھے اور graduate-level English test دینے کے لیے کافی روانی رکھتے تھے، detectors کی اوسط false positive rate 61.3 percent تھی۔ 91 مضامین میں سے 89 کو سات میں سے کم از کم ایک detector نے GPT-generated قرار دیا؛ ان میں سے 18 مضامین کو ساتوں detectors نے flag کیا۔

طریقۂ کار وہی ہے جو باقی detection کو کنٹرول کرتا ہے: پیش گو الفاظ اور سادہ جملہ سازی کم perplexity کے طور پر پڑھی جاتی ہے، اور کم perplexity مشینی ساخت کے طور پر پڑھی جاتی ہے، اس سے قطع نظر کہ قلم کس کے ہاتھ میں ہے۔ دوسری زبان میں کام کرنے والے writers عموماً پہلے سے رائج تراکیب پر انحصار کرتے ہیں کیونکہ اضافی زبان میں روانی دراصل اسی طرح نظر آتی ہے، اور یہی وہ profile ہے جسے detector نشان زد کرنے کے لیے بنایا گیا تھا۔

اس صورتِ حال میں موجود writers کے لیے یہ مشورہ کہ بس زیادہ فطری انداز میں لکھیں، مفید نہیں، کیونکہ فطری انداز ہی وہ چیز تھی جسے نشان زد کیا گیا۔ TextPulse's ESL academic writers کے لیے page اس خطرے کے پیچھے موجود phrasing patterns کو زیادہ تفصیل سے بیان کرتی ہے، جن میں یہ بھی شامل ہے کہ وہ sentence کے معنی بدلے بغیر اسے کیسے تبدیل کرتے ہیں۔

یہ کوئی الگ تھلگ case نہیں تھا۔ December 2025 میں ایک نیا benchmark جاری کیا گیا، جسے صراحتاً ان detectors میں bias کا جائزہ لینے کے لیے ڈیزائن کیا گیا تھا۔ اس میں متعدد demographics اور languages کے across 200,000 سے زیادہ samples شامل تھے۔ Stanford کی پہلی study کے دو سال بعد ہونے اور انہی detectors کے بہت سے مختلف model versions شامل کرنے کے باوجود، اس benchmark نے ظاہر کیا کہ English language learners کے خلاف bias اب بھی موجود ہے۔

یہ تمام vendors کے لیے case نہیں ہے۔ Pangram کی اپنی technical documentation میں کہا گیا ہے کہ اس کا classifier non-native English speakers کے خلاف biased نہیں ہے۔ Chicago Booth کے researchers نے اس claim کو independently test نہیں کیا، لیکن یہ ضرور ظاہر کرتا ہے کہ detectors کی نئی generation مسئلے کو نظر انداز کرنے کے بجائے اسے ذہن میں رکھ کر بنائی جا رہی ہے۔

اگر آپ دیکھنا چاہتے ہیں کہ آپ کی اپنی writing دوسروں کے score کرنے سے پہلے کہاں کھڑی ہے، تو ایک free perplexity checker آپ کو وہی بنیادی number دیتا ہے جو detector compute کرے گا، بغیر اس کے کہ پہلے کسی institution کو کچھ submit کیا جائے۔

اور کن لوگوں پر نشان لگتا ہے، اور کیوں

غیر مقامی انگریزی بولنے والے سب سے بڑے دستاویزی خطرے کے حامل ہیں، لیکن یہی شماریاتی منطق دوسری تحریروں پر بھی لاگو ہوتی ہے۔ Weber-Wulff کی ٹیم نے پایا کہ جن 14 tools کو انہوں نے آزمایا، وہ paraphrased texts پر چلانے پر کم درست تھے، یہ academic writing کے اس قابلِ لحاظ حصے کی وضاحت کرتا ہے جو کسی detector کے چلنے سے پہلے proofreader، editor، یا supervisor کی red pen سے گزر چکا ہوتا ہے۔

اس میں سے کوئی بات اس عدد کو بے معنی نہیں بناتی، صرف یہ کہ کسی مخصوص شخص کے بارے میں کچھ معنی اخذ کرنے سے پہلے اس کی تائید ضروری ہے۔ اگر آپ کے پاس ایسی text ہو جو یکساں محسوس ہو، جملوں کی طوالت ملتی جلتی ہو، پورے متن میں rhythm بھی ملتا جلتا ہو، تو وہ اسے لکھنے والے یا اس کی وجہ سے قطع نظر زیادہ machine-like score کرے گی۔ اس کی جانچ براہِ راست free burstiness checker سے کی جا سکتی ہے، اندازے سے نہیں۔

ایک قابلِ دفاع AI detection policy کی صورت کیا ہوتی ہے

Yale کے پاس پہلے ہی ایک policy موجود تھی جو رپورٹ کے مطابق GPTZero جیسے tools کو محدود کرتی تھی، تقریباً انہی وجوہ کی بنا پر جو اس مضمون میں بیان کی گئی ہیں، یعنی documented false positive rate اور non-native English writers کے خلاف documented bias۔ اس لیے یہ اتنا ایک بدقسمت طالب علم کی کہانی نہیں جتنا کہ ایک موجودہ rule پر عمل نہ ہونے کی صورت ہے۔ جب کوئی policy واقعی score اور verdict کے درمیان فرق نافذ کرتی ہے، تب score verdict کے بجائے صرف ایک input رہ جاتا ہے۔

• score کو ایک input سمجھیں، misconduct finding کی واحد بنیاد کبھی نہ بنائیں
• استعمال سے پہلے tool کی published false positive rate طلبہ کو بتائیں
• short submissions اور non-native English writing پر اضافی احتیاط برتیں، دونوں documented weak points ہیں
• اپیل کا ایسا راستہ یقینی بنائیں جس کے لیے کسی statistic کو غلط ثابت کرنا لازم نہ ہو

اس میں کوئی غیر معمولی بات نہیں۔ یہ اس کے زیادہ قریب ہے کہ کسی بھی دوسری جگہ forensic evidence کے کسی ایک ٹکڑے کے ساتھ کیسے برتاؤ ہونا چاہیے، مفید، قابلِ جانچ، اور کبھی بھی اپنی ذات میں کافی نہیں۔

انفرادی writer کے لیے بھی یہی اصول score کے وجود میں آنے سے پہلے لاگو ہوتا ہے، بعد میں نہیں۔ کسی بھی tool سے آیا ہوا ایک عدد verdict نہیں بلکہ ایک estimate ہے، اور اسے دونوں سمتوں میں certainty سمجھنا، محفوظ یا پکڑا گیا، اس عدد سے اس کی استطاعت سے زیادہ مطالبہ کرتا ہے۔

TextPulse کا اپنا AI humanizer tool اسی منطق پر Human Score دکھاتا ہے: یہ آپ کے اپنے متن سے نکالا گیا ایک اندازہ ہے، کسی detector کا اس پر دیا گیا فیصلہ نہیں، اور یہ اس بات کا اشارہ دینے کے لیے مفید ہے کہ مسودہ اس وقت کیسا پڑھا جا رہا ہے، نہ کہ اس بات کی کوئی ضمانت کہ کوئی خاص detector کیا کہے گا۔

درستگی کا سوال مزید محدود سوالات میں تقسیم ہو جاتا ہے، اور ہر ایک کے لیے الگ صفحہ ہے۔ وہ شرح جس پر detectors انسانی تحریر کو flag کرتے ہیں الگ سے زیر بحث ہے، اسی طرح Turnitin کی false positive rate اور ZeroGPT کی accuracy پر مخصوص شواہد بھی الگ ہیں۔ اگر کوئی score پہلے ہی آپ کے خلاف استعمال ہو چکا ہے، تو جب آپ پر AI استعمال کرنے کا الزام لگایا جائے تو کیا کرنا چاہیے، یہ ثابت کرنے کے لیے کہ آپ نے AI استعمال نہیں کیا جو شواہد آپ جمع کر سکتے ہیں، اور ایک appeal letter لکھنے پر عملی مضامین موجود ہیں جو score کا جواب اس کی اپنی شرائط پر دیتے ہیں۔

کسی بھی report میں درج عدد vendors کے اپنے models کو دوبارہ train کرنے اور researchers کے انہیں زیادہ مشکل cases کے خلاف آزماتے رہنے کے ساتھ بدلتا رہے گا۔ لیکن جو چیز نہیں بدلنی چاہیے وہ اس کے پیچھے موجود عادت ہے: score کو کئی measurements میں سے ایک measurement سمجھیں، پوچھیں کہ اسے کس population پر validate کیا گیا تھا، اور پوچھیں کہ vendor ان cases کے بارے میں کیا نہیں کہہ رہا جن میں وہ اب بھی غلطی کرتا ہے۔