کیا AI Detectors درست ہیں؟ غلط مثبت نتائج اور تعصب

Turnitin کا دعویٰ ہے کہ اس کی false positive rate 1% سے کم ہے۔ آزاد محققین کے ایک گروپ نے غیر مادری انگریزی بولنے والوں کی تحریری نمونوں کی ایک وسیع تر رینج پر متعدد detectors کا تجربہ کیا۔ انہوں نے پایا کہ اسی نوعیت کی تحریر پر اوسط false positive rate 60% سے زیادہ تھی۔ دونوں اعداد حقیقی ہیں، دونوں شائع ہوئے تھے، اور دونوں ایسے detectors سے متعلق ہیں جو ایک ہی بازار کو فروخت کیے جاتے ہیں۔ کیا AI detectors درست ہیں؟ یہ اس پر منحصر ہے کہ آپ نے کس آبادی کو test کیا، آپ نے کون سا detector استعمال کیا، اور آپ کے vendor نے ابتدا میں اس کی تعریف کیسے کی تھی۔

یہ post اس بات کی دوبارہ وضاحت نہیں کرے گا کہ detector وہ score کیسے compute کرتا ہے۔ mechanism, perplexity, token probability, classifier کو کیسے train کیا جاتا ہے, یہ دوسری جگہ تفصیل سے covered ہے, اور اگر آپ نے ابھی تک نہیں پڑھا تو پہلے اسے پڑھنا مفید ہے۔ یہاں اہم بات یہ ہے کہ score موجود ہونے کے بعد کیا ہوتا ہے: یہ کتنی بار غلط ہوتا ہے, کس کی تحریر کے بارے میں یہ زیادہ تر غلط ہوتا ہے, اور ایک false accusation کی اصل قیمت اس شخص کو کیا چکانی پڑتی ہے جس نے کچھ غلط نہیں کیا تھا۔

کیا AI detectors درست ہیں؟

مسلسل طور پر نہیں, اور marketing claims اور independent testing کے درمیان فرق اچھی طرح documented ہے۔ Debora Weber-Wulff کی قیادت میں محققین کے ایک گروپ نے 2023 میں 14 detection tools, جن میں 12 free اور دو commercial شامل تھے, کے بارے میں اپنے نتائج شائع کیے, جنہیں human اور ChatGPT text کے ایک امتزاج کے خلاف test کیا گیا تھا۔ انہوں نے پایا کہ ان tools میں سے کوئی بھی accurate یا reliable نہیں ہے, اور ان میں ایک built-in bias موجود ہے جو machine text کو human کے طور پر label کرنے کی طرف ہے, اس کے برعکس نہیں۔ اس test میں شامل دو commercial tools Turnitin اور PlagiarismCheck تھے۔ اس test میں موجود تمام tools نے اس وقت بدتر کارکردگی دکھائی جب text کو paraphrase کیا گیا تھا۔

لیکن دو سال بعد، صورت حال جمود کا شکار نہیں ہے۔ University of Chicago کے Booth School کی ایک working paper، جسے Brian Jabarian اور Alex Imas نے تیار کیا، نے تین نئے آنے والوں، Pangram، GPTZero اور Originality.ai، اور ایک open-source حریف کو تقریباً 2,000 انسانی تحریر کردہ مضامین کے ساتھ آزمایا، جو blogs، news، reviews اور fiction سے لیے گئے تھے۔ کنٹرول شدہ آزمائشی حالات میں، اس مجموعے میں بہترین tool کی accuracy کبھی 99.8 percent سے کم نہیں ہوئی اور اس کی false positive rate کم سطح پر برقرار رہی۔ open-source model نے بھی ایک random guesser جتنی کارکردگی دکھائی۔ واقعی صورت حال بہتر ہوئی ہے۔ کسی حد تک۔ تھوڑی سی۔

لیکن اصل نکتہ controlled لفظ ہے۔ benchmark passages صاف، مکمل اور معلوم حالات میں تیار کیے گئے ہوتے ہیں۔ جمع کرایا گیا essay ان میں سے کوئی چیز قابل اعتماد طور پر نہیں ہوتا۔ حقیقی دنیا کے نتائج laboratory نتائج سے یکساں نہیں بھی ہو سکتے، جیسا کہ Turnitin کے اپنے chief product officer نے عوامی طور پر کہا ہے، اگرچہ یہ کسی vendor کی طرف سے ایک نادر اور مفید اعتراف ہے۔ اگلا حصہ vendor کے اعداد و شمار کو آزادانہ اعداد و شمار کے ساتھ رکھتا ہے تاکہ فرق محض دعویٰ نہ رہے بلکہ واضح نظر آئے۔

Vendor کے دعوے بمقابلہ آزادانہ جانچ

نیچے دی گئی table چار detectors کے اپنے دعووں کو ان نتائج کے ساتھ برابر رکھتی ہے جو آزاد محققین نے tools کو براہ راست آزمانے پر حاصل کیے۔ درمیانی دو columns کو ایک ساتھ پڑھیں، صرف vendor column کو نہیں۔

Detector	Vendor-claimed accuracy	Independently observed	What the vendor says about false positives
Turnitin	98% confidence threshold before flagging; under 1% document-level false positives	تقریباً 80% درستگی، 2023 کے ایک موازنہ میں 12 tools میں سب سے بہتر، tool کے پہلے ورژن پر	20% AI-written threshold سے اوپر document level پر 1% سے کم, sentence level پر تقریباً 4%
GPTZero	95.7% AI-text detection at a 1% false positive rate on the independent RAID benchmark	مختصر passages پر 96% درستگی, 2025 University of Chicago Booth study میں false positive rate 1% سے کم	RAID benchmark پر 1% false positive rate رپورٹ کرتا ہے
Originality.ai	99% accuracy; 0.5% false positive rate (Lite model), 1.5% (Turbo model)	false positive rate 1% سے کم, لیکن اسی Booth study میں AI-written text کا 10% سے 40% تک miss کیا	model tier کے لحاظ سے الگ false-positive اعداد و شمار شائع کرتا ہے
Pangram	Error rates it says are over 38 times lower than competing tools; states no bias against non-native English writers	Booth study میں درستگی کبھی 99.8% سے کم نہیں, false positive rate تقریباً صفر	10 text domains اور 8 language models میں تقریباً صفر false positive rates بیان کرتا ہے

دو باتیں نمایاں ہیں۔ پہلی، تمام vendor اعداد و شمار ایک ایسے lab سے ہیں جو vendor کے کنٹرول میں ہے اور Booth کے اعداد و شمار ایسے researchers سے ہیں جن کے پاس بیچنے کے لیے کچھ نہیں۔ دوسری، Turnitin اس درمیانی column میں بالکل شامل نہیں ہے کیونکہ 2025 study نے اسے test نہیں کیا۔ table میں اس کا independent figure 2023 کے ایک پہلے comparison پر مبنی ہے، لیکن یہ tool کے پرانے version پر کیا گیا تھا، اس لیے table کو like-for-like comparison کے طور پر دیکھتے وقت اسے یاد رکھیں۔

Turnitin کی AI detection کتنی درست ہے؟

Turnitin ایک ہی درستگی کا عدد شائع نہیں کرتا۔ یہ اس کے بجائے ایک حد اور ایک سمجھوتا شائع کرتا ہے۔ کمپنی نے کہا ہے کہ وہ صرف اسی وقت کسی دستاویز کو نشان زد کرتی ہے جب اسے 98 percent یقین ہو کہ نشان زدہ حصہ AI-written ہے، اور یہی حد document-level false positive rate کو 1 percent سے کم رکھتی ہے۔ Turnitin نے اندازہ لگایا ہے کہ وہ AI-helped writing کا تقریباً 85 percent پکڑ لیتا ہے، اور باقی کو جان بوجھ کر گزرنے دیتا ہے تاکہ غلط الزام کا خطرہ نہ ہو۔

sentence level پر Turnitin جو false positives کی اصل percentage واپس کرتا ہے, جہاں ایک interface پوری دستاویز کے بجائے مخصوص سطور کو highlight کرتی ہے, وہ دراصل 4 percent کے زیادہ قریب ہے۔ اگر کوئی professor ایک نشان زدہ پیراگراف کا screenshot لے، نہ کہ پوری دستاویز کا score، تو یہی وہ عدد ہے جسے جاننا اہم ہے، کیونکہ highlight کی گئی sentence کے غلط ہونے کا امکان اس کے ساتھ موجود document score کے مقابلے میں نمایاں طور پر زیادہ ہوتا ہے۔

یہ بھی قابلِ ذکر ہے کہ Turnitin نے اس فرق کو براہِ راست تسلیم کیا ہے۔ انہوں نے پایا کہ ان کے پہلے حقیقی دنیا کے نتائج, خاص طور پر مختصر دستاویزات کے لیے, ان کے lab tests کی بنیاد پر متوقع false positives سے زیادہ تھے۔ چنانچہ انہوں نے scoring کے لیے اپنی کم از کم document length 150 سے بڑھا کر 300 words کر دی۔ یہ ایک vendor کی طرف سے اپنی ہی product میں تبدیلی ہے کیونکہ شائع شدہ عدد lab سے باہر برقرار نہیں رہا، اور یہ بات کسی بھی independent study جتنی ہی واضح ہے۔

ایک false positive طالب علم کو حقیقت میں کیا نقصان پہنچاتا ہے

یہ Yale's School of Management کے ایک executive MBA student کے ساتھ ہوا۔ طالب علم پر violation کا الزام عائد کیا گیا, بالکل لفظی معنی میں۔ اس میں استعمال ہونے والا detector GPTZero تھا۔ finance course کے طالب علم کے final exam کو ایک teaching assistant نے نشان زد کیا تھا جس نے سمجھا کہ تحریر طویل اور مفصل ہے, اور اس میں تقریباً بے عیب punctuation اور grammar ہے۔ اور یہی مخصوص professor اسے GPTZero سے گزار رہا تھا, جس نے answers کو likely AI-generated قرار دیا۔

وہ کورس میں ناکام ہو گیا اور اسے ایک سال کے لیے معطل کر دیا گیا۔ اس کا مقدمہ، جو فروری 2025 میں وفاقی عدالت میں دائر کیا گیا، دعویٰ کرتا ہے کہ Yale کی اپنی پالیسی اسی وجہ سے GPTZero جیسے ٹولز کے استعمال کو محدود کرتی ہے، یعنی غیر مادری انگریزی بولنے والوں کے خلاف اس کی دستاویزی false positive rate، اور یہ کہ اس نے اسی پالیسی کے خلاف اسے استعمال کیا۔ اس کی عرضی میں یہ بھی درج ہے کہ GPTZero نے Yale کے اپنے سابق یونیورسٹی صدر اور بزنس اسکول کے ڈین کی علمی تحریر پر 100 percent AI-generated score دیا۔

جج نے May 2025 میں ابتدائی injunction جاری کرنے سے انکار کر دیا۔ یہ مقدمہ ابھی تک حل نہیں ہوا ہے, (جب میں یہ لکھ رہا ہوں)۔ مدعی، ایک فرانسیسی شہری، دعویٰ کرتا ہے کہ غیر مادری انگریزی بولنے والوں کے خلاف یہی معروف تعصب اس کی تحریر کے اس طرح کارکردہ ہونے کا سبب بنا۔ اگلے حصے میں ہم اسی پر غور کرتے ہیں۔ جس چیز پر بحث نہیں ہے وہ قیمت ہے: ایک ڈگری پروگرام سے ایک سال ضائع ہونا، ایک failing grade، قانونی اخراجات، اور ڈگری حاصل کرنے کے بجائے score پر کئی مہینے لڑتے رہنا۔ 1 percent false positive rate معمولی لگتی ہے، جب تک کہ ایک بڑی آبادی اسے کسی مخصوص فرد کا مسئلہ نہ بنا دے۔

تحریر کی کون سی خصوصیات انسانی متن کو مشینی ساخت کا حامل دکھاتی ہیں

عام تحریر کی چار قسمیں سب سے زیادہ خطرہ رکھتی ہیں، اور ان میں سے کوئی بھی اس بات سے متعلق نہیں کہ کوئی شخص کچھ غلط کر رہا ہو۔ مختصر دستاویزات، بہت زیادہ قالبی تحریر، اقتباس شدہ یا سانچے پر مبنی مواد، اور وہ تحریر جس کی سختی سے proofreading کی گئی ہو, عموماً آزادانہ طور پر لکھی گئی نثر کے مقابلے میں زیادہ قابلِ پیش گوئی score کرتی ہیں، اور یہی وہ واحد خصوصیت ہے جسے ہر detector حقیقت میں ناپ رہا ہوتا ہے۔ ایک free burstiness checker اسی تغیر کو براہِ راست ناپتا ہے، جو اس کی وضاحت پڑھنے کے مقابلے میں اس نمونے کو دیکھنے کا زیادہ تیز طریقہ ہے۔

کچھ اصناف اپنی ساخت ہی کے اعتبار سے فارمولائی ہوتی ہیں۔ طریقۂ کار کا حصہ، لیب رپورٹ، معیاری کور لیٹر اور ادبی جائزہ، سب میں اختراعی فقرے کے مقابلے میں روایتی فقرہ زیادہ موزوں ہوتا ہے، کیونکہ یہی روایت دستاویز کو اس کے قاری کے لیے قابلِ استعمال بناتی ہے۔ محققین نے اس بات کو براہِ راست حقیقی تحریر پر آزمایا: انہوں نے 1980 اور 2023 کے درمیان شائع ہونے والے 14,400 جرنل خلاصوں کو، یعنی ان برسوں میں جب کوئی بڑا زبان ماڈل موجود نہیں تھا، ایک عوامی طور پر دستیاب ڈیٹیکٹر سے گزارا۔ 8 فیصد تک کو AI-generated قرار دے کر نشان زد کیا گیا، اشاعت کے سال سے قطع نظر، اور New England Journal of Medicine کے خلاصوں کو 10.24 فیصد پر نشان زد کیا گیا، جو آزمائے گئے پانچ جرائد میں سب سے زیادہ false positive شرح تھی۔

یہ ٹیسٹ ChatGPT کے بارے میں کچھ بھی معلوم نہیں کر سکتا تھا، کیونکہ ChatGPT ان برسوں کے بیشتر حصے میں موجود ہی نہیں تھا جن کا اس نے نمونہ لیا۔ اس نے صنف کو شناخت کیا۔ زیادہ رسمی طور پر، جیسا کہ detection problem کے بارے میں 2026 کا شماریاتی تجزیہ بیان کرے گا، ایسا کوئی طریقہ نہیں کہ ایسا ڈیٹیکٹر بنایا جائے جو اس جملے میں فرق کر سکے جو اس لیے قابلِ پیش گوئی ہے کہ اسے software نے لکھا تھا، اور اس جملے میں جو اس لیے قابلِ پیش گوئی ہے کہ وہ اپنی صنف میں اسی نوعیت کی چیز ہے۔ باہر سے دونوں بالکل ایک جیسے نظر آتے ہیں۔

شدید تدوین بھی اسی سمت دھکیلتی ہے۔ ابتدائی مسودہ لکھنے والے کی مخصوص بے قاعدگیاں ساتھ لاتا ہے, عجیب لفظی ترتیب، وہ جملہ جو اس لیے طویل ہو جاتا ہے کہ خیال بھی طویل تھا۔ مفصل proofreading، خاص طور پر جب اسے کسی دوسرے tool سے گزارا جائے، عموماً انہی بے قاعدگیوں کو ہموار کر کے دور کر دیتا ہے۔ اب تک کے detection tools کے سب سے بڑے آزاد تقابلی مطالعے نے 14 tools کو آزمایا اور پایا کہ جب نمونہ متن کو paraphrased کیا گیا یا machine-translated کیا گیا تو ہر tool کی accuracy مزید کم ہو گئی۔

تحریری خصوصیت	یہ کسی دستاویز کی بظاہر غیر متوقعیت کو کیوں کم کرتی ہے	شواہد کیا دکھاتے ہیں
مختصر جمع کرائی گئی تحریریں	کم متن انسانی ردھم اور مشینی ردھم کے درمیان فطری تنوع کے لیے کم گنجائش چھوڑتا ہے	مختصر دستاویزات پر اسکور چند غیر معمولی جملوں کی بنیاد پر زیادہ اتار چڑھاؤ دکھاتے ہیں
فارمولائی یا شعبہ مخصوص تحریر	صنف کی روایت متوقع فقرے کو اختراعی فقرے پر ترجیح دیتی ہے	14,400 قبل از ChatGPT جرنل خلاصے (1980 سے 2023) پھر بھی 8% تک غلط مثبت نتائج پیدا کرتے رہے, ایک جرنل کے خلاصوں میں یہ شرح 10.24% تک پہنچی
بہت زیادہ تدوین شدہ یا پیرا فریز کیے گئے مسودے	پالش کرنے کا مرحلہ ان انفرادی بے قاعدگیوں کو ہموار کر دیتا ہے جنہیں ایک ڈیٹیکٹر انسانی سمجھتا ہے	14 ٹولز کے ایک آزاد تقابلی مطالعے میں پایا گیا کہ پیرا فریزنگ یا مشینی ترجمے کے بعد درستگی مزید کم ہو گئی
اقتباس شدہ یا سانچہ جاتی مواد	اقتباس شدہ عبارت اپنی ماخذ کی شماریاتی شناخت رکھتی ہے, نہ کہ حوالہ دینے والے مصنف کی	جو ڈیٹیکٹر اقتباسات کو خارج نہیں کرتے وہ اردگرد کی دستاویز کو مستعار متن کی بنیاد پر اسکور کرتے ہیں

AI ڈیٹیکٹر غیر مقامی انگریزی بولنے والوں کو غلط درجہ بندی کیوں کرتے ہیں؟

بری طرح, اور بہت بڑے فرق کے ساتھ۔ یہی اس مطالعے کا نتیجہ تھا جس نے پہلی بار اس کی عددی پیمائش کی۔ Stanford کے محققین نے غیر مقامی انگریزی بولنے والوں کے 91 TOEFL مضامین اور US کے آٹھویں جماعت کے 88 مضامین کے خلاف وسیع پیمانے پر استعمال ہونے والے سات GPT ڈیٹیکٹر آزمائے۔ ڈیٹیکٹرز نے آٹھویں جماعت کے مضامین تقریباً ہر بار درست پڑھے۔ جب TOEFL مضامین کی بات آئی, جو بالغ افراد نے لکھے تھے اور graduate-level English test دینے کے لیے کافی روانی رکھتے تھے, تو ڈیٹیکٹرز کی اوسط false positive شرح 61.3 percent تھی۔ 91 مضامین میں سے 89 کو کم از کم سات میں سے ایک ڈیٹیکٹر نے GPT سے تیار کردہ قرار دیا; ان میں سے 18 مضامین کو تمام سات ڈیٹیکٹرز نے flag کیا۔

طریقۂ کار وہی ہے جو باقی تمام detection کو govern کرتا ہے: متوقع vocabulary اور زیادہ سادہ sentence construction کم perplexity کے طور پر read ہوتے ہیں، اور کم perplexity machine-made کے طور پر read ہوتی ہے، اس سے قطع نظر کہ قلم کس کے ہاتھ میں ہے۔ دوسری زبان میں کام کرنے والے writers well-established phrasing پر انحصار کرتے ہیں کیونکہ اضافی زبان میں fluency حقیقت میں اسی طرح نظر آتی ہے، اور یہی بالکل وہ profile ہے جسے detector flag کرنے کے لیے بنایا گیا تھا۔

اس position میں موجود writers کو یہ مشورہ کہ بس زیادہ naturally لکھیں، خاص طور پر فائدہ نہیں دیتا، کیونکہ natural ہونا ہی وہ چیز تھی جس پر flag لگا۔ TextPulse's ESL academic writers کے لیے page اس risk کے پیچھے موجود phrasing patterns کو زیادہ تفصیل سے بیان کرتا ہے، including وہ تبدیلیاں جو sentence کے meaning کو بدلے بغیر انہیں بدل دیتی ہیں۔

یہ کوئی isolated case نہیں تھا۔ December 2025 میں ایک نیا benchmark جاری کیا گیا، جسے explicitly ان detectors میں bias evaluate کرنے کے لیے design کیا گیا تھا۔ اس میں multiple demographics اور languages کے across 200,000 سے زیادہ samples شامل تھے۔ Stanford کے پہلے study سے دو سال بعد ہونے اور انہی detectors کے many different model versions شامل کرنے کے باوجود، اس benchmark نے ظاہر کیا کہ English language learners کی طرف bias اب بھی موجود ہے۔

یہ تمام vendors کے لیے case نہیں ہے۔ Pangram کی اپنی technical documentation میں کہا گیا ہے کہ اس کا classifier non-native English speakers کے خلاف biased نہیں ہے۔ Chicago Booth کے researchers نے اس claim کو independently test نہیں کیا، لیکن یہ ضرور دکھاتا ہے کہ detectors کی نئی generation مسئلے کو نظر انداز کرنے کے بجائے اسے ذہن میں رکھ کر بنائی جا رہی ہے۔

اگر آپ دیکھنا چاہتے ہیں کہ آپ کی اپنی writing دوسروں کے score کرنے سے پہلے کہاں کھڑی ہے، تو ایک free perplexity checker آپ کو وہی underlying number دیتا ہے جو detector compute کرے گا، بغیر اس کے کہ کچھ بھی پہلے کسی institution کو submit کیا جائے۔

اور کس پر flag لگتا ہے، اور کیوں

غیر مقامی انگریزی بولنے والے سب سے بڑے دستاویزی خطرے کا سامنا کرتے ہیں، لیکن یہی شماریاتی منطق دوسری تحریروں پر بھی لاگو ہوتی ہے۔ Weber-Wulff کی ٹیم نے پایا کہ جن 14 tools کو انہوں نے آزمایا، وہ paraphrased texts پر چلانے پر کم درست تھے، یہ academic writing کے اس قابلِ ذکر حصے کی وضاحت کرتا ہے جو کسی proofreader، editor، یا supervisor کی سرخ قلمی اصلاح سے گزر چکا ہوتا ہے، اس سے پہلے کہ کوئی detector اسے جانچے۔

اس میں سے کوئی بات یہ نہیں کہ عدد بے معنی ہے، صرف یہ کہ کسی مخصوص شخص کے بارے میں کچھ معنی رکھنے سے پہلے اس کی تصدیق درکار ہے۔ اگر آپ کے پاس ایسی text ہو جو یکساں محسوس ہو، جملوں کی لمبائیاں ملتی جلتی ہوں، پورے متن میں rhythm بھی ملتا جلتا ہو، تو وہ زیادہ machine-like score کرے گی، اس سے قطع نظر کہ اسے کس نے لکھا یا کیوں لکھا۔ اسے اندازے سے نہیں بلکہ براہِ راست free burstiness checker استعمال کر کے جانچا جا سکتا ہے۔

ایک دوسرا، کم زیرِ بحث گروہ ایک متعلقہ مسئلے کا سامنا کرتا ہے۔ محققین نے تقریباً 60,000 Reddit posts کا موازنہ کیا، جنہیں ایک ایسے subset میں تقسیم کیا گیا جو غالباً autistic authors کے لکھے ہوئے سمجھا گیا، اور ایک general sample میں، اور دونوں پر GPT-2-based detector چلایا۔ دونوں گروہوں میں مجموعی طور پر 2 percent سے کم flags آئے، لیکن غالباً autistic subset کو general sample کے مقابلے میں نمایاں طور پر زیادہ rate پر flag کیا گیا۔ ایسی writing جو لفظی، تکراری، اور سختی سے منظم phrasing کی طرف مائل ہو، جو autistic communication styles کے بعض documented features میں سے ایک ہے، بالکل وہ low-variation text پیدا کرتی ہے جسے detector پکڑنے کے لیے بنایا گیا ہے۔

کیوں ایک پراعتماد score، پراعتماد الزام نہیں ہوتا

False positive rate سننے میں ایسا لگتا ہے جیسے یہ اس امکان کی طرف اشارہ کرتا ہو کہ problem کے طور پر flag کیا گیا کوئی ایک student بے قصور ہو سکتا ہے۔ لیکن نہیں۔ یہ اس بات کی وضاحت کرتا ہے کہ test ہر اس شخص کے لیے کیسے کام کرتا ہے جو اسے دیتا ہے۔ اور یہ مختلف سوالات ہیں، جن کے جواب بھی مختلف ہوتے ہیں، بالکل اسی طرح جیسے medicine یا security میں کسی بھی screening test کے ساتھ ہوتا ہے۔

مارچ 2026 کی Griffith University کے ایک محقق کی شماریاتی تجزیہ بنیادی ریاضی کو واضح کرتا ہے۔ AI detection کو ایک ایسے امتحان کے طور پر لیں جو طالب علم لکھنے والوں کی ایک آبادی پر نافذ کیا جاتا ہے، نہ کہ ایک الگ تھلگ دستاویز پر، تو ایک trade-off سامنے آتا ہے: جب بھی اس آبادی کا کچھ حصہ اس انداز میں لکھتا ہے جو فطری طور پر عام AI output سے مشابہ ہو، صنفی روایت کے قریب ہو، دوسری زبان سیکھنے والے کی حد کے قریب ہو، تو کوئی بھی detector جس میں AI-written work کو پکڑنے کی حقیقی صلاحیت ہو، اس اوورلیپ ہونے والے حصے میں سے کچھ پر غلطی کرے گا۔ یہ کسی مخصوص detector کے ناقص بنائے جانے کا دعویٰ نہیں ہے۔ یہ ایک متنوع آبادی کو ایک ہی دستاویز اور کسی اور ثبوت کے بغیر جانچنے کی خاصیت ہے۔

مقالے کی اپنی وضاحتی مثال اس پیمانے کو دکھاتی ہے جو اس میں شامل ہے۔ فرض کریں کہ طالب علموں کی آبادی کا 10 percent حصہ عام AI output کے کافی قریب لکھتا ہے، اور detector کو حقیقی AI-written work کے 80 percent کو پکڑنے کے لیے tuned کیا گیا ہے۔ پھر ریاضی اس آبادی میں اوسط false positive rate کم از کم 7.5 percent کا تقاضا کرتی ہے۔ یہ detector کی engineering میں کوئی خامی نہیں ہے، بلکہ اس بات کا براہ راست نتیجہ ہے کہ اس گروہ کی تحریر شماریاتی طور پر اس چیز سے کتنی زیادہ overlap کرتی ہے جسے detect کیا جا رہا ہے۔

10,000 طالب علموں والی university پر scale کرنے سے، صرف یہ lower bound تقریباً 750 false flags کی طرف اشارہ کرتا ہے، جو ایک متنوع آبادی کو ایک ہی دستاویز کے خلاف، اور وزن دینے کے لیے کسی اور ثبوت کے بغیر، جانچنے کا ریاضیاتی نتیجہ ہے۔ مقالے کا مصنف واضح کرتا ہے کہ یہ مخصوص اعداد و شمار حقیقی ادارے میں ناپے گئے نہیں بلکہ illustrative ہیں۔ یہ مثال مسئلے کی صورت کو دکھاتی ہے، نہ کہ کسی ایک campus کے لیے کوئی مخصوص پیش گوئی۔

AI detection کی ایک قابل دفاع policy کیسی نظر آتی ہے

Yale کے پاس پہلے ہی ایک policy موجود تھی جو رپورٹ کے مطابق GPTZero جیسے tools کو محدود کرتی ہے، تقریباً انہی وجوہات کی بنا پر جنہیں یہ مضمون بیان کر چکا ہے: documented false positive rate اور non-native English writers کے خلاف documented bias۔ اس لیے یہ اتنا ایک بدقسمت طالب علم کی کہانی نہیں جتنا کہ ایک موجودہ rule پر عمل نہ ہونے کی بات ہے۔ جب کوئی policy واقعی score اور verdict کے درمیان فرق کو نافذ کرتی ہے، تو score ایک verdict کے بجائے ایک input بن جاتا ہے۔

• اس اسکور کو ایک ان پٹ سمجھیں، بدعنوانی کے تعین کی واحد بنیاد کبھی نہ بنائیں
• اس آلے کی شائع شدہ false positive rate طلبہ کو اسے ان کے خلاف استعمال کرنے سے پہلے بتائیں
• مختصر submissions اور non-native English writing پر اضافی احتیاط برتیں، یہ دونوں دستاویزی کمزور پہلو ہیں
• اپیل کا ایسا راستہ یقینی بنائیں جس کے لیے کسی statistic کو غلط ثابت کرنا لازم نہ ہو

اس میں کچھ بھی غیر معمولی نہیں ہے۔ یہ اس طریقے کے زیادہ قریب ہے جس طرح کسی بھی دوسری جگہ پر forensic evidence کے کسی ایک ٹکڑے کو برتا جانا چاہیے: مفید، قابلِ جانچ، اور کبھی بھی اپنی ذات میں کافی نہیں۔

ایک انفرادی writer کے لیے، یہی اصول اس وقت بھی لاگو ہوتا ہے جب score موجود ہونے سے پہلے ہو، نہ کہ بعد میں۔ کسی بھی tool سے حاصل ہونے والا ایک عدد verdict نہیں بلکہ ایک estimate ہوتا ہے، اور اسے کسی بھی سمت میں certainty سمجھنا، محفوظ یا پکڑا گیا، اس عدد سے اس کی استطاعت سے زیادہ مطالبہ کرتا ہے۔

TextPulse کا اپنا AI humanizer tool اسی منطق پر Human Score رپورٹ کرتا ہے: آپ کے اپنے متن سے نکالا گیا ایک estimate، اس پر detector کا verdict نہیں، جو اس بات کا مفید اشارہ ہے کہ draft اس وقت کیسا پڑھا جا رہا ہے، نہ کہ اس بات کا وعدہ کہ کوئی خاص detector کیا کہے گا۔

accuracy کا سوال مزید محدود سوالات میں تقسیم ہو جاتا ہے، جن میں سے ہر ایک کا اپنا صفحہ ہے۔ Turnitin's false positive rate اور ZeroGPT's accuracy سے متعلق مخصوص evidence الگ سے بیان کی گئی ہے۔ اگر score پہلے ہی آپ کے خلاف استعمال ہو چکا ہے، تو جب آپ پر AI استعمال کرنے کا الزام لگایا جائے تو کیا کرنا چاہیے، اس evidence پر عملی رہنمائی موجود ہے جسے آپ یہ ثابت کرنے کے لیے جمع کر سکتے ہیں کہ آپ نے AI استعمال نہیں کیا، اور appeal letter لکھنے پر بھی، جو score کا جواب اس کی اپنی شرائط پر دیتا ہے۔

کسی بھی report میں درج عدد vendors کے اپنے models کو retrain کرنے اور researchers کے انہیں زیادہ مشکل cases کے خلاف جانچتے رہنے کے ساتھ بدلتا رہے گا۔ لیکن جو چیز نہیں بدلنی چاہیے وہ اس کے نیچے موجود عادت ہے: score کو کئی measurements میں سے ایک measurement کے طور پر پڑھیں، پوچھیں کہ اسے کس population پر validate کیا گیا تھا، اور پوچھیں کہ vendor ان cases کے بارے میں کیا نہیں کہہ رہا جن میں وہ اب بھی غلطی کرتا ہے۔