AI Detector کے غلط مثبت نتائج: انسانی تحریر کیوں نشان زد ہوتی ہے

1982 میں، New England Journal of Medicine نے بون میرو ٹرانسپلانٹ مریضوں میں سائٹومیگالو وائرس پر ایک مقالہ شائع کیا۔ یہ peer review سے گزرا اور چار دہائیوں تک archive میں پڑا رہا۔ 2023 میں، محققین نے اسے ایک AI writing detector کے ذریعے چلایا جو OpenAI نے عوامی طور پر جاری کیا تھا، اور tool نے اسے 99.96 percent امکان کے ساتھ AI-generated قرار دیا, یعنی اس model کے وجود میں آنے سے سینتیس سال پہلے جس کے بارے میں کہا گیا تھا کہ یہ اسی نے لکھا ہے۔ یہ AI detector false positive کی خالص ترین صورت ہے: ایک ایسا document جسے machine-written نشان زد کیا گیا ہو، حالانکہ اس کا machine-written ہونا ممکن ہی نہیں۔

یہ مثال صرف اپنے زمانی محل وقوع میں انتہائی ہے۔ بنیادی pattern, یعنی detector کا فارمولہ نما، قابلِ پیش گوئی نثر کو، اسے کس نے لکھا یا کب لکھا، اس سے قطع نظر machine-made سمجھ لینا, عام submissions میں مسلسل سامنے آتا ہے: essays, cover letters, lab reports, personal statements۔ یہ مضمون اس بات کا احاطہ کرتا ہے کہ false positive کس وجہ سے پیدا ہوتا ہے, کون سی قسم کی writing اس کے لیے سب سے زیادہ exposed ہوتی ہے, اور کیوں ایک اکیلا flagged score وہ ثبوت نہیں ہے جو وہ دکھائی دیتا ہے۔

AI Detector False Positive کیا ہے؟

AI detector false positive انسانی لکھے ہوئے متن کا وہ حصہ ہے جسے detection tool AI-generated کے طور پر score کرتا ہے۔ یہاں writer کے process, honesty, یا skill میں سے کسی چیز کی پیمائش نہیں ہو رہی۔ tool جملے کی statistical shape, یعنی word choices اور structure کتنے predictable ہیں, اس کا موازنہ اس shape سے کرتا ہے جسے اس نے machine output سے وابستہ کرنا سیکھا ہے۔

Vendors false positive rates کو ایک چھوٹی سی واحد percentage کے طور پر report کرتے ہیں, عموماً one or two percent سے کم۔ یہ عدد vendor کے بنائے ہوئے benchmark پر کیے گئے ایک controlled test کی وضاحت کرتا ہے, کسی انفرادی document کے بارے میں کوئی ضمانت نہیں۔ whether AI detectors are accurate at all کا وسیع تر سوال پہلے ہی independently test کیا جا چکا ہے, اور نتائج بالکل دوسری سمت میں جاتے ہیں, کبھی کبھی کسی بھی vendor number سے کہیں زیادہ۔ یہ مضمون زیادہ محدود دائرے میں رہتا ہے: کون سی قسم کی writing اس risk کو بڑھاتی ہے, اور ایک flagged score کسی کو کیا بتا سکتا ہے اور کیا نہیں۔

کون سی تحریری خصوصیات انسانی متن کو machine-made دکھاتی ہیں

عام تحریر کی چار اقسام سب سے زیادہ خطرہ رکھتی ہیں، اور ان میں سے کسی میں بھی کسی شخص کی طرف سے کوئی غلط کام شامل نہیں ہوتا۔ مختصر دستاویزات، حد سے زیادہ فارمولائی تحریر، اقتباس شدہ یا ٹیمپلیٹ پر مبنی مواد، اور وہ تحریر جس کی سخت پروف ریڈنگ کی گئی ہو، یہ سب آزادانہ طور پر لکھی گئی نثر کے مقابلے میں زیادہ قابلِ پیش گوئی نظر آتی ہیں، اور یہی وہ واحد خاصیت ہے جسے ہر detector دراصل ناپ رہا ہوتا ہے۔ ایک مفت burstiness checker اسی تغیر کو براہِ راست ناپتا ہے، جو اس کے نمونے کو سمجھنے کا ایک تیز طریقہ ہے، اس کی وضاحت پڑھنے کے مقابلے میں۔

کچھ اصناف اپنی ساخت ہی کے لحاظ سے فارمولائی ہوتی ہیں۔ طریقۂ کار کا حصہ، لیب رپورٹ، معیاری کور لیٹر، اور literature review، یہ سب روایتی فقرے کو اختراعی فقرے پر ترجیح دیتے ہیں، کیونکہ روایت ہی وہ چیز ہے جو دستاویز کو اس کے قاری کے لیے قابلِ استعمال بناتی ہے۔ محققین نے یہ بات حقیقی تحریر پر براہِ راست آزمائی: انہوں نے 1980 اور 2023 کے درمیان شائع ہونے والے 14,400 journal abstracts کو، یعنی ان برسوں سے بہت پہلے جب کوئی large language model موجود نہیں تھا، ایک عوامی طور پر دستیاب detector سے گزارا۔ 8 percent تک کو publication year سے قطع نظر AI-generated قرار دے کر نشان زد کیا گیا، اور New England Journal of Medicine کے abstracts کو 10.24 percent پر نشان زد کیا گیا، جو آزمائے گئے پانچ journals میں سب سے بلند false positive rate تھا۔

یہ test ChatGPT کے بارے میں کچھ بھی detect نہیں کر سکتا تھا، کیونکہ ChatGPT ان برسوں میں سے زیادہ تر میں موجود ہی نہیں تھا جنہیں اس نے sample کیا۔ اس نے genre کو detect کیا۔ زیادہ رسمی طور پر، جیسا کہ detection problem کے 2026 کے statistical analysis میں کہا جائے گا، ایسا detector بنانے کا کوئی طریقہ نہیں جو اس جملے میں فرق کر سکے جو software کی وجہ سے قابلِ پیش گوئی ہے اور اس جملے میں جو اس لیے قابلِ پیش گوئی ہے کہ آپ اپنی genre میں اسی طرح کی چیز لکھتے ہیں۔ باہر سے دونوں بالکل ایک جیسے نظر آتے ہیں۔

شدید تدوین بھی اسی سمت میں دھکیلتی ہے۔ پہلا مسودہ مصنف کی مخصوص بے قاعدگیوں کو ساتھ لاتا ہے: غیر معمولی لفظی ترتیب، وہ جملہ جو اس لیے طویل ہو جاتا ہے کہ خیال بھی طویل تھا۔ تفصیلی پروف ریڈنگ، خاص طور پر جب اسے کسی دوسرے tool کے ذریعے چلایا جائے، عموماً انہی بے قاعدگیوں کو ہموار کر دیتی ہے۔ اب تک detection tools کا سب سے بڑا آزاد تقابلی مطالعہ 14 tools پر مشتمل تھا اور اس نے پایا کہ جب نمونہ متن کو paraphrased کیا گیا یا machine-translated کیا گیا تو ہر tool کی accuracy مزید کم ہو گئی۔

تحریری خصوصیت	یہ کسی document کی ظاہری غیر متوقعیت کو کیوں کم کرتی ہے	شواہد کیا دکھاتے ہیں
مختصر submissions	کم متن انسانی rhythm اور machine rhythm کے درمیان فرق پیدا کرنے والی فطری variation کے لیے کم جگہ چھوڑتا ہے	مختصر documents پر scores چند غیر معمولی جملوں کی قوت کے ساتھ زیادہ اتار چڑھاؤ دکھاتے ہیں
فارمولائی یا discipline-specific تحریر	genre convention متوقع فقرے کو اختراعی فقرے پر ترجیح دیتی ہے	14,400 pre-ChatGPT journal abstracts (1980 to 2023) نے پھر بھی 8% تک false positives پیدا کیے, ایک journal کے abstracts 10.24% تک پہنچے
شدید تدوین شدہ یا paraphrased مسودے	polish pass وہ انفرادی بے قاعدگیاں ہموار کر دیتی ہے جنہیں detector انسانی سمجھتا ہے	ایک آزاد 14-tool comparison نے پایا کہ paraphrasing یا machine translation کے بعد accuracy مزید کم ہو گئی
quoted یا templated مواد	quoted passage اپنی source کی statistical signature رکھتا ہے, نہ کہ citing writer کی	وہ detectors جو quotations کو خارج نہیں کرتے, borrowed text کی بنیاد پر surrounding document کو score کرتے ہیں

Published Rates اور Real-World Rates کیوں مطابقت نہیں رکھتے

ہر بڑا detector false positive rate تقریباً ایک percent یا اس سے کم شائع کرتا ہے۔ انہی tools کے آزاد tests, جو مختلف documents پر مختلف conditions کے تحت کیے گئے, معمول کے مطابق اس سے کہیں زیادہ نتیجہ رپورٹ کرتے ہیں, کبھی کبھی دس گنا یا اس سے بھی زیادہ۔ دونوں figures درست ہو سکتی ہیں اور پھر بھی تقریباً کچھ مشترک بیان نہیں کرتیں, کیونکہ وہ ایک ہی چیز کی پیمائش نہیں کر رہیں۔

Turnitin ایک مفید مثال ہے، بالکل اس لیے کہ یہ اپنے بیشتر حریفوں کے مقابلے میں زیادہ تفصیل شائع کرتا ہے: دستاویز کی سطح پر 1 فیصد سے کم false positive rate، بشرطیکہ کسی submission کے 20 percent سے زیادہ حصے کو AI-written کے طور پر نشان زد کیا جائے، اور ساتھ ہی کمپنی کا یہ بیان کہ حقیقی دنیا کے نتائج اس کی اپنی لیبارٹری جانچ سے مختلف ہوتے ہیں۔ Washington Post نے 2023 میں 16 حقیقی دستاویزات کو اسی tool سے گزارا اور پایا کہ ان میں سے نصف سے زیادہ کم از کم جزوی طور پر غلط شناخت ہوئیں، جن میں ایک مکمل طور پر انسانی طور پر لکھی گئی essay بھی شامل تھی جسے جزوی طور پر AI-generated قرار دیا گیا۔ ان میں سے کوئی بھی عدد گھڑا ہوا نہیں ہے۔ یہ مختلف samples، مختلف thresholds، اور اس بات کی مختلف تعریفوں سے آتے ہیں کہ کس چیز کو flag شمار کیا جائے۔

یہی خلا پوری صنعت میں نظر آتا ہے، صرف ایک company تک محدود نہیں۔ 14 tools کے اس موازنے میں پایا گیا کہ ان میں سے ہر ایک مجموعی طور پر 80 percent accuracy سے کم رہا، اور یہ کہ چودہ میں سے چھ نے بغیر کسی تبدیلی کے انسانی تحریر پر، paraphrasing کے منظر میں آنے سے پہلے ہی، false positive دیا۔ شائع شدہ عدد ایک benchmark بیان کرتا ہے۔ یہ اس دستاویز کو بیان نہیں کرتا جو اس وقت professor کے سامنے پڑی ہے۔

کیوں ایک پُراعتماد score، ایک پُراعتماد الزام نہیں ہوتا

False positive rate سننے میں یوں لگتا ہے جیسے اس سے مراد اس امکان کی ہو کہ problem کے طور پر نشان زد کیا گیا کوئی ایک student بے قصور ہو۔ لیکن نہیں۔ یہ اس بات کو بیان کرتا ہے کہ test ہر اس شخص کے لیے کیسے کام کرتا ہے جو اسے دیتا ہے۔ اور یہ مختلف سوالات ہیں، مختلف جوابات کے ساتھ، بالکل اسی طرح جیسے medicine یا security میں کسی بھی screening test کے ساتھ ہوتا ہے۔

March 2026 کی Griffith University کے ایک researcher کی statistical analysis بنیادی mathematics کو واضح کرتی ہے۔ AI detection کو ایک test سمجھیں جو student writers کی ایک population پر لاگو ہوتا ہے، نہ کہ کسی ایک الگ تھلگ document پر، تو ایک trade-off سامنے آتا ہے: جب بھی اس population کا کچھ حصہ اس انداز میں لکھتا ہے جو قدرتی طور پر typical AI output سے overlap کرتا ہے، genre convention کے قریب، second-language learner's range کے قریب، تو حقیقی طاقت رکھنے والا کوئی بھی detector جو AI-written work کو پکڑ سکے، اس overlapping حصے کے کچھ افراد پر غلطی کرے گا۔ یہ کسی خاص detector کے ناقص بنائے جانے کا دعویٰ نہیں ہے۔ یہ ایک متنوع population کو ایک single document اور کسی دوسری شہادت کے بغیر test کرنے کی خاصیت ہے۔

مقالے کی اپنی توضیحی مثال اس میں شامل پیمانے کو واضح کرتی ہے۔ فرض کریں کہ طالب علموں کی آبادی کا 10 percent حصہ ایسی تحریر لکھتا ہے جو معمول کے AI output کے کافی قریب ہو، اور detector کو اس طرح tuned کیا گیا ہو کہ وہ حقیقی AI-written work کے 80 percent حصے کو پکڑ سکے۔ پھر ریاضی کے مطابق اس پوری آبادی میں اوسط false positive rate کم از کم 7.5 percent ہونی چاہیے۔ یہ detector کی engineering میں کوئی خامی نہیں ہے, بلکہ اس بات کا براہ راست نتیجہ ہے کہ اس گروہ کی تحریر شماریاتی طور پر اس چیز سے کتنی زیادہ overlap کرتی ہے جسے detect کیا جا رہا ہے۔

اگر اسے 10,000 طلبہ کی ایک university پر scale کیا جائے, تو صرف یہ lower bound ہی پوری آبادی میں تقریباً 750 false flags کا اشارہ دیتا ہے, جو ایک متنوع آبادی کو ایک ہی document کے خلاف, بغیر کسی اور evidence کو weigh کیے, test کرنے کا ریاضیاتی نتیجہ ہے۔ مقالے کا author واضح کرتا ہے کہ یہ مخصوص اعداد ایک real institution میں measured ہونے کے بجائے illustrative ہیں۔ یہ مثال مسئلے کی شکل دکھاتی ہے, نہ کہ کسی ایک campus کے لیے کوئی خاص prediction۔

اس میں سے کوئی بات یہ نہیں کہ flagged score بے معنی ہے۔ اس کا مطلب یہ ہے کہ score ایک کمزور, population-level signal ہے جس سے ایک single individual کے بارے میں سوال کا جواب دینے کو کہا جا رہا ہے, اور یہ ایسا mismatch ہے جسے vendor polish کی کوئی مقدار اکیلے مکمل طور پر ختم نہیں کر سکتی۔ ذمہ دارانہ reading اس number کو بہتر evidence جمع کرنے کے اشارے کے طور پر لیتی ہے: drafts, version history, کسی شخص کے واقعی کچھ لکھنے کا معمول کا paper trail۔ TextPulse's free tools ایک writer کو یہ دیکھنے دیتے ہیں کہ draft اس وقت انہی measurements پر کہاں کھڑا ہے, اس سے پہلے کہ کوئی اور ایسا کرے, اور یہ technology کا ایک مختلف استعمال ہے, کسی مخصوص detector کو defeat کرنے کی کوشش سے الگ۔

کن لکھنے والوں کو سب سے زیادہ خطرہ درپیش ہے

تحقیق دو ایسے گروہوں کو نمایاں کرتی ہے جو دوسروں کے مقابلے میں زیادہ سامنے آتے ہیں: وہ لوگ جو دوسری زبان میں لکھ رہے ہوتے ہیں, اور وہ لوگ جو فطری طور پر بہت structured یا repetitive انداز میں لکھتے ہیں, ان وجوہات کی بنا پر جو اس بات سے متعلق نہیں کہ انہوں نے اپنا essay کیسے لکھا۔ ان دونوں اقسام کے لکھنے والے اسی statistical signature پر ظاہر ہوتے ہیں جسے detector پکڑنے کے لیے بنایا گیا ہے۔

غیر مقامی انگریزی بولنے والے سب سے بڑے دستاویزی خطرے کا سامنا کرتے ہیں۔ آزاد جانچ نے بار بار یہ پایا ہے کہ detectors رواں دوسری زبان میں لکھی گئی علمی تحریر کو native تحریر کے مقابلے میں کہیں زیادہ شرح پر machine-generated سمجھ لیتے ہیں۔ TextPulse کا ESL علمی لکھنے والوں کے لیے صفحہ اس خطرے کے پس منظر میں موجود طریقۂ کار کو زیادہ تفصیل سے بیان کرتا ہے، اس میں یہ بھی شامل ہے کہ کون سے فقراتی نمونے اس کے پیچھے ہیں۔

ایک دوسرا، کم زیرِ بحث گروہ ایک متعلقہ مسئلے کا سامنا کرتا ہے۔ محققین نے تقریباً 60,000 Reddit posts کا موازنہ کیا، جنہیں ایک ایسے ذیلی مجموعے اور ایک عمومی نمونے میں تقسیم کیا گیا تھا جنہیں غالباً autistic مصنفین کی تحریر سمجھا گیا، اور دونوں کو GPT-2-based detector سے گزارا۔ دونوں گروہوں میں مجموعی طور پر 2 percent سے کم flag کیا گیا، لیکن غالباً autistic ذیلی مجموعہ عمومی نمونے کے مقابلے میں نمایاں طور پر زیادہ شرح سے flag ہوا۔ ایسی تحریر جو لفظی، تکراری، سختی سے منظم فقرہ بندی کی طرف مائل ہو، جو بعض autistic communication styles کی ایک دستاویزی خصوصیت ہے، بالکل وہی کم تغیر والی متن پیدا کرتی ہے جسے detector پکڑنے کے لیے بنایا گیا ہے۔

دو vendors اس دعوے کو جانچنے کے لیے کافی معلومات شائع کرتے ہیں۔ Turnitin کی اپنی false positive rate الگ سے بیان کی گئی ہے، اور ZeroGPT کی accuracy کو اس کے اپنے صفحے پر جانچا گیا ہے۔ یہ errors سب سے سخت کس پر پڑتے ہیں، یہ ایک الگ سوال ہے، اور غیر مقامی انگریزی لکھنے والوں کو زیادہ بار flag کیوں کیا جاتا ہے اس کا اپنا جواب ہے۔

قریب مستقبل میں اس میں سے کچھ بھی زیادہ آسان ہونے کا امکان نہیں۔ Detectors حقیقی طور پر machine-written متن کو پکڑنے میں بہتر ہوتے رہیں گے، اور آبادیاتی تنوع false accusation کی کچھ نہ کچھ شرح پیدا کرتا رہے گا جسے بہتر engineering اکیلے مکمل طور پر ختم نہیں کر سکتی۔ زیادہ مفید تبدیلی بعض اداروں میں پہلے ہی ہو رہی ہے, score کو گفتگو کے آغاز کے طور پر دیکھنا، نہ کہ اس کے اختتام کے طور پر، اور یہ پوچھنا کہ شائع شدہ rate کو اصل میں کس population پر آزمایا گیا تھا، اس سے پہلے کہ اس پر بھروسا کیا جائے کہ وہ ان کے سامنے موجود document پر لاگو ہوتی ہے۔