AI Detectors کیسے کام کرتے ہیں؟ Perplexity، Burstiness اور Token Probability

آپ کی یونیورسٹی نے جمع کرائی گئی تحریروں کو AI detector سے گزارنا شروع کر دیا ہے، اور ایک رپورٹ ایک ایسے عدد کے ساتھ واپس آئی ہے جس کی آپ کو توقع نہیں تھی۔ اس پر اعتراض کرنے سے پہلے، یہ سمجھنا مفید ہے کہ اس عدد کا مطلب کیا ہے۔ AI detectors کیسے کام کرتے ہیں؟ وہ مشینی تحریر کو اس طرح نہیں پڑھتے جیسے کوئی انسان پڑھتا ہے۔ وہ یہ ناپتے ہیں کہ آپ کا متن ایک language model کے لیے کتنا قابلِ پیش گوئی ہے، پھر اس قابلِ پیش گوئی کو ایک اسکور میں بدل دیتے ہیں۔ اس عمل میں کچھ بھی اس بات کو نہیں دیکھتا کہ آپ کی مراد کیا ہے، آپ کی دلیل کیا ہے، یا آیا یہ چیز واقعی آپ نے لکھی ہے۔

میں نے برسوں متن کا شماریاتی طور پر تجزیہ کرنے والے tools بنانے میں صرف کیے ہیں، اور detection کو سمجھنے کے لیے سب سے مفید بات یہ ہے: یہ معمولیت کی پیمائش ہے، ماخذ کی نہیں۔ ایک بار یہ بات سمجھ میں آ جائے تو technology اور اس کی ناکامیاں دونوں بہت زیادہ واضح ہو جاتی ہیں۔

ایک detector دراصل کیا ناپ رہا ہے

ایک detector کو یہ معلوم نہیں ہوتا کہ کچھ کس نے لکھا۔ اس کے پاس جو چیز ہوتی ہے وہ ایک language model اور ایک scoring function ہے۔ model آپ کے متن کو بائیں سے دائیں پڑھتا ہے، اور ہر مرحلے پر یہ اس بات کی probability distribution بناتا ہے کہ اگلا لفظ کیا ہونا چاہیے۔ اسے "the results of the" کے الفاظ دیں، تو یہ "study" کو سب سے اوپر رکھے گا، "experiment" کو کچھ نیچے، اور "marmalade" کو تقریباً صفر کے قریب کہیں۔

اس لیے detector آپ کی دستاویز سے ایک سوال پوچھتا ہے: اس متن نے کتنی بار وہ لفظ چنا جس کی model نے توقع کی تھی؟ ایسی writing جو بار بار high-probability words پر آ کر ٹھہر جاتی ہے، machine-made لگتی ہے، کیونکہ text generator بالکل یہی کرتا ہے۔ model اپنی ہی distribution کے اوپر والے حصے سے بار بار، ہزاروں tokens تک، sample لیتا ہے۔

یہی وجہ ہے کہ یہ پوری category marketing کے دعووں کے مقابلے میں زیادہ کمزور بنیاد پر کھڑی ہے۔ ایک detector کوئی watermark یا fingerprint نہیں ڈھونڈ رہا ہوتا۔ وہ صرف یہ نوٹ کر رہا ہوتا ہے کہ آپ کی نثر شماریاتی طور پر غیر متوقع نہیں ہے، اور غیر متوقع نہ ہونے والی نثر کے chatbot کے سوا بھی بہت سے اسباب ہو سکتے ہیں۔

Perplexity: model کتنا حیران ہوتا ہے

اہم پیمانہ perplexity کہلاتا ہے، اور یہ سننے میں جتنا مشکل لگتا ہے، اتنا ہے نہیں۔ اس احتمال کو لیں جو ماڈل نے ہر اس لفظ کو دیا جو واقعی ظاہر ہوا، ان احتمالات کے لاگارتھموں کا اوسط نکالیں، اور حاصلِ ضرب کو exponentiate کریں۔ جو نتیجہ نکلتا ہے وہ ایک واحد عدد ہے جو بیان کرتا ہے کہ آپ کے دستاویز نے ماڈل کو کتنی حیرت میں ڈالا۔ آپ اندازہ لگانے کے بجائے اپنے مسودے کی perplexity چیک کر سکتے ہیں۔

کم perplexity کا مطلب ہے کہ متن وہاں گیا جہاں ماڈل کو توقع تھی۔ زیادہ perplexity کا مطلب ہے کہ وہ ایسے موڑ لیتا رہا جن کی ماڈل کو توقع نہیں تھی۔ انسانی تحریر عموماً زیادہ اوپر ہوتی ہے، کیونکہ لوگ کسی غیر معمولی مخصوص اسم، کسی غیر مانوس ساخت، یا ایسی جملہ بندی کی طرف جاتے ہیں جو غیر متوقع جگہ سے شروع ہوتی ہے۔ پیدا کردہ متن عموماً نیچے ہوتا ہے، کیونکہ decoding کا عمل بالکل انہی حرکات سے بچنے کے لیے بنایا گیا ہے۔

طریقۂ کار کے حصے کے آغاز کے دو طریقوں کا موازنہ کریں۔ "The results of the study were statistically significant" ایسا سلسلہ ہے جس کی پیش گوئی تقریباً ہر ماڈل پورے اعتماد کے ساتھ کر سکتا ہے، کیونکہ اس میں کوئی غیر متوقع معلومات نہیں ہوتیں۔ "Two of the three cohorts drifted before week six, which we had not planned for" کہیں کم قابلِ پیش گوئی ہے، کیونکہ اس میں مخصوص، قدرے بھدی معلومات شامل ہیں جن کا اندازہ مقالے کے باقی حصے سے نہیں لگایا جا سکتا تھا۔ دوسرا جملہ detector سے حقیقی حیرت وصول کرتا ہے، اور یہی حیرت انسانی ہونے کی علامت بنتی ہے۔

Burstiness: اوسط نہیں، تغیر

صرف perplexity کافی نہیں، کیونکہ کوئی دستاویز مجموعی طور پر ایک بالکل معقول عدد تک اوسط بن سکتی ہے، مگر اندر سے مشتبہ حد تک یکساں ہو سکتی ہے۔ اصل اہمیت آپ کے متن میں پائے جانے والے تغیر کی ہے، اور burstiness یہی ناپتا ہے: جملوں کی لمبائی اور جملہ سطح کی perplexity تحریر کے آگے بڑھنے کے ساتھ کتنی بدلتی ہے۔ ایک burstiness checker یہ پھیلاؤ براہِ راست دکھا دے گا۔

جب ہمیں اعتماد ہوتا ہے تو ہم تیزی سے لکھتے ہیں، اور جب ہم احتیاط برت رہے ہوتے ہیں تو آہستہ ہو جاتے ہیں، اور یہ ردھم نثر میں بھی برقرار رہتا ہے۔ لوگ وقفوں میں لکھتے ہیں۔ ایک پیراگراف آٹھ لفظوں کے ایک مختصر خبری جملے سے شروع ہو سکتا ہے، پھر چونتیس لفظوں کے ایک ایسے جملے تک جا سکتا ہے جس میں تین شقیں اور ایک معترضہ عبارت ہو، اور پھر دوبارہ کسی مختصر اور تیز جملے پر آ سکتا ہے۔

ماڈل کا آؤٹ پٹ یہ کام قابلِ اعتماد طور پر نہیں کرتا۔ جملے اوسط لمبائی کے قریب مجتمع ہو جاتے ہیں۔ پیراگراف منظم مجموعوں کی صورت میں آتے ہیں۔ ہر حصہ اپنے ہی عنوان کو دوبارہ بیان کرنے سے شروع ہوتا ہے۔ یہ روانی سے پڑھا جاتا ہے اور اس کا اسکور خراب آتا ہے، کیونکہ جملوں کے درمیان کم تغیر ایک مضبوط ترین اشارہ ہے جس پر detector انحصار کرتا ہے۔ اسے ظاہر کرنے والا کوئی ایک جملہ نہیں ہوتا۔ اصل چیز یکسانیت ہے۔

اشارہ	یہ کیا ناپتا ہے	مشینی متن کا اسکور کم کیوں آتا ہے
Perplexity	پورے دستاویز میں اوسطاً، آپ کے لفظی انتخاب پر ماڈل کتنا حیران ہوتا ہے	ڈیکوڈنگ کے ذریعے بلند احتمال والے tokens سے نمونے لیتا ہے، بطورِ ڈیزائن
Burstiness	متن میں جملوں کی لمبائی اور پیش بینی پذیری میں کتنا فرق آتا ہے	آؤٹ پٹ جھولنے کے بجائے اوسط کے قریب مجتمع ہو جاتا ہے
Token probability	ہر لفظ کے لحاظ سے وہ امکان جس سے باقی دو قدریں اخذ کی جاتی ہیں	انفرادی طور پر غیر نمایاں انتخابوں کی طویل مسلسل قطاریں

Token probability اور اسکور کہاں سے آتا ہے

یہ دونوں اعداد ایک تیسرے عدد سے بنتے ہیں, per-token log-likelihood, یعنی وہ خام مواد جس سے باقی سب کچھ حساب کیا جاتا ہے۔ کچھ tools اسے براہِ راست دکھاتے ہیں، اور ان حصوں کو نمایاں کرتے ہیں جہاں آپ کا متن سب سے زیادہ قابلِ پیش گوئی تھا۔ یہ نمایاں حصے مخصوص جملوں پر الزامات نہیں ہوتے، خواہ interface کچھ بھی تاثر دے۔ یہ وہ حصے ہوتے ہیں جنہوں نے document-level عدد میں سب سے زیادہ حصہ ڈالا۔

تحقیقی طریقے سادہ thresholds سے آگے بڑھ چکے ہیں۔ DetectGPT اور اس کے بعد آنے والے طریقے curvature کو دیکھتے ہیں: وہ آپ کے متن میں معمولی perturbation کرتے ہیں اور جانچتے ہیں کہ آیا likelihood اس انداز سے کم ہوتی ہے جس طرح generated text میں عموماً ہوتا ہے۔ دوسرے طریقے ایک ہی passage کا دو مختلف models کے تحت موازنہ کرتے ہیں اور اختلاف کو ایک اشارے کے طور پر استعمال کرتے ہیں۔

ایک نتیجہ ہر اس شخص کے لیے اہم ہے جس کا assessment ہو رہا ہو۔ چونکہ metrics کسی خاص reference model کے مقابلے میں حساب کیے جاتے ہیں، اس لیے score ہمیشہ اسی model کے نسبت ہوتا ہے۔ دو detectors ایک ہی پیراگراف پڑھ کر بالکل مختلف رائے دے سکتے ہیں، اور ان میں سے کوئی بھی خراب کام نہیں کر رہا ہوتا۔ وہ ایک ہی سوال کا جواب مختلف reference points کے ساتھ دے رہے ہوتے ہیں۔

دوسرا نتیجہ کم ہی بیان کیا جاتا ہے۔ کوئی ماڈل کسی عبارت کو صرف اسی وقت قابلِ پیش گوئی سمجھ سکتا ہے جب وہ عبارت اس چیز سے مشابہ ہو جس پر اسے تربیت دی گئی تھی، اس لیے جب حوالہ جاتی ماڈل اور متن پیدا کرنے والے کے درمیان فاصلہ بڑھتا ہے تو شناخت کی کیفیت کمزور پڑ جاتی ہے۔ نئے جنریٹر، غیر معمولی شعبے، اور انگریزی کے سوا دوسری زبانیں سب اس فاصلے کو بڑھا دیتی ہیں۔ یہی وجہ ہے کہ کنٹرول شدہ benchmark میں ناپی گئی درستگی حقیقی submissions کے ڈھیر سے سامنا ہونے پر شاذ ہی برقرار رہتی ہے۔

تجارتی detectors اوپر کیا اضافہ کرتے ہیں

ادارے عملاً جو tools خریدتے ہیں وہ درسی perplexity نہیں چلاتے۔ Turnitin، GPTZero، Originality اور دیگر tools انسانی اور مشینی متن کے بڑے لیبل شدہ مجموعوں پر supervised classifiers کو تربیت دیتے ہیں، اور stylistic features کے ساتھ statistical features بھی استعمال کرتے ہیں۔ classifier جو کچھ سیکھتا ہے وہی ہوتا ہے جو اس کے training data میں ان دونوں ڈھیروں کو ایک دوسرے سے جدا کرے، اور یہ عمومی طور پر "AI writing" کے مقابلے میں زیادہ محدود اور زیادہ تاریخی نوعیت کی چیز ہے۔

تربیت پر انحصار خاموش مسئلہ ہے۔ جو classifier بنیادی طور پر model output کی ایک نسل پر تربیت پاتا ہے، اسے نئے models، غیر مانوس شعبوں، اور ایسے لکھنے والوں تک generalize کرنا پڑتا ہے جن کی انگریزی اس کی training distribution سے مشابہ نہیں ہوتی۔ vendors اپنی evaluations سے accuracy کے اعداد شائع کرتے ہیں، اور independent benchmarks عموماً انہی tools پر ان اعداد سے کافی نیچے آتے ہیں۔

اسکور کو حد سے زیادہ معنی دیے بغیر پڑھنا

detector report عموماً ایک percentage کی صورت میں آتی ہے، اور اس percentage کی اکثر غلط تعبیر کی جاتی ہے۔ یہ اس بات کا تناسب نہیں ہوتا کہ آپ کے document کا کتنا حصہ machine نے لکھا ہے۔ tool کے مطابق یہ classifier confidence ہو سکتا ہے، یا ان جملوں کا حصہ جو کسی داخلی threshold سے گزر گئے ہوں، اور vendors اکثر اس بارے میں مبہم رہتے ہیں کہ کون سا مطلب مراد ہے۔ دو reports جن میں دونوں میں ساٹھ فیصد دکھایا گیا ہو، بالکل مختلف معنی رکھ سکتی ہیں۔

یہ جاننا بھی اہم ہے کہ کوئی اسکور ان وجوہات سے کیوں بدلتا ہے جن کا لکھنے والے سے کوئی تعلق نہیں ہوتا۔ مختصر دستاویزات زیادہ شور والی ہوتی ہیں، کیونکہ اوسطوں کے قائم ہونے کے لیے متن کم ہوتا ہے، اور 500 لفظوں کا مضمون دو یا تین غیر معمولی جملوں کی بنیاد پر کافی حد تک اوپر نیچے ہو سکتا ہے۔ اقتباس شدہ مواد بھی شمار ہوتا ہے، جب تک کہ ٹول اسے الگ نہ کر دے، اس لیے block quotes سے بھرا ہوا literature review اس بات کی پیش گوئی کی خصوصیت اپنا لیتا ہے جس کا وہ اقتباس کرتا ہے۔ اصطلاحات سے بھرا ہوا کوئی تکنیکی اقتباس بھی اسی طرح برتاؤ کرتا ہے۔

اگر آپ پر flag لگ جائے تو مفید ردعمل metric کے بارے میں بحث نہیں بلکہ ثبوت ہوتا ہے۔ version history، drafts، notes اور search records سب عمل کی طرف اشارہ کرتے ہیں، اور عمل ہی وہ چیز ہے جس کا misconduct panel واقعی جائزہ لے سکتا ہے۔ کوئی ایسی حد موجود نہیں جس کی طرف کوئی اشارہ کر کے careful writer اور model کے درمیان فرق ثابت کر سکے۔

detectors اس تحریر کو کیوں flag کرتے ہیں جو کسی model نے پیدا نہیں کی

False positives کوئی نایاب خرابی نہیں ہیں۔ یہ براہ راست typicality کی پیمائش سے پیدا ہوتے ہیں۔ کوئی بھی تحریر جو واقعی قابل پیش گوئی ہو، قابل پیش گوئی ہی اسکور کرے گی، چاہے اسے کسی نے بھی پیدا کیا ہو۔

غیر مقامی English لکھنے والے سب سے زیادہ متاثر ہوتے ہیں۔ Stanford کے محققین نے پایا کہ detectors نے غیر مقامی بولنے والوں کے مضامین کے ایک بڑے حصے کو machine-generated سمجھ کر غلط درجہ بند کیا، جبکہ native-speaker مضامین کو درست درجہ بند کیا۔ اس کی وجہ مکینیکی ہے، بدنیتی پر مبنی نہیں: دوسری زبان میں کام کرنے والے لکھنے والے عموماً آزمودہ تراکیب اور زیادہ عام ذخیرہ الفاظ پر انحصار کرتے ہیں۔ یہ low perplexity کا بالکل وہی profile ہے، اسی لیے ESL writers کو احتیاط سے لکھنے پر flag کیا جاتا ہے۔

تعلیمی اصول بھی یہی مسئلہ پیدا کرتے ہیں۔ methods section کا formulaic ہونا متوقع ہے۔ قانونی تحریر، technical documentation اور clinical reporting سب میں اختراعی انداز کے مقابلے میں معیاری عبارت زیادہ پسند کی جاتی ہے۔ زیادہ editing اس مسئلے کو مزید بڑھا دیتی ہے، کیونکہ draft کو polish کرنے کا مطلب عموماً ان بے قاعدگیوں کو ہٹانا ہوتا ہے جو آپ کے statistical signature کو ساتھ لے کر چلتی تھیں۔

اداروں نے اس پر توجہ دی ہے۔ Vanderbilt نے Turnitin کی AI detection feature کو اس لیے غیر فعال کر دیا کہ وہ ایسے scores پر عمل نہ کرے جن کی وہ تصدیق نہیں کر سکتا تھا، اور دیگر universities نے misconduct proceedings میں ان numbers کے استعمال کے طریقے محدود کر دیے ہیں۔ detector score کو ثبوت کا ایک کمزور جز سمجھیں، فیصلہ نہیں۔

اس کا آپ کی اپنی تحریر کے لیے کیا مطلب ہے

mechanics سے جو عملی مشورہ نکلتا ہے وہ غیر معمولی نہیں ہے، اور اس میں سے کوئی بھی چیز کسی نظام کو چکمہ دینے سے متعلق نہیں۔ اپنی sentence length کو جان بوجھ کر مختلف رکھیں، کیونکہ uniformity ہی وہ چیز ہے جو نمایاں ہوتی ہے۔ مخصوص تفصیل برقرار رکھیں: اصل figure، اصل limitation، وہ چیز جو week six میں غلط ہوئی۔ عمومی competence وہ چیز ہے جو machine-made کے طور پر score ہوتی ہے، اور specificity بہتر writing بھی ہے اور زیادہ مضبوط signal بھی۔

اپنا idiom بھی برقرار رکھیں۔ اگر چیزوں کو بیان کرنے کا آپ کا اپنا انداز ہے تو اسے رہنے دیں۔ draft کو اس حد تک ہموار کرنے کی instinct کہ وہ field کے ہر دوسرے paper جیسا لگنے لگے، وہی instinct ہے جو آپ کی perplexity کم کرتی ہے۔

ایک چیز جس سے بچنا چاہیے: کچھ tools جان بوجھ کر grammatical errors شامل کرتے ہیں تاکہ perplexity بڑھ جائے۔ یہ metric پر تو کام کرتا ہے، لیکن کسی بھی graded یا peer-reviewed چیز کے لیے یہ بہت خراب خیال ہے، کیونکہ آپ ایک suspicion کے بدلے ایک certainty حاصل کر رہے ہوتے ہیں۔ مقصد ایسی writing ہے جو آپ کی اپنی لگے، نہ کہ ایسی writing جو جان بوجھ کر خراب کی گئی ہو۔ یہی rewriting for a human reader اور text کو scorer کو دھوکا دینے کے لیے توڑنے کے درمیان پورا فرق ہے۔

اگر آپ یہ numbers اپنے draft کے لیے خود دیکھنا چاہتے ہیں، black box کی بات ماننے کے بجائے، تو بنیادی measurements کوئی راز نہیں ہیں۔ free text analysis tools آپ کو دکھائیں گے کہ آپ کی prose کہاں کھڑی ہے، اور آپ خود فیصلہ کر سکتے ہیں کہ آیا ہموار حصے ایسا stylistic مسئلہ ہیں جسے درست کرنا چاہیے۔