AI شناخت میں پیچیدگی کیا ہے؟

perplexity اور AI detection کو ایک ساتھ تلاش کریں، تو اوپر آنے والے کئی نتائج ایک غیر متعلقہ مصنوعات کے بارے میں نکلتے ہیں: ایک AI سے چلنے والا سرچ انجن جس کا نام بھی Perplexity ہے۔ جس میٹرک کی detector واقعی رپورٹ کرتا ہے، اس کا اس کمپنی سے لفظ کے سوا کوئی تعلق نہیں۔ یہ speech recognition کی اس تحقیق سے آیا ہے جو GPTZero یا سرچ انجن سے کئی دہائیاں پرانی ہے، اور یہ ان دونوں سے بھی زیادہ محدود چیز ناپتا ہے: language model اس صفحے پر پہلے سے موجود الفاظ سے کتنا حیران ہوتا ہے۔

تو AI detection میں perplexity کیا ہے؟ Perplexity ایک اسکور ہے جو بیان کرتا ہے کہ language model نے کسی عبارت میں موجود درست الفاظ کی کتنی اچھی پیش گوئی کی، اور یہ model کی اپنی probabilities کا اوسط لے کر نتیجے کو ایک عدد میں بدلنے سے بنتا ہے۔ کم اسکور کا مطلب ہے کہ model بار بار درست اندازہ لگاتا رہا۔ زیادہ اسکور کا مطلب ہے کہ وہ بار بار حیران ہوتا رہا۔

یہ تصور مارکیٹ میں موجود کسی بھی AI detector سے پرانا ہے، اور اپنی جگہ یہ اس بارے میں کچھ نہیں بتاتا کہ document کس نے لکھا۔ جب اس عدد کے پیچھے موجود arithmetic واضح ہو جاتی ہے، تو report میں دیا گیا اسکور فیصلہ معلوم ہونا بند ہو جاتا ہے اور اپنی اصل صورت میں نظر آنے لگتا ہے: لفظوں کے انتخاب کی ایک وضاحت۔

AI detection میں perplexity کیا ہے؟

Perplexity زبان ماڈلنگ سے مستعار لی گئی ایک پیمائش ہے۔ یہ اس بات کا اسکور دیتی ہے کہ ایک ماڈل نے کسی عبارت میں آنے والے مخصوص الفاظ کی پیش گوئی کتنی اچھی کی، اور اس اسکور کو ایک واحد عدد کی صورت میں پیش کرتی ہے۔ Detectors یہی پیمائش ایک جمع شدہ دستاویز پر لاگو کرتے ہیں: ایک کم عدد، جس کا مطلب ہے کہ ماڈل کے اندازے حقیقی الفاظ سے قریب تھے، مشینی تصنیف کی علامت کے طور پر پڑھا جاتا ہے، اور ایک زیادہ عدد انسانی تصنیف کی علامت کے طور پر پڑھا جاتا ہے۔ اس حساب میں دستاویز کی دلیل، اس کے حوالہ جات، یا اس کے موضوعی مواد کو نہیں پڑھا جاتا۔ یہ صرف یہ دیکھتا ہے کہ ہر لفظ کتنا متوقع تھا، ایک وقت میں ایک لفظ۔

Detectors نے یہ پیمائش ایجاد نہیں کی۔ انہوں نے ایک ایسا آلہ مستعار لیا تھا جسے speech recognition اور machine translation کے نظام دہائیوں سے اس بات کا اندازہ لگانے کے لیے استعمال کرتے آئے تھے کہ ایک ماڈل نے عام زبان کی کتنی اچھی پیش گوئی کی، اور پھر اسے تصنیف کے لیے ایک بالواسطہ معیار کے طور پر استعمال کیا، حالانکہ یہ اصل میں اس کام کے لیے بنایا ہی نہیں گیا تھا۔

اس میں سے کسی بات کا اس غیر متعلقہ search engine سے کوئی تعلق نہیں جس کا ذکر پہلے کیا گیا تھا۔ Detector جو perplexity رپورٹ کرتا ہے وہ کبھی کمپنی نہیں ہوتا اور کبھی بڑا حرف نہیں ہوتا: یہ الفاظ کی ایک ترتیب کی ایک سادہ شماریاتی خاصیت ہے، جو اسے دیے گئے کسی بھی متن سے تازہ طور پر حساب کی جاتی ہے۔

Perplexity دراصل کیسے حساب کی جاتی ہے

یہ حساب کسی بھی AI product سے کہیں پہلے کی تاریخ رکھتا ہے۔ Frederick Jelinek, Robert Mercer, Lalit Bahl اور James Baker نے 1977 میں perplexity متعارف کرائی تاکہ یہ ناپا جا سکے کہ ایک شماریاتی ماڈل کے لیے speech recognition کا کام کتنا مشکل تھا، اس سے کئی دہائیاں پہلے کہ کسی نے اس اصطلاح کو کسی مضمون یا لیب رپورٹ پر لاگو کیا۔ اس تعریف میں تب سے کوئی تبدیلی نہیں آئی۔

دستاویز میں ہر مقام پر، ماڈل اس لفظ کے لیے ایک احتمال دیتا ہے جو حقیقت میں اگلا آتا ہے، مثلاً کسی عام انتقال کے لیے 0.72 یا کسی غیر معمولی کے لیے 0.03۔ Perplexity ان احتمالات کے لوگارتھموں کا پورے اقتباس میں اوسط لیتی ہے، پھر اس اوسط کو ایک exponent کے ذریعے الٹ دیتی ہے۔

اس میں موجود exponent بظاہر جتنا دکھائی دیتا ہے، اس سے زیادہ کام کر رہا ہے۔ log probabilities کا اوسط لینا بالکل وہی ہے جو ہم cross-entropy نکالتے وقت کرتے ہیں، اور یہی information-theoretic طریقہ ہے یہ بتانے کا کہ کسی model کی پیش گوئیوں کی بنیاد پر کسی sequence کو encode کرنے کے لیے آپ کو کتنے bits درکار ہیں۔ لیکن perplexity bits کی اس گنتی کو واپس ایسی چیز میں بدل دیتی ہے جسے ہم بہتر سمجھ سکتے ہیں, یعنی choices کی ایک مؤثر تعداد, نہ کہ bits کی ایک مجرد گنتی۔

اس حساب سے جو کچھ باقی رہتا ہے اس کی ایک صاف، تقریباً طبعی تعبیر بنتی ہے۔ جو model ہر بار مکمل طور پر یقینی ہو وہ 1 کی perplexity پیدا کرتا ہے, جو scale کی نچلی حد ہے۔ جو model ہر مقام کو اسی طرح eighty equally likely words کے درمیان ایک برابر کے امکان والا انتخاب سمجھتا ہے وہ 80 کی perplexity پیدا کرتا ہے۔

حقیقی documents کی اکثریت ان دونوں انتہاؤں کے درمیان کہیں آتی ہے، اور یہ بالکل کہاں آتی ہے, اس کا انحصار writer، subject، اور اس بات پر ہے کہ reading کون سا model کر رہا ہے۔

انسانی writing عموماً مختلف score کیوں کرتی ہے

ایک model کی توقعات مکمل طور پر اس پر بنتی ہیں جو اس سے پہلے آیا ہو, ایک وقت میں ایک word۔ 'the treatment group showed a statistically' کے فقرے کے بعد، well-formed continuations کی غالب اکثریت 'significant' ہوتی ہے، اور scientific writing کی بڑی مقدار پر trained ایک model اس word کو hesitation کے بغیر high probability دیتا ہے۔ ایک human writer اسی فقرے تک پہنچ کر شاید 'significant' ہی منتخب کرے، کیونکہ خود یہ phrase genre کا ایک مستقل حصہ ہے۔ فرق کہیں اور پیدا ہوتا ہے: دو جملے بعد منتخب کیے گئے noun میں، قوسین میں شامل کیے گئے aside میں، کسی round عدد کے بجائے عجیب decimal place پر reported number میں۔

اس میں کوئی trick نہیں۔ جب real data کے بارے میں لکھنے والا شخص exact number، precise qualifier، یا قدرے narrower word تک پہنچنے کی کوشش کرتا ہے، تو وہ ایسی چیزوں تک پہنچ رہا ہوتا ہے جو work کے بارے میں سچ ہیں، genre کے بارے میں نہیں۔ اور ان میں سے ہر انتخاب model کے لیے تھوڑی اور surprise کا سبب بنتا ہے۔ Surprise ہی وہ چیز ہے جسے score جمع کرنے کے لیے بنایا گیا ہے۔

استنباط اس پیمائش سے زیادہ کام کر رہا ہے جتنا پیمائش سہارا دے سکتی ہے۔ Perplexity براہ راست پیش بینی پذیری کی پیمائش کرتا ہے۔ یہ مصنفیت کا استنباط صرف اس مفروضے پر کرتا ہے کہ قابلِ پیش گوئی تحریر انسانوں میں نایاب اور ماڈلز میں عام ہے، اور یہ مفروضہ عموماً معقول ہوتا ہے اور کبھی کبھی ایک خاص، قابلِ شناخت طریقے سے غلط بھی ہو جاتا ہے، کیونکہ پیش بینی پذیری متن کی ایک ایسی خاصیت ہے جو ان وجوہ سے بھی ہو سکتی ہے جن کا اس بات سے کوئی تعلق نہیں کہ اسے کس نے ٹائپ کیا۔

ایک ہی عبارت مختلف اسکور کیوں حاصل کر سکتی ہے

اسکور بھی ظاہری طور پر نظر آنے سے کم قابلِ انتقال ہے، کیونکہ اسے کبھی بھی خلا میں ناپا نہیں جاتا۔ Perplexity ہمیشہ ایک مخصوص reference model کی training کے مقابلے میں حساب کیا جاتا ہے، اور یہ انحصار ایسے مسائل پیدا کرتا ہے جنہیں کوئی ایک تعریف اکیلے ظاہر نہیں کر سکتی۔

عامل	کیا بدلتا ہے	ایسا کیوں ہوتا ہے
کون سا model پڑھ رہا ہے	ایک ہی پیراگراف ایک model پر کم اور دوسرے پر زیادہ اسکور کر سکتا ہے	Perplexity ہمیشہ صرف ایک model کے training data کے مقابلے میں ناپا جاتا ہے، اور مختلف models کو مختلف متن پر training دی گئی تھی
کیا عبارت وسیع پیمانے پر دہرایا گیا متن ہے	کوئی مشہور تاریخی دستاویز یا درسی کتاب کی تعریف low-perplexity اسکور کر سکتی ہے، حتیٰ کہ جب کسی انسان نے اس کے ہر لفظ کو detector میں ٹائپ کیا ہو	Pangram Labs Declaration of Independence کو ایک مثال کے طور پر پیش کرتا ہے, یہ training data میں اتنی بار quoted ہے کہ model اس کے ہر جملے کو غیر متوقع نہیں سمجھتا
کیا detector token probabilities کو بالکل دیکھ سکتا ہے	بند تجارتی models جیسے ChatGPT, Gemini اور Claude وہ فی لفظ probabilities ظاہر نہیں کرتے جن کی Perplexity کو ضرورت ہوتی ہے	Detectors اس score کا اندازہ ایک متبادل open model سے لگاتے ہیں، بجائے اس کے کہ اس model کے مقابلے میں perplexity حساب کریں جس نے واقعی متن پیدا کیا تھا

ان میں سے کوئی بھی چیز اس عدد کو بے معنی نہیں بناتی، بلکہ اسے بطورِ واحد فیصلہ ماننے کے لیے زیادہ خطرناک بنا دیتی ہے۔ GPTZero کی اپنی دستاویزات نے کبھی ایک عمومی قاعدہ شائع کیا تھا، جس کے مطابق 85 سے اوپر perplexity زیادہ امکان کے ساتھ انسانی تحریر سمجھی جاتی تھی، لیکن ایک ہی ماڈل پر ایک ہی فروشندہ کی حد کسی مختلف tool پر، جو کسی مختلف model کے خلاف ناپی گئی ہو، منتقل نہیں ہوتی۔ جو detector ایک واحد score رپورٹ کرتا ہے، وہ اوپر بیان کیے گئے تمام عوامل کو ایک عدد میں سمیٹ رہا ہوتا ہے، بغیر یہ بتائے کہ ان میں سے کس نے اصل کام کیا۔

perplexity score دراصل آپ کو کیا بتاتا ہے

تجارتی detectors perplexity کو جملہ سطح کے patterns، classifier training اور کئی دوسرے signals کے ساتھ اس سے پہلے ہی یکجا کر دیتے ہیں کہ وہ report پر ایک واحد number چھاپیں۔ AI detectors دراصل کیسے کام کرتے ہیں کی زیادہ مکمل تصویر الگ سے بیان کی گئی ہے، اور وہ واضح کرتی ہے کہ اس number کا باقی حصہ کہاں سے آتا ہے۔

جملے سے جملے تک rhythm ایک متعلق مگر الگ signal ہے، جسے burstiness checker اپنے مخصوص مفہوم میں دیکھتا ہے، اور یہ کسی ایک لفظ کے بجائے پورے passage میں variation کی مقدار پر نظر رکھتا ہے۔

ان میں سے کوئی بھی number یہ ثابت نہیں کر سکتا کہ document کس نے لکھا، اس میں TextPulse کے submitted draft سے نکالے گئے estimated Human Score کو بھی شامل سمجھیں، جو text کی وضاحت کرتا ہے نہ کہ اس پر کوئی فیصلہ سناتا ہے۔ اسی خیال کی ایک سادہ صورت, vocabulary variety، نہ کہ مکمل model probability, اس site پر موجود free perplexity checker کو طاقت دیتی ہے، اور یہ اس paragraph کے خلاف آزمانے کے قابل ہے جس کی اصل پہلے سے معلوم ہو، اس سے پہلے کہ آپ کسی report کے کسی اور شخص کے بارے میں کہے گئے دعوے پر بھروسا کریں۔

perplexity checker، TextPulse کے باقی free tools کے ساتھ موجود ہے، اس لیے کسی draft، vocabulary، rhythm اور باقی سب پر مکمل جانچ کے لیے ایک ساتھ درجن بھر الگ tabs کھولنے کی ضرورت نہیں پڑتی۔

پرفلیکسیٹی ان دو اعداد و شمار میں سے ایک ہے جن پر یہ نظام انحصار کرتے ہیں۔ دوسرا برسٹنیس، جملوں کی لمبائی اور ساخت میں تغیر ہے، جو ایک عبارت کے اندر پایا جاتا ہے، اور ان دونوں کے نیچے ٹوکن احتمال کی ریاضی کارفرما ہوتی ہے جو اصل میں اسکور پیدا کرتی ہے۔

رپورٹ پر موجود ایک عدد، ریاضیاتی عمل کی ایک طویل زنجیر کا اختتام ہے، نہ کہ اس بحث کا آغاز کہ کوئی چیز کس نے لکھی۔ جب ریاضیاتی عمل اپنی پراسراریت کھو دیتا ہے، تو زیادہ دلچسپ سوال یہ ہوتا ہے کہ آخر کس چیز نے کسی دستاویز کو غیر متوقع یا قابلِ پیش گوئی بنایا، اور یہ سوال خود تحریر سے متعلق ہے۔