Pangram AI Detector کا جائزہ: وہ ٹول جس کی محققین توثیق کرتے رہتے ہیں

Pangram وہ AI detector ہے جسے آزاد محققین بار بار نمایاں کرتے رہے ہیں، اس لیے یہ معمول کے vendor scorecard سے زیادہ قریب سے دیکھنے کے قابل ہے۔ اس کے بنانے والے، Pangram Labs، تقریباً 1 in 10,000 کی false positive rate اور 99.98 percent کی headline accuracy شائع کرتے ہیں۔ یہ کمپنی کے اپنے اعداد و شمار ہیں، جو اس کے اپنے benchmarks پر ناپے گئے ہیں۔ Pangram کو میدان کے اکثر tools سے جو چیز الگ کرتی ہے وہ یہ ہے کہ، پہلی بار، حالیہ بیرونی تحقیق بھی اسی عمومی سمت کی طرف اشارہ کرتی ہے۔

گزشتہ سال کے اندر دو آزاد evaluations سامنے آئیں, ایک peer-reviewed study Vrije Universiteit Brussel کی طرف سے، جو June 2026 میں Springer نے شائع کی، اور ایک University of Chicago Booth School کا working paper، جس پر Chicago Booth Review میں December 2025 میں بحث کی گئی۔ دونوں نے Pangram کو زیادہ معروف rivals، جن میں Turnitin, GPTZero, اور Copyleaks شامل ہیں، سے واضح طور پر بہتر قرار دیا۔ دونوں studies میں سے کوئی بھی کسی detector کے score کو کسی ایک مخصوص document کے بارے میں کسی چیز کا ثبوت نہیں بناتی، اور دونوں یہ بات صاف طور پر کہتی ہیں۔

اس کے بعد جو کچھ آتا ہے وہ یہ ہے کہ Pangram اپنے بارے میں کیا دعویٰ کرتا ہے، دونوں studies نے حقیقت میں کیا ناپا، ثبوت اب بھی کہاں کمزور ہے، اور اس tool کے عروج سے detection field کے باقی حصے کے بارے میں کیا ظاہر ہوتا ہے۔

Pangram کیا ہے اور اسے کون استعمال کرتا ہے

Pangram Labs ایک چھوٹی کمپنی ہے جس کی بنیاد 2023 میں Brooklyn میں AI researchers نے رکھی تھی، جو اس سے پہلے Tesla اور Google میں کام کر چکے تھے۔ یہ product pasted یا uploaded text کو جانچتا ہے اور اس بات کا اندازہ واپس دیتا ہے کہ اس کا کتنا حصہ AI generated ہے، sentence level highlighting کے ساتھ، اور paid plans پر image detection اور plagiarism checking بھی فراہم کرتا ہے۔

اس کا user base Turnitin سے مختلف نظر آتا ہے۔ Turnitin اداروں کو فروخت کیا جاتا ہے اور learning management systems کے اندر چلتا ہے، جبکہ Pangram کو free account رکھنے والا کوئی بھی شخص چلا سکتا ہے، جس کا مطلب ہے کہ students, editors, journal staff, اور admissions readers اسے براہ راست استعمال کرتے ہیں۔ یہ اس market میں نیا entrant ہے، اور academic integrity researchers اسے comparison point کے طور پر زیادہ سے زیادہ اسی لیے استعمال کر رہے ہیں کہ یہ ان tests میں مسلسل بہتر کارکردگی دکھاتا ہے جن میں incumbents ایسا نہیں کرتے۔

Vendor کیا دعویٰ کرتا ہے

Pangram کا ہوم پیج 99.98 percent درستگی کا دعویٰ کرتا ہے اور بیان کرتا ہے کہ اس کی false positive rate, یعنی وہ شرح جس پر انسانی دستاویزات کو غلط طور پر AI کے طور پر نشان زد کیا جاتا ہے, فی الحال 1 in 10,000 ہے۔ false positives پر کمپنی کی بلاگ پوسٹ, جو اس کے CTO نے لکھی ہے, اس مجموعی عدد کو صنف کے لحاظ سے تقسیم کرتی ہے: academic essays پر 0.004 percent, scientific abstracts پر 0.001 percent, اور وہ کمزور مقامات جنہیں کمپنی خود ظاہر کرتی ہے, جیسے poetry پر 0.05 percent اور recipes پر 0.23 percent۔ کمپنی یہ بھی دعویٰ کرتی ہے کہ اس کا model so called humanizer tools کے ذریعے process کیے جانے کے بعد بھی AI text کو detect کرتا رہتا ہے۔

یہ سب vendor کے اپنے test sets سے self-reported numbers ہیں, اور اسی post میں vendor کی اپنی caveats بھی شامل ہیں: model complete sentences میں لکھی گئی طویل text پر سب سے بہتر کام کرتا ہے, اور کمپنی short bullet lists یا انتہائی formulaic text کی screening سے گریز کا مشورہ دیتی ہے۔ ان دونوں پہلوؤں کو ساتھ رکھیں۔ دعوے غیر معمولی طور پر specific اور غیر معمولی طور پر کم ہیں, اور جب تک کمپنی سے باہر کوئی انہیں check نہ کرے, یہ صرف دعوے ہی رہتے ہیں۔

آزاد شواہد کیا دکھاتے ہیں

اب تک کا سب سے مضبوط امتحان Van Vlasselaer, Van Droogenbroeck, اور Spruyt کی Vrije Universiteit Brussel میں کی گئی ایک peer-reviewed study ہے، جو June 2026 میں International Journal for Educational Integrity میں شائع ہوئی۔ ٹیم نے master's level کے 160 academic papers تیار کیے، ہر ایک کم از کم 4,000 words پر مشتمل تھا: 40 حقیقی students نے 2019 سے پہلے لکھے، 40 مکمل طور پر GPT-4o Deep Research کے ذریعے generated تھے، 40 hybrid تھے، اور 40 AI generated تھے جنہیں بعد میں جان بوجھ کر humanized کیا گیا۔ انہوں نے ان سب کو Turnitin, GPTZero, Copyleaks, اور Pangram سے گزارا۔

مکمل طور پر AI generated papers کے بارے میں study رپورٹ کرتی ہے کہ Turnitin, GPTZero, اور Copyleaks نے "AI-generated content کو completely failed to detect" کیا۔ Turnitin نے ان 40 papers میں سے ہر ایک کو 0 اور 20 percent AI کے درمیان score کیا، اور ان تینوں incumbent tools کے median scores 100 percent machine written papers پر سب 20 percent سے کم رہے۔ Pangram نے اسی set پر 65 percent کی strict accuracy اور 97.5 percent کی inclusive accuracy حاصل کی، اور ایک paper کو غلط classify کیا۔ humanized set پر Pangram نے 40 میں سے 37 cases میں AI content کو درست طور پر identify کیا، strict accuracy 92.5 percent رہی، جبکہ GPTZero نے 2.5 percent، Copyleaks نے 22.5 percent، اور Turnitin نے 50 percent حاصل کیا۔

Tool	Fully AI papers (strict accuracy)	Humanized AI papers (strict accuracy)	Human papers correctly cleared
Pangram	65%	92.5%	100%
Turnitin	0%	50%	100%
GPTZero	0%	2.5%	100%
Copyleaks	0%	22.5%	100%

دوسرا ڈیٹا پوائنٹ Brian Jabarian اور Alex Imas کی Chicago Booth میں ایک ورکنگ پیپر ہے، جس کا خلاصہ دسمبر 2025 میں Chicago Booth Review میں پیش کیا گیا۔ تقریباً 2,000 انسانی طور پر لکھے گئے اقتباسات پر، جو چھ ذرائع کے علاوہ چار جدید ماڈلز کے AI ورژنز پر مشتمل تھے، ڈیٹیکٹرز کی جانچ میں انہوں نے پایا کہ Pangram کی false positive rate زیادہ تر فیصلہ کن حدوں میں عملاً صفر تھی، اور ان کے corpus پر درستگی کبھی 99.8 percent سے کم نہیں ہوئی، جبکہ false negatives ماڈل کے لحاظ سے 2 سے 4 percent کے درمیان تھے۔ محققین تجویز کرتے ہیں کہ ادارے، کسی بھی detector کو عملی طور پر قابل اعتماد ماننے سے پہلے، ایک سخت policy cap اختیار کریں, مثلاً انسانی تحریر کا 0.5 percent سے زیادہ flag نہ ہو۔ حیثیت کے فرق کو نوٹ کریں: Booth paper ایک working paper ہے، ابھی peer reviewed نہیں، اور اس نے humanized academic papers کے بجائے غیر ترمیم شدہ AI متن کا تجربہ کیا تھا۔

False Positives اور کس کو نقصان پہنچتا ہے

False positives وہ جگہ ہیں جہاں detector کا نقصان زیادہ مرتکز ہوتا ہے، اور اس صنعت میں دستاویزی نمونہ یہ ہے کہ flags غیر متناسب طور پر non-native English writers پر لگتے ہیں۔ VUB study اس نکتے پر خاص طور پر پڑھنے کے قابل ہے: اس کے 40 انسانی papers سب non-native English speakers نے لکھے تھے، اور چاروں tools, Pangram سمیت, نے ان سب کو 100 percent clear کر دیا۔ یہ واقعی حوصلہ افزا نتیجہ ہے، اور یہ 40 papers بھی ہیں۔ اس حجم کا sample 0.004 percent جیسی rate کی تصدیق نہیں کر سکتا؛ صرف vendor کی اپنی کہیں زیادہ بڑی internal testing ہی اتنے باریک اعداد پیدا کرتی ہے، اور کسی بیرونی فریق نے اس پیمانے پر ان کی replication نہیں کی۔

اس مطالعے کا حقیقی دنیا والا حصہ دکھاتا ہے کہ کیوں احتیاط اچھے benchmarks کے باوجود برقرار رہتی ہے۔ جب محققین نے Pangram کو 2024 اور 2025 کے 1,163 حقیقی master's theses پر چلایا، تو اس نے ان میں سے 45.5 percent کو کسی نہ کسی سطح پر نشان زد کیا، اور نشان زدہ کیسز میں AI حصے کا درمیانی تخمینہ 30 percent تھا، جبکہ ان میں سے کسی بھی thesis کے لیے کوئی ground truth موجود نہیں۔ مصنفین صاف کہتے ہیں: detection scores ابتدائی اشارے کے طور پر مفید ہیں اور high-stakes فیصلوں میں کبھی بھی واحد ثبوت نہیں ہونے چاہئیں۔ الزام کا سامنا کرنے والے student کو پھر بھی process based ways to demonstrate authorship درکار ہوتے ہیں، چاہے number کسی بھی detector نے پیدا کیا ہو۔

قیمت اور رسائی

Pangram کی site account کے لیے sign up کرنے کے بعد روزانہ 20 free checks فراہم کرتی ہے، جبکہ paid subscriptions credit volume اور plagiarism detection جیسی features شامل کرتی ہیں۔ یہ access model accuracy numbers جتنا ہی اہم ہے: Turnitin کے برعکس, جس کا writer کو صرف اس وقت سامنا ہوتا ہے جب کوئی institution اسے اس کے خلاف چلاتا ہے, Pangram کو براہ راست check کیا جا سکتا ہے, اس لیے writer وہی class of signal دیکھ سکتا ہے جو reviewer submission سے پہلے دیکھ سکتا ہے۔

Detector Landscape میں Pangram کی جگہ

VUB authors کا field کا خلاصہ دو ٹوک ہے: "From the four AI detection tools studied here, at this moment only one produced satisfactory results." یہ جملہ Pangram کے بارے میں جتنا کہتا ہے, اتنا ہی incumbents کے بارے میں بھی کہتا ہے۔ Turnitin, وہ tool جس پر زیادہ تر institutions عملاً انحصار کرتی ہیں, نے مکمل طور پر AI generated set پر zero score کیا, اور اس کا separately documented false positive record پہلے ہی universities کو مجبور کر چکا ہے کہ وہ اس کے scores کو احتیاط سے لیں۔ ان تمام tools text کی statistical properties ناپتے ہیں, اور the underlying mechanics یہ واضح کرتی ہیں کہ کیوں Pangram کا newer training approach آگے نکل سکتا ہے اور کیوں ان میں سے ہر ایک probabilistic ہی رہتا ہے۔

دیانت دارانہ فیصلہ یہ ہے: Pangram اس وقت آزادانہ جانچ میں سب سے بہتر معاونت یافتہ detector ہے، اور تازہ شواہد کی بنیاد پر واضح برتری کے ساتھ۔ تاہم یہ شواہد بھی محدود ہیں۔ دو مطالعات، ایک peer reviewed اور ایک غیر peer reviewed، دونوں پچھلے سال کے، زیادہ تر English، زیادہ تر طویل academic اور web text۔ Detection ایک arms race ہے ان models کے خلاف جو ہر سہ ماہی بدلتے ہیں، اور جو tool 2026 میں برتری رکھتا ہے وہ یہ برتری صرف متن کی اگلی نسل تک برقرار رکھتا ہے۔ Pangram score اپنے حریفوں کے مقابلے میں زیادہ درست طور پر calibrated اندازہ ہے۔ پھر بھی یہ ایک اندازہ ہی ہے، اس بات کا ثبوت نہیں کہ کسی خاص شخص نے کیا کیا۔

مکمل موازنہ دیکھیں

Pangram ایک ہجوم زدہ، غیر یکساں میدان میں ایک tool ہے۔ Turnitin، GPTZero، Copyleaks، ZeroGPT، اور باقی tools کے مقابلے میں، انہی معیاروں پر یہ کیسا ہے، اس کے لیے مکمل AI detectors compared گائیڈ دیکھیں۔

ہماری اپنی تحقیق نے کیا پایا

TextPulse Research کے ڈیٹیکٹر اتفاق مطالعے میں نو تجارتی AI ڈیٹیکٹرز نے وہی 90 علمی تحریریں پرکھیں۔ ان میں سے ایک 455 الفاظ کی ہائبرڈ تحریر تھی: آغاز اور اختتام انسان کے لکھے ہوئے، اور درمیان میں 168 الفاظ کا AI کا لکھا حصہ۔ Pangram نے اس تحریر کو 34% AI قرار دیا، جبکہ انہی الفاظ پر باقی ٹولز کے فیصلے 0% سے 95.7% AI تک پھیلے ہوئے تھے۔ مکمل مقالہ، کارپس اور ہر ٹول کی اسکور میٹرکس TextPulse Research پر آزادانہ دستیاب ہے۔