کیا ChatGPT حوالہ جات گھڑ دیتا ہے؟ جعل سازی کے مطالعات نے کیا پایا

جون 2025 میں، Deakin University کے محققین نے GPT-4o سے ذہنی صحت کے موضوعات پر چھ ادبی جائزے لکھوائے۔ اس کے تیار کردہ 176 حوالہ جات میں سے 35 بالکل موجود ہی نہیں تھے۔ مزید 64 نے حقیقی مقالات کی طرف اشارہ کیا مگر ان کے ساتھ غلط تفصیلات منسلک تھیں۔ یعنی ہر پانچ میں سے ایک حوالہ سراسر گھڑا ہوا تھا، اور یہ اس ماڈل سے آیا جو ChatGPT کے حوالہ جاتی مسئلے کو پہلی بار طباعت میں ناپے جانے کے ایک سال سے زیادہ بعد جاری کیا گیا تھا۔

کیا ChatGPT حوالہ جات گھڑتا ہے؟ جی ہاں، اور یہ 2026 میں بھی جاری ہے، موجودہ ماڈلز پر، نہ صرف اس ورژن پر جس نے 2023 میں سرخیاں بنائیں۔ کھلا سوال کبھی یہ نہیں تھا کہ آیا یہ ہوتا ہے۔ سوال یہ ہے کہ یہ کتنی بار ہوتا ہے، اور یہ عدد ماڈل، ورژن، میدان اور اس تاریخ کے ساتھ بدلتا رہتا ہے جس دن آزمائش کی گئی تھی۔

کیا ChatGPT حوالہ جات گھڑتا ہے؟

جی ہاں۔ ایک لسانی ماڈل اپنے سے پہلے آنے والے تمام متن کی بنیاد پر اگلا قابلِ قبول لفظ پیش گوئی کرتا ہے۔ یہ کچھ بھی تلاش نہیں کرتا، جب تک آپ اپنی مصنوعات میں بازیافت یا تلاش کا مرحلہ شامل نہ کریں۔ اگر اسے یہ پیش گوئی کرنے کے لیے چھوڑ دیا جائے کہ حوالہ کیسا دکھائی دیتا ہے، تو یہ ایسا حوالہ بنا دے گا جو درست لگے: مصنف کا نام، سال، جرنل کا عنوان، جلد نمبر، DOI، بغیر اس بات کی تصدیق کیے کہ ان میں سے کوئی چیز کسی حقیقی اشاعت سے مطابقت رکھتی ہے یا نہیں۔ اس میں سے کچھ اتفاقاً یا رٹے رٹائے حفظ کی وجہ سے درست ہوگا۔ اس میں سے کچھ بالکل ابتدا سے گھڑا ہوا ہوگا اور بالکل اسی طرح نظر آئے گا۔

گھڑنے کی شرح کے لیے ماڈل ورژن اور تاریخ کیوں ضروری ہیں

کیونکہ یہ شرح ایک عدد نہیں ہے۔ اس موضوع پر سب سے زیادہ حوالہ دی جانے والی واحد تحقیق میں، ChatGPT-3.5 نے مختصر ادبی جائزوں کے ایک مجموعے میں 55 فیصد حوالہ جات گھڑ دیے، اور ChatGPT-4 نے، جسے انہی محققین نے انہی 42 موضوعات پر آزمایا، 18 فیصد حوالہ جات گھڑے۔ ایک ہی تحقیق، ایک ہی اشارے، آزمائش کا ایک ہی دن۔ صرف ماڈل بدلا، اور شرح دو تہائی کم ہو گئی۔

تاریخ اتنی ہی اہمیت رکھتا ہے جتنی ماڈل کے نام کی۔ اس مطالعے میں GPT-4 سے مراد وہی تھا جو OpenAI وسط 2023 میں فراہم کر رہا تھا۔ 2026 کے ایک مطالعے میں، جس نے 10 موجودہ ماڈلز اور تحقیقی ایجنٹس کا جائزہ لیا اور مجموعی طور پر 220,000 سے زیادہ citation links کی جانچ کی، جعل سازی کی شرحیں 3 percent سے 13 percent تک پائی گئیں، اور درست شرح مخصوص ماڈل اور اس بات پر منحصر تھی کہ آیا مصنوعات نے search grounding استعمال کیا یا deep research mode۔ دونوں میں سے کوئی بھی شرح غلط نہیں۔ وہ مختلف چیزوں کی وضاحت کرتی ہیں، جن کی پیمائش تقریباً 3 سال کے فاصلے پر کی گئی تھی۔

میدان بھی اہم ہے، اور یہ ماڈل سے آزاد ہے۔ ہمیں یہ بھی ملا ہے کہ economics research کو اسی GPT-3.5 اور GPT-4 pairing کے ذریعے چلانے پر GPT-3.5 citations میں 30 percent سے زیادہ ایجاد شدہ تھے اور GPT-4 کے لیے شرح اب بھی 20 percent سے اوپر تھی، جو multidisciplinary study کے نتائج کے قریب ہے، جبکہ medical-systematic-review study، جس نے خاص طور پر GPT-4 کے March 2023 build کے طور پر لیبل کیے گئے ورژن کا امتحان لیا، نے 28.6 percent ناپا، ایک بالکل مختلف task پر, existing systematic reviews کے لیے references نکالنے پر، نہ کہ شروع سے نئی literature summaries لکھنے پر۔

شائع شدہ مطالعات نے کیا پایا

2023 اور 2026 کے درمیان چلنے والے 6 مطالعات، طب، قانون، economics اور عمومی academic writing میں، ایک ہی نتیجے پر متفق ہوتے ہیں جسے 6 مختلف طریقوں سے بیان کیا گیا ہے: ہر reference کی جانچ کریں جو AI tool آپ کو دیتا ہے، اس سے قطع نظر کہ اسے کون سا model نے پیدا کیا یا کب۔

Study and field	Model and version	Date tested	Sample	Fabrication rate
Walters and Wilder, Scientific Reports (multidisciplinary)	ChatGPT-3.5 and ChatGPT-4	2023	636 citations, 42 topics	55% (3.5) versus 18% (4)
Buchanan, Hill and Shapoval, The American Economist (economics)	GPT-3.5 and GPT-4	2023	Journal of Economic Literature کے موضوعات سے prompts	30% سے زیادہ (3.5), 20% سے زیادہ (4)
Chelli et al, JMIR (medical systematic reviews)	GPT-3.5, GPT-4 (gpt-4-32k-0314 build), Bard (PaLM 2.0)	July 2023 میں queried	471 references, 11 reviews	39.6% (3.5), 28.6% (4), 91.4% (Bard)
Dahl, Magesh, Suzgun and Ho, Journal of Legal Analysis (law)	ChatGPT-4 and Llama 2	2024	Random federal court case questions	58% (ChatGPT-4), 88% (Llama 2)
Linardon et al, JMIR Mental Health (mental health reviews)	GPT-4o	June 2025 میں tested	176 citations, 6 reviews	19.9% مکمل طور پر fabricated, 56% fabricated یا flawed
Rao, Wong and Callison-Burch, arXiv preprint (multi-domain, deep research agents)	GPT-4.1, GPT-4o-search-preview, Claude 3.5 and 3.7 Sonnet, Gemini 2.5	2026	220,000 سے زیادہ citation URLs	model کے لحاظ سے 3% سے 13% تک

قانونی مطالعہ ایک ایسی تفصیل شامل کرتا ہے جسے محض خام فیصد ظاہر نہیں کرتا: اسی تحقیق سے یہ بھی معلوم ہوا کہ models اپنی hallucinations کی پیش گوئی کرنے میں دشواری محسوس کرتے ہیں اور کسی case کے بارے میں صارف کے غلط premise کو درست کرنے کے بجائے اسے قبول کرنے کا رجحان رکھتے ہیں۔ ایک fabricated citation ایک failure mode ہے۔ ایسا model جو اپنی uncertainty کو بھی نشان زد نہ کر سکے، ایک زیادہ مشکل مسئلہ ہے، اور یہ خاص طور پر اسی field میں نمایاں ہوتا ہے جہاں غلط citation کی قیمت سب سے زیادہ ہوتی ہے۔

کیا ChatGPT 2023 کے بعد بہتر ہوا ہے؟

کچھ حد تک، اور غیر یکساں طور پر۔ سب سے واضح ایک قبل اور بعد کا فرق خود Walters and Wilder کے مطالعے میں ہے, GPT-3.5 سے GPT-4 تک, ایک ہی دن میں, جعل سازی 55 فیصد سے کم ہو کر 18 فیصد رہ گئی۔ 2025 کے وسط میں GPT-4o کی طرف بڑھیں, اور Linardon کی ٹیم کے ناپے ہوئے شرح 19.9 فیصد تھی, ایک زیادہ مشکل اور زیادہ محدود کام پر, یعنی ایک ہی تحقیقی میدان میں 6 ادبی جائزے, بجائے اس کے کہ 42 غیر متعلقہ موضوعات پر پھیلے ہوئے مختصر خلاصے۔ 2026 کے اوائل میں آزمائے گئے search یا deep-research خصوصیات والے models کی طرف دوبارہ بڑھیں, اور ان میں سے اکثر کے لیے شرح single digits تک گر جاتی ہے, 3 سے 9 فیصد, اگرچہ ایک deep-research mode پھر بھی 13.3 فیصد تک پہنچا۔

ان میں سے کوئی بھی چیز سیدھی نیچے جاتی ہوئی لکیر نہیں ہے۔ Linardon کا عدد 2023 کے GPT-4 کے اعداد و شمار اور 2023 کے GPT-3.5 کے اعداد و شمار کے درمیان آتا ہے, حالانکہ model ان دونوں کے ایک سال سے زیادہ بعد جاری ہوا تھا, کیونکہ اسے ایک زیادہ مشکل کام پر آزمایا گیا تھا, یعنی کسی ایسے میدان میں حقیقی literature review generation جہاں ماخذ مواد کا بڑا حصہ خود تلاش کرنا مشکل ہے۔ جعل سازی کی شرح کسی model کو کسی task پر کسی date پر بیان کرتی ہے۔ ان تین میں سے کسی ایک کو بھی بدل دیں, تو عدد بدل جاتا ہے, کبھی کافی زیادہ۔

Model family آج بھی وہ واحد متغیر نہیں ہے جو عدد کو بدلتا ہے۔ 2025 کے ایک مطالعے میں آٹھ free chatbots, ChatGPT, Claude, Copilot, DeepSeek, Gemini, Grok, Le Chat اور Perplexity, کا پانچ علمی میدانوں میں 400 references پر جائزہ لیا گیا, اور پایا گیا کہ پیدا کیے گئے تمام references میں سے صرف 26.5 فیصد مکمل طور پر درست تھے۔ اس test میں Grok اور DeepSeek نے صفر fabricated references پیدا کیے۔ Claude, Copilot اور Perplexity بدترین کارکردگی دکھانے والوں میں شامل تھے۔ ایک جیسی بنیادی technology پر بنے ہوئے دو products, جنہیں ایک ہی مہینے, ایک ہی prompts پر آزمایا گیا, range کے بالکل مخالف سروں پر پہنچے, اور یہی اوپر دی گئی model-and-date table کا وہی سبق ہے, جو version کے بجائے product پر لاگو ہوتا ہے۔

جعل شدہ حوالہ جات حقیقی کیوں دکھائی دیتے ہیں

ایک گھڑی ہوئی حوالہ جاتی اندراج واضح جگہ پُر کرنے والا متن نہیں ہوتا۔ Walters اور Wilder نے پایا کہ ان کی ایجاد کردہ اندراجات میں حقیقی مصنفین کے نام تھے, ایسے لوگ جو حقیقی میدان میں شائع کرتے ہیں, اور انہیں ایسے جرنل عنوانات کے ساتھ جوڑا گیا تھا جو واقعی موجود ہیں, اور وہ اس حد تک اچھی طرح فارمیٹ کیے گئے تھے کہ ایک سرسری بصری جانچ میں گزر جائیں۔ Linardon کی ٹیم نے اس سے بھی زیادہ واضح بات پائی: GPT-4o کے تیار کردہ 35 گھڑے ہوئے حوالہ جات میں سے 33 کے ساتھ DOI منسلک تھا, اور ان DOI میں سے 64 percent نے ایک حقیقی, شائع شدہ مقالے تک پہنچایا جو بالکل غیر متعلق موضوع پر تھا, نہ کوئی مردہ لنک اور نہ کوئی خرابی کا صفحہ, کسی اور کی حقیقی تحقیق ایک ایسے ماخذ کی جگہ لے رہی تھی جو موجود ہی نہیں تھا.

یہ کیسے جانچیں کہ آیا ChatGPT کا حوالہ حقیقی ہے

صرف DOI پر بھروسا کرنے کے بجائے Google Scholar یا جرنل کی اپنی سائٹ پر درست عنوان تلاش کریں, کیونکہ ایک کام کرنے والا DOI مکمل طور پر غلط مقالے کی طرف بھی اشارہ کر سکتا ہے۔ مصنفین کی فہرست, سال اور جرنل اس سے ملتے ہوں جو واقعی سامنے آتا ہے, صرف یہ نہیں کہ کچھ نہ کچھ سامنے آتا ہے۔ یہ کام chatbot کے دیے ہوئے ہر حوالے کے لیے کریں, صرف ان کے لیے نہیں جو غیر مانوس لگتے ہیں, کیونکہ ان مطالعات میں گھڑے گئے اندراجات خاص طور پر عام دکھائی دینے کے لیے بنائے گئے تھے.

کسی غیر مانوس یا محدود موضوع کو ایک مرکزی دھارے کے موضوع کے مقابلے میں زیادہ خطرے والا سمجھیں۔ Linardon کی ٹیم نے ایک اچھی طرح زیرِمطالعہ حالت, major depressive disorder, میں تقریباً 6 percent جعل سازی پائی, اور اسی جائزوں کے مجموعے میں دو کم زیرِمطالعہ حالتوں میں تقریباً 30 percent۔ یہ نمونہ ذہنی صحت سے باہر بھی برقرار رہتا ہے: کسی ماڈل کے پاس گنجان میدان میں نمونے اخذ کرنے کے لیے زیادہ حقیقی متن ہوتا ہے, اور پتلے میدان میں بظاہر معقول انداز میں گھڑنے کی زیادہ گنجائش ہوتی ہے۔

ایک AI citation checker جو ہر اندراج کو ایک حقیقی علمی ڈیٹا بیس کے خلاف جانچتا ہے اس تلاش کو خودکار بنا دیتا ہے, بجائے اس کے کہ ہر ایک حوالہ دستی طور پر تلاش کیا جائے, اور یہی وہ حصہ ہے جسے زیادہ تر لوگ آخری تاریخ کے دباؤ میں چھوڑ دیتے ہیں, یعنی وہی حالت جس میں گھڑا ہوا حوالہ آخری مسودے تک پہنچنے کا سب سے زیادہ امکان رکھتا ہے۔

انہیں مکمل bibliography میں تلاش کرنا اپنی الگ کارروائی ہے اور اس کے لیے اپنا صفحہ موجود ہے۔ جو حوالہ جات حقیقی ہیں, ان کے لیے ChatGPT کو APA میں cite کرنا مرحلہ وار بیان کیا گیا ہے۔

اس میں سے کوئی چیز اس بات کو نہیں بدلتی کہ آپ ایک حوالہ کس طرح فارمیٹ کرتے ہیں، جب آپ یہ تصدیق کر چکے ہوں کہ وہ حقیقی ہے۔ یہ ایک الگ سوال ہے: How to cite ChatGPT میں APA, MLA, Chicago اور IEEE کے مطابق تبادلے کی وضاحت کی گئی ہے خود تبادلے کے لیے، اور a citation generator عام حوالہ کو اسی طرح سنبھالتا ہے، اس سے قطع نظر کہ آپ کس طرز میں لکھ رہے ہیں۔ کوئی بھی حوالہ جاتی فارمیٹ اس چیز کا حوالہ درست نہیں کر سکتا جو کبھی شائع ہی نہیں ہوئی۔ یہ جانچ فارمیٹنگ سے پہلے ہوتی ہے، ہر حوالہ پر، اس سے قطع نظر کہ آپ کا مسودہ کس model نے لکھا یا اس کے label میں کس version کا دعویٰ کیا گیا ہے۔