من گھڑت حوالہ جات: جمع کرانے سے پہلے اپنے مقالے کا آڈٹ کریں

جون 2023 میں، نیویارک کے ایک وفاقی جج نے دو وکلا پر اس brief کو داخل کرنے پر جرمانہ عائد کیا جو کم از کم چھ ایسے عدالتی مقدمات پر مبنی تھا جو موجود ہی نہیں تھے۔ Steven Schwartz نے ChatGPT سے معاون نظیر مانگی تھی، اسے ایسے مقدمات کے نام اور نقل کردہ استدلال ملا جو سب معقول لگتے تھے، اور اس نے خود ایک بھی مقدمہ کھولے بغیر brief داخل کر دیا۔ جج P. Kevin Castel نے اس پر پانچ ہزار ڈالر جرمانہ عائد کیا اور ہر اس حقیقی جج کو خط لکھنے کا حکم دیا جس کا نام ایک من گھڑت opinion کے ساتھ منسلک کیا گیا تھا۔

ایک reference list بھی اسی جگہ پہنچ سکتی ہے۔ اس کا حل یہ ہے کہ اپنی reference list پر، اس سے پہلے کہ کوئی editor، supervisor یا reviewer آپ کے لیے ایسا کرے، hallucinated citation audit چلایا جائے۔ یہ صرف chatbot کے ساتھ drafting سے پیدا ہونے والا مسئلہ نہیں ہے۔ کوئی یاد کی ہوئی citation جو کبھی پوری طرح موجود ہی نہ تھی، کسی co-author کا title جو ذرا غلط نقل ہو گیا ہو، یا کوئی preprint جس کی final citation acceptance کے بعد بدل گئی ہو، یہ سب reference list میں اسی طرح کا خلا چھوڑ سکتے ہیں جیسا ایک من گھڑت citation چھوڑتا ہے۔ ذیل کا audit ان سب کو پکڑتا ہے، اس سے قطع نظر کہ کوئی بھی entry وہاں کیسے پہنچی۔

ایک hallucinated citation کتنا عام ہے، واقعی؟

اس کی حد بڑی حد تک اس بات پر منحصر ہے کہ draft کس model نے تیار کیا۔ Walters and Wilder نے، 2023 میں Scientific Reports میں شائع کرتے ہوئے, GPT-3.5 اور GPT-4 کے تیار کردہ reference lists کو حقیقی academic writing prompts کے مقابلے میں جانچا: 84 AI-generated reference lists سے اخذ کی گئی 636 citations، ہر model کے لیے 42۔ GPT-3.5 کی 55 percent citations مکمل طور پر من گھڑت تھیں، جبکہ GPT-4 کے لیے یہ شرح 18 percent تھی۔ حتیٰ کہ حقیقی citations بھی لازماً درست نہیں تھیں: GPT-3.5 کی 43 percent genuine citations اور GPT-4 کی 24 percent citations میں بھی author, title, year یا venue میں کہیں نہ کہیں ایک substantive error موجود تھا۔

AI-generated citations پر قانونی تحقیق میں اس سے بھی زیادہ ناکامی کی شرح سامنے آئی ہے، لیکن وہ کام ایک مختلف ناکامی کو ناپتا ہے، یعنی گھڑی ہوئی case holdings، نہ کہ جعلی bibliographic references، اس لیے یہ عدد ایسا نہیں جسے academic context میں منتقل کیا جائے۔ دونوں میدانوں میں مشترک بات بنیادی سبب ہے، ایک ایسا model جو بظاہر معقول citation پیدا کرتا ہے، وہ اس بات کے لیے optimize کر رہا ہوتا ہے کہ citation عموماً کیسا دکھائی دیتا ہے، نہ کہ اس کے لیے کہ آیا وہ واقعی موجود بھی ہے۔ TextPulse کا اپنی تحریر whether ChatGPT makes up references پر مخصوص جائزہ اسی chatbot کو دیکھتا ہے، یہ audit اس سے قطع نظر کام کرتا ہے کہ آپ کے سامنے موجود اندراج کس tool نے بنایا، یا کس co-author کی memory نے۔

2026 کے Literature-Scale Audits نے کیا پایا

یہ model-level rates اس بات کو بیان کرتی ہیں کہ chatbot سے کیا نکلتا ہے۔ ایک الگ سوال، اور وہ جو journal میں submission دینے والے ہر شخص کے لیے اہم ہے، یہ ہے کہ draft اور published paper کے درمیان ہر جانچ سے ایک fabricated reference کتنی بار بچ نکلتا ہے۔ May 2026 میں ایک دوسرے کے ایک دن کے اندر جاری ہونے والے دو audits نے literature کے پیمانے پر اس کا جواب دیا، اور جواب یہ ہے کہ یہ ناکامی اب نایاب نہیں رہی۔

The Lancet میں شائع ہونے والے ایک audit نے PubMed Central Open Access پر تقریباً 2.5 million biomedical papers کے references کی جانچ کی، جس میں January 2023 سے February 2026 تک کا عرصہ شامل تھا۔ کئی ہزار references ایسے کاموں کی طرف اشارہ کر رہے تھے جو موجود ہی نہیں، اور یہ صورت حال 2,800 سے زیادہ published papers میں پھیلی ہوئی تھی۔ مجموعی تعداد سے زیادہ اہم رجحان ہے۔

مدت	کم از کم ایک fabricated reference والے papers	10,000 papers پر
2023	1 in 2,828	3.5
2025	1 in 458	21.8
2026, پہلے سات ہفتے	1 in 277	36.1

یہ تقریباً 3 سالوں میں دس گنا اضافہ ہے، اور 2026 کا عدد پورے سال کے بجائے 7 ہفتوں سے اخذ کیا گیا ہے، اس لیے یہ ایک ابتدائی مشاہدہ ہے، نہ کہ ایک مستحکم سالانہ شرح۔ یہ بات جو واضح کرتی ہے وہ یہ ہے کہ گھڑی ہوئی حوالہ جات peer-reviewed مقامات میں شائع ہو رہے ہیں، اور راستے میں مصنفین، شریک مصنفین، مدیران اور جائزہ لینے والوں سے گزر چکے ہیں۔

ساتھی مطالعہ، Zhao اور ساتھیوں کی غیر موجود حوالہ جات پر تحقیق, نے دائرہ کار کو arXiv, bioRxiv, SSRN اور PubMed Central میں 111 million حوالہ جات تک وسیع کیا اور 2025 کے لیے اکیلے 146,932 hallucinated حوالہ جات کی ایک محتاط کم از کم حد مقرر کی۔ اس کا زیادہ مفید نتیجہ حجم کے بجائے تقسیم سے متعلق ہے: گھڑے ہوئے حوالہ جات ان شعبوں میں مرتکز ہیں جہاں AI کا تیز استعمال ہو رہا ہے، اور چھوٹی اور ابتدائی کیریئر والی مصنف ٹیموں میں بھی۔ اگر آپ اکیلے مصنف ہیں یا ایک چھوٹا گروپ ہیں جس کے پاس اپنی bibliography کی جانچ کے لیے کوئی research office نہیں، تو آپ اسی گروہ میں ہیں جہاں یہ مسئلہ سب سے زیادہ ہوتا ہے، اور یہ اس بات کی دلیل ہے کہ audit خود چلایا جائے، نہ کہ یہ فرض کیا جائے کہ بعد میں کوئی اور یہ کر لے گا۔

کون سے Models سب سے زیادہ گھڑتے ہیں، اور اصل میں کیا چیز اسے کم کرتی ہے

سچی بات یہ ہے کہ کوئی سخت public benchmark آج کے بڑے models کا citation fabrication کے لحاظ سے باہمی موازنہ نہیں کرتا۔ چھوٹے غیر رسمی موازنات گردش میں رہتے ہیں، عموماً چند درجن حوالہ جات کو دو یا تین chatbots میں ہاتھ سے چلایا جاتا ہے، اور نمونے اتنے کم ہوتے ہیں کہ ان کے درمیان ranking قائم نہیں کی جا سکتی۔ ان میں سے کسی ایک کو league table سمجھنا ہی وہ طریقہ ہے جس سے ایک پراعتماد مگر غلط دعویٰ paper میں داخل ہو جاتا ہے۔

جو بات واقعی قائم رہتی ہے وہ اوپر Walters اور Wilder کے data میں نسلی موازنہ ہے، جہاں نئے model نے پرانے model کے مقابلے میں تقریباً ایک تہائی بار گھڑت کی۔

جانچا گیا Model	حوالہ جات مکمل طور پر گھڑے ہوئے	حقیقی حوالہ جات جن میں اب بھی ایک substantive غلطی موجود تھی
GPT-3.5	55%	43%
GPT-4	18%	24%

ادبیات میں تین نمونے بار بار ظاہر ہوتے ہیں اور کسی ایک درجہ بندی سے زیادہ اہمیت رکھتے ہیں۔ بڑے ماڈلز، چھوٹے ماڈلز کے مقابلے میں، کم جعل سازی کرتے ہیں۔ وہ ماڈلز جو واقعی ذرائع کو تلاش اور بازیافت کر سکتے ہیں، صرف اپنے parameters سے جواب دینے والے ماڈلز کے مقابلے میں نمایاں طور پر کم جعل سازی کرتے ہیں، اور یہی وہ واحد سب سے بڑا اثر ہے جس کی کسی نے پیمائش کی ہے۔ اور غیر معروف ذرائع، معروف ذرائع کے مقابلے میں، کہیں زیادہ خطرناک ہیں، کیونکہ بہت زیادہ حوالہ دی گئی کوئی paper training data میں اتنی بار موجود ہوتی ہے کہ درست طور پر reproduce ہو جائے، جبکہ کسی niche source کے fragments سے reconstruct ہونے کا امکان زیادہ ہوتا ہے۔

عملی مفہوم یہ ہے کہ کوئی بھی model اتنا محفوظ نہیں کہ check کو چھوڑ دیا جائے، اور جن entries کے غلط ہونے کا امکان سب سے زیادہ ہے وہی ہیں جنہیں آپ memory سے verify کرنے کی سب سے کم صلاحیت رکھتے ہیں: specialist citation، obscure conference paper، وہ source جو آپ نے آخری بار شامل کیا تھا۔

ایک Automated Check کیا پکڑتا ہے، اور کہاں رک جاتا ہے

فہرست کو پہلے checker سے گزارنا، چالیس DOI کو ہاتھ سے resolve کرنے سے زیادہ تیز ہے، اور اس site کا مفت AI حوالہ چیکر Crossref, OpenAlex اور Semantic Scholar کے خلاف بالکل یہی کام کرتا ہے۔ یہ جاننا مفید ہے کہ اس قسم کا tool کس چیز میں کمزور ہے، اس پر بھروسا کرنے سے پہلے۔

2026 میں hallucinated-citation detectors کے پانچ evaluations میں، Badalova and Mayr نے پایا کہ وہ ابتدائی مفید تنبیہات دیتے ہیں، لیکن چار چیزوں کی وجہ سے محدود رہتے ہیں: document سے references کو صاف طور پر extract کرنا، entry کے اندر incomplete metadata، database coverage میں خلا، اور ایسے registries جو ایک دوسرے سے متفق نہیں ہوتے۔ ان میں سے صرف پہلی چیز اس وقت ختم ہوتی ہے جب آپ PDF upload کرنے کے بجائے list paste کرتے ہیں۔

آپ کے اپنے آڈٹ کے لیے نتیجہ تعبیر کے بارے میں ایک قاعدہ ہے۔ ایک checker سب سے زیادہ مضبوط اس دریافت میں ہوتا ہے جو سب سے زیادہ اہم ہو، یعنی ایسا DOI جو اس مقالے کے بجائے کسی دوسرے مقالے پر resolve ہو جس کا اندراج دعویٰ کرتا ہے، اور یہ تقریباً قطعی ہوتا ہے۔ یہ کتابوں، ابواب، تھیسز، proceedings، نہایت تازہ کام اور غیر انگریزی venues کے معاملے میں سب سے کمزور ہوتا ہے، کیونکہ یہ سب ہر جگہ بہت کم index ہوتے ہیں اور اکثر unfound واپس آتے ہیں، حالانکہ وہ بالکل حقیقی ہوتے ہیں۔ unfound ہاتھ سے جانچنے کا اشارہ ہے، کبھی فیصلہ نہیں۔ نیچے دیے گئے دستی مراحل وہ ہیں جو آپ اس پر لاگو کرتے ہیں جسے automated pass حل نہ کر سکا ہو۔

جمع کرانے سے پہلے ہر DOI resolve کریں

ایک DOI، یعنی Digital Object Identifier، کو doi.org resolver کے ذریعے بالکل ایک record پر resolve ہونا چاہیے۔ اپنی reference list سے DOI resolver میں ڈالیں، اور جو درست ہو وہ اس مخصوص article کے publisher's page پر پہنچتا ہے۔ ایسا DOI جو کسی غیر متعلق article، بالکل مختلف journal، یا کسی چیز پر بھی resolve نہ ہو، دستیاب hallucination checks میں سے ایک تیز ترین ہے، کیونکہ citation گھڑنے والا model عموماً اس کے ساتھ ایک plausible-looking DOI string بھی گھڑ لیتا ہے، بجائے اس کے کہ کسی حقیقی DOI کو دوبارہ استعمال کرے۔

جو DOI درست طور پر resolve ہو جائے، وہ citation کے حقیقی ہونے کا خودکار ثبوت نہیں ہے۔ بعض جعلی references کسی غیر متعلق paper کے حقیقی DOI کو لے لیتے ہیں، جو بغیر error کے resolve ہو جاتا ہے اور ایک حقیقی article کی طرف اشارہ کرتا ہے جس کا اس دعوے سے کوئی تعلق نہیں ہوتا جس کی وہ بظاہر تائید کر رہا ہوتا ہے۔ DOI جس page پر پہنچتا ہے اسے پڑھیں، صرف یہ حقیقت نہیں کہ وہ load ہو گیا۔

ہر عنوان کو ایک حقیقی database کے ساتھ ملائیں

عین عنوان کو، جو اقتباس کے نشانات میں ہو، اپنے شعبے کا احاطہ کرنے والے کسی ڈیٹا بیس میں تلاش کریں، کھلے ویب پر نہیں۔ Crossref جیسی کوئی سروس استعمال کریں، بایومیڈیکل کام کے لیے PubMed، یا اپنے شعبے کا اپنا اشاریہ۔ اگر آپ Crossref استعمال کر رہے ہیں تو آپ ان کی مفت guest search سے عنوان اور پہلے مصنف کے ذریعے حوالہ تلاش کر سکتے ہیں، یا اگر عنوان کے بارے میں یقین نہ ہو تو مصنف اور صفحہ نمبر کے ذریعے بھی۔ اس سے DOI اور مکمل metadata مل جائے گی جو بھی ان کے ریکارڈ میں موجود ہو۔ اگر کوئی مطابقت نہ ملے، یا اگر واپس آنے والی چیز ایک حقیقی مقالہ ہو مگر مصنفین کا مجموعہ بالکل مختلف ہو، تو آپ کو hallucination کی دوسری قسم نظر آ رہی ہو سکتی ہے, ایک ٹوٹا ہوا DOI۔

عنوان کی تلاش ایک خاص خرابی پکڑتی ہے جسے DOI کی جانچ نہیں پکڑتی: ایسا حوالہ جس کے ساتھ کام کرنے والا، حقیقی DOI لگا ہو مگر عنوان غلط ہو، کیونکہ نمبر اور متن الگ الگ تیار کیے گئے تھے اور حقیقت میں کبھی ایک دوسرے کے خلاف جانچے ہی نہیں گئے۔ اگر ڈیٹا بیس کا عنوان آپ کی reference list کے عنوان سے قریب بھی مطابقت نہ رکھتا ہو، تو اسے fabrication سمجھیں جب تک آپ اس عدم مطابقت کی وضاحت نہ کر سکیں، نہ کہ ایسی typo جسے خاموشی سے درست کر دیا جائے۔

مصنفین کی فہرست اور اشاعت کے سال کی دوبارہ جانچ کریں

ایک hallucinated citation اکثر مصنف کو درست اور مقالے کو غلط رکھتی ہے، کیونکہ شعبے میں ایک حقیقی، نمایاں نام بالکل وہی ہوتا ہے جو plausible citation کی طرف بڑھتا ہوا model پیدا کرے گا۔ جس ڈیٹا بیس کو آپ پہلے ہی کھول چکے ہیں، اس میں مصنف کی اپنی publication list کو اس سال کے لیے تلاش کریں جس کا آپ کی reference list دعویٰ کرتی ہے۔ اگر اس مصنف نے اس سال تین مقالے شائع کیے اور ان میں سے کوئی بھی آپ کے عنوان سے مطابقت نہیں رکھتا، تو حوالہ بہت غالب امکان کے ساتھ invented ہے، ایک حقیقی نام اور ایک حقیقی سال سے بنایا گیا ہے جو حقیقت میں کبھی ایک ساتھ نہیں آئے۔

اس کا الٹا نمونہ بھی سامنے آتا ہے: ایک حقیقی مقالہ، درست عنوان کے ساتھ، مگر غلط سال کے ساتھ منسلک، عموماً preprint کے سال کے ساتھ، نہ کہ حتمی اشاعت کے سال کے ساتھ، یا conference version کو journal کے بعد والے اشاعتی سال کے ساتھ cite کیا گیا ہو۔ audit کے سخت مفہوم میں یہ fabrication نہیں ہے، مگر دونوں ہی قاری کو citation manager یا کسی co-author تک لے جاتے ہیں جو پھر آپ کے cited متن کو نہیں ڈھونڈ پاتا، اور یہ اتنا قریب مسئلہ ہے کہ اسی مرحلے میں درست کر دیا جائے۔

ایک معقول مگر گھڑا ہوا journal name پہچانیں

ایک گھڑا ہوا جرنل نام اس طرح بنایا جاتا ہے کہ وہ بالکل حقیقی نام جیسا لگے: ایک قابلِ قبول شعبہ، ایک قابلِ قبول صفت، اور ایک ایسا نام جو کسی حقیقی جرنل کے اتنا قریب ہو کہ کوئی اسے چیک کرنے کے لیے رکے ہی نہیں۔ "The Journal of Applied Cognitive Studies" گھڑا ہوا ہے, "The Journal of Applied Psychology" اور "Journal of Cognitive Science" دونوں موجود ہیں, اور ان دونوں کے حصوں کو جوڑ کر بنایا گیا نام اسی وجہ سے مانوس محسوس ہوتا ہے۔

جرنل کے نام کو اکیلے، اقتباس کے نشانات میں، تلاش کریں، اور کسی دوسرے سائٹ پر اسی حوالہ کو نقل کرنے والے نتیجے کے بجائے ناشر کے اپنے جرنل صفحے اور موجودہ ISSN کو دیکھیں۔ ایک حقیقی جرنل کا ہوم پیج ہوتا ہے جس میں مدیر، موجودہ جلد اور شمارہ، اور اس کے نام پر رجسٹرڈ جائز ISSN درج ہوتا ہے۔ جس نام کے ساتھ نہ ناشر کا صفحہ ہو، نہ ISSN، اور نہ ہی اس سے کسی اور مضمون کے حوالہ دینے کا ثبوت ہو, وہ پوری جانچ میں اس بات کی سب سے واضح علامت ہے کہ حوالہ موجود ہی نہیں۔

اپنی خیالی حوالہ جاتی جانچ کو ایک دہرائی جانے والی فہرست میں بدلیں

ہر حوالہ پر، فہرست کو حتمی ماننے سے پہلے، یہ جانچیں اسی ترتیب سے کریں۔ ترتیب کی اہمیت اس بات سے کم ہے کہ چاروں جانچیں پوری ہوں۔ ایک حوالہ ایک جانچ میں کامیاب ہو سکتا ہے اور پھر بھی دوسری میں ناکام رہ سکتا ہے۔

جانچ	یہ کس چیز کو پکڑتی ہے
DOI resolution	ایسا DOI جو کہیں نہ پہنچے، یا کسی غیر متعلقہ مضمون تک لے جائے
Title-to-database match	غلط عنوان کے ساتھ منسلک حقیقی DOI، یا ایسا عنوان جو بالکل کوئی نتیجہ نہ دے
Author-plus-year cross-check	کسی حقیقی مصنف کا نام ایسے مقالے کے ساتھ منسلک ہونا جو اس نے اس سال نہیں لکھا
Journal name verification	ایسا نام جو سننے میں قابلِ قبول ہو مگر جس کا نہ ISSN ہو، نہ ناشر کا صفحہ، اور نہ حقیقی وجود

TextPulse کا AI citation checker اس مرحلے کی ایک صورت کو خودکار طور پر مکمل حوالہ جاتی فہرست پر چلاتا ہے، جو طویل bibliography میں چاروں checks کو ہاتھ سے ایک ایک کر کے کرنے کے مقابلے میں زیادہ تیز ہے، تاہم جو کچھ یہ نشان زد کرتا ہے اسے خود پڑھنا پھر بھی مفید ہے، بجائے اس کے کہ کسی نشان کو اعتماد پر قبول یا رد کر دیا جائے۔ DOI مرحلے کے لیے خاص طور پر، ایک مخصوص DOI سے حوالہ کنورٹر ہر اندراج کے لیے resolver تک بار بار جانے کی ضرورت ختم کر دیتا ہے۔

صاف bibliography ان کئی checks میں سے ایک ہے جو manuscript باہر بھیجنے سے پہلے کیے جاتے ہیں۔ Reducing an AI score for journal submission الگ سے زیر بحث ہے، اور اسی طرح the response to reviewers letter بھی، جو اس کے بعد آتا ہے۔

یہ سب کچھ آپ کے اپنے paper کو submit کرنے سے پہلے ایک بار پھر پڑھنے کا متبادل نہیں ہے۔ اگر حقائق درست ہونے کے باوجود کوئی section اب بھی عمومی سا لگتا ہو، تو ایک AI humanizer نثر کو ہموار کر سکتا ہے، بغیر کسی ایک citation کو چھوئے؛ academic writing میں AI text کو humanize کرنے کے لیے TextPulse کی guide to humanizing AI text in academic writing اس مرحلے کو section by section بیان کرتی ہے۔ ایک reference list جو درست طور پر resolve ہو جائے اور ایک manuscript جو آپ کی اپنی آواز میں پڑھا جائے، دو الگ checks ہیں، اور ایک کو دوسرے کا متبادل سمجھنے کے بجائے انہیں مسلسل دو بار چلانا قابلِ قدر ہے۔