استنادهای توهمی: مقاله خود را پیش از ارسال ممیزی کنید

در ژوئن 2023، یک قاضی فدرال در نیویورک دو وکیل را به دلیل ثبت لایحه‌ای که بر دست‌کم شش پرونده قضاییِ不存在 استوار بود، جریمه کرد. Steven Schwartz از ChatGPT خواسته بود سابقه قضایی پشتیبان ارائه کند، نام پرونده‌ها و استدلال‌های نقل‌شده‌ای دریافت کرده بود که همگی معقول به نظر می‌رسیدند، و لایحه را بدون آنکه حتی یک پرونده را خودش باز کند، ثبت کرده بود. قاضی P. Kevin Castel او را به پرداخت پنج هزار دلار جریمه کرد و دستور داد نامه‌ای به هر قاضی واقعی که نامش به یک رأی ساختگی نسبت داده شده بود، ارسال شود.

یک فهرست منابع هم می‌تواند به همان نقطه برسد. راه‌حل، یک ممیزی استنادِ توهمی است که پیش از آنکه یک ویراستار، یک استاد راهنما یا یک داور این کار را برای شما انجام دهد، روی فهرست منابع خودتان اجرا می‌شود. این فقط مشکلی نیست که از نگارش با یک چت‌بات ناشی شود. یک استنادِ به‌خاطر سپرده‌شده که هرگز دقیقاً وجود نداشته است، عنوانِ یک هم‌نویسنده که اندکی نادرست کپی شده است، یا یک پیش‌چاپ که پس از پذیرش، استناد نهایی آن تغییر کرده است، همگی می‌توانند همان نوع شکاف را در فهرست منابع ایجاد کنند که یک استناد ساختگی ایجاد می‌کند. ممیزی زیر همه آن‌ها را شناسایی می‌کند، صرف‌نظر از اینکه هر مدخل منفرد چگونه در آنجا قرار گرفته است.

یک استنادِ توهمی واقعاً چقدر رایج است؟

دامنه این موضوع تا حد زیادی به این بستگی دارد که کدام مدل پیش‌نویس را تولید کرده است. Walters and Wilder، که در 2023 در Scientific Reports منتشر کردند, فهرست‌های منابع تولیدشده توسط GPT-3.5 و GPT-4 را در برابر دستورهای واقعیِ نگارش دانشگاهی آزمودند: 636 استناد برگرفته از 84 فهرست منابعِ تولیدشده توسط AI، 42 مورد برای هر مدل. 55 درصد از استنادهای GPT-3.5 کاملاً ساختگی بودند، در برابر 18 درصد برای GPT-4. حتی موارد واقعی نیز لزوماً بی‌نقص نبودند: 43 درصد از استنادهای واقعی GPT-3.5 و 24 درصد از استنادهای واقعی GPT-4 همچنان در جایی از نویسنده، عنوان، سال یا محل انتشار، یک خطای ماهوی داشتند.

پژوهش حقوقی درباره استنادهای تولیدشده توسط AI نشان می‌دهد که نرخ شکست حتی بالاتر است، اما آن پژوهش نوع دیگری از شکست را می‌سنجد، یعنی احکام قضایی توهمی، نه منابع کتابشناختی ساختگی، بنابراین این رقم چیزی نیست که بتوان آن را به یک زمینه دانشگاهی منتقل کرد. آنچه هر دو حوزه مشترک دارند، علت زیربنایی است: مدلی که یک استنادِ به‌ظاهر معتبر تولید می‌کند، برای چیزی بهینه‌سازی می‌کند که یک استناد معمولاً شبیه آن به نظر می‌رسد، نه برای این که آیا واقعاً وجود دارد یا نه. نوشته خود TextPulse درباره این که آیا ChatGPT منابع را جعل می‌کند مشخصاً همین chatbot را بررسی می‌کند، این ارزیابی صرف‌نظر از این که کدام ابزار، یا حافظه کدام هم‌نویسنده، مدخل پیش روی شما را تولید کرده باشد، معتبر است.

آنچه ارزیابی‌های مقیاس‌متن در 2026 یافتند

این نرخ‌ها در سطح مدل، آنچه را از یک chatbot بیرون می‌آید توصیف می‌کنند. پرسش جداگانه، و همان پرسشی که برای هر کسی که به یک journal ارسال می‌کند اهمیت دارد، این است که یک منبع ساختگی چند وقت یک بار از همه بررسی‌ها میان یک پیش‌نویس و یک مقاله منتشرشده جان سالم به در می‌برد. دو ارزیابی که در فاصله یک روز از یکدیگر در May 2026 منتشر شدند، این پرسش را در مقیاس ادبیات پژوهشی پاسخ دادند، و پاسخ این است که این شکست دیگر نادر نیست.

یک ارزیابی منتشرشده در The Lancet منابع را در حدود 2.5 million مقاله زیست‌پزشکی در PubMed Central Open Access غربال کرد، و بازه January 2023 تا February 2026 را پوشش داد. چند هزار منبع به آثاری ارجاع می‌دادند که وجود ندارند، و این موارد در بیش از 2,800 مقاله منتشرشده پراکنده بودند. روند از مجموع اهمیت بیشتری دارد.

دوره	مقاله‌هایی با دست‌کم یک منبع ساختگی	به ازای هر 10,000 مقاله
2023	1 در 2,828	3.5
2025	1 در 458	21.8
2026, هفت هفته نخست	1 در 277	36.1

این رقم در طول سه سال تقریباً ده برابر افزایش یافته است، و رقم 2026 بر پایه 7 هفته به دست آمده است، نه یک سال کامل، بنابراین این یک برآورد اولیه است، نه یک نرخ سالانه تثبیت‌شده. آنچه این امر نشان می‌دهد این است که ارجاعات ساختگی به چاپ در مجلات داوری‌شده می‌رسند، و در مسیر از نویسندگان، هم‌نویسندگان، سردبیران و داوران عبور می‌کنند.

مطالعه همراه، Zhao و همکاران درباره استنادهای不存在, دامنه را به 111 میلیون ارجاع در arXiv، bioRxiv، SSRN و PubMed Central گسترش داد و برای سال 2025 به‌تنهایی حداقل محافظه‌کارانه 146,932 استناد هذیانی را برآورد کرد. یافته مفیدتر آن به جای حجم، به توزیع مربوط است: ارجاعات ساختگی در حوزه‌هایی با پذیرش سریع AI، و در میان تیم‌های نویسندگی کوچک و نویسندگان در آغاز مسیر حرفه‌ای، متمرکز می‌شوند. اگر شما نویسنده‌ای منفرد یا گروهی کوچک هستید که دفتر پژوهشی برای بررسی کتاب‌نامه‌تان ندارید، در گروهی قرار دارید که این خطا در آن بیش از همه رخ می‌دهد، و این خود دلیلی است برای اینکه ممیزی را خودتان انجام دهید، نه اینکه فرض کنید کسی در مراحل بعدی آن را انجام خواهد داد.

کدام مدل‌ها بیشترین جعل را انجام می‌دهند، و چه چیزی واقعاً آن را کاهش می‌دهد

پاسخ صادقانه این است که هیچ معیار عمومیِ سخت‌گیرانه‌ای مدل‌های اصلی امروز را به‌طور مشخص بر اساس جعل استنادی در برابر یکدیگر رتبه‌بندی نمی‌کند. مقایسه‌های غیررسمی کوچک در گردش‌اند، معمولاً چند ده ارجاع که به‌صورت دستی از میان دو یا سه chatbot عبور داده می‌شوند، و نمونه‌ها برای پشتیبانی از یک رتبه‌بندی میان آن‌ها بسیار اندک‌اند. برخورد با یکی از این‌ها به‌عنوان جدول رده‌بندی همان راهی است که یک ادعای مطمئن اما نادرست را وارد یک مقاله می‌کند.

آنچه قابل اتکا است، مقایسه نسلی در داده‌های Walters و Wilder در بالا است، جایی که مدل جدیدتر تقریباً یک‌سومِ مدل قدیمی‌تر جعل کرده است.

Model tested	Citations entirely fabricated	Genuine citations still carrying a substantive error
GPT-3.5	55%	43%
GPT-4	18%	24%

سه الگو در سراسر ادبیات پژوهش تکرار می‌شوند و از هر رتبه‌بندی منفردی ارزشمندترند. مدل‌های بزرگ‌تر کمتر از مدل‌های کوچک‌تر جعل می‌کنند. مدل‌هایی که واقعاً می‌توانند منابع را جست‌وجو و بازیابی کنند، به‌طور چشمگیری کمتر از مدل‌هایی جعل می‌کنند که فقط از پارامترهای خود پاسخ می‌دهند، و این بزرگ‌ترین اثری است که تاکنون کسی اندازه‌گیری کرده است. و منابع کم‌نام‌ونشان بسیار پرخطرتر از منابع شناخته‌شده‌اند، زیرا یک مقاله بسیار استنادشده آن‌قدر در داده‌های آموزشی ظاهر می‌شود که به‌درستی بازتولید شود، در حالی که یک منبع تخصصی و محدود بیشتر احتمال دارد از روی قطعات پراکنده بازسازی شود.

برداشت عملی این است که هیچ مدلی آن‌قدر ایمن نیست که بتوان بررسی را کنار گذاشت، و مدخل‌هایی که بیشترین احتمال خطا را دارند دقیقاً همان‌هایی هستند که شما کمترین توان را برای راستی‌آزمایی آن‌ها از حافظه دارید: استناد تخصصی، مقاله کنفرانسی کم‌نام‌ونشان، منبعی که آخر از همه اضافه کرده‌اید.

آنچه یک بررسی خودکار تشخیص می‌دهد، و جایی که متوقف می‌شود

اجرای فهرست از طریق یک بررسی‌کننده در ابتدا، از حل‌وفصل دستی 40 DOI سریع‌تر است، و بررسی‌کننده رایگان استناد AI این سایت دقیقاً همین کار را در برابر Crossref، OpenAlex و Semantic Scholar انجام می‌دهد. پیش از آنکه به چنین ابزاری تکیه کنید، دانستن این نکته ارزشمند است که این دسته از ابزارها در چه چیزهایی عملکرد ضعیفی دارند.

یک ارزیابی در 2026 از پنج آشکارساز استنادِ هذیانی، Badalova and Mayr، نشان داد که آن‌ها هشدارهای اولیه مفیدی می‌دهند، اما به‌دلیل چهار عامل همچنان محدود می‌مانند: استخراج تمیز منابع از یک سند، فراداده ناقص در خود مدخل، پوشش ناپیوسته پایگاه داده، و ثبت‌هایی که با یکدیگر اختلاف دارند. فقط عامل نخست زمانی از میان می‌رود که به‌جای بارگذاری یک PDF، فهرست را جای‌گذاری کنید.

پیامد این موضوع برای ممیزی خودتان، یک قاعده درباره تفسیر است. یک بررسی‌کننده در یافتن مهم‌ترین مورد، یعنی DOI که به مقاله‌ای متفاوت از آنچه مدخل ادعا می‌کند resolve می‌شود، بیشترین قدرت را دارد، و این تقریباً قطعی است. در مورد کتاب‌ها، فصل‌ها، پایان‌نامه‌ها، مجموعه مقالات، آثار بسیار تازه و مجلات غیرانگلیسی، ضعیف‌ترین عملکرد را دارد، زیرا همه این‌ها در همه جا به‌صورت اندک نمایه‌سازی شده‌اند و به‌طور معمول unfound برمی‌گردند، در حالی که کاملاً واقعی هستند. unfound یک نشانه برای بررسی دستی است، نه یک حکم. مراحل دستی زیر همان چیزی است که برای هر چیزی به کار می‌برید که گذر خودکار نتوانسته آن را تعیین کند.

پیش از ارسال، هر DOI را resolve کنید

یک DOI، یعنی Digital Object Identifier، قرار است از طریق resolver در doi.org دقیقاً به یک رکورد resolve شود. DOI موجود در فهرست منابع خود را به resolver اضافه کنید، و یک DOI درست به صفحه ناشر برای همان مقاله دقیق می‌رسد. DOI که به مقاله‌ای نامرتبط، به ژورنالی کاملاً متفاوت، یا به هیچ چیز resolve می‌شود، یکی از سریع‌ترین بررسی‌های hallucination موجود است، زیرا مدلی که یک citation را جعل می‌کند، معمولاً برای آن یک رشته DOI که ظاهراً معتبر به نظر می‌رسد نیز جعل می‌کند، نه این که از یک DOI واقعی دوباره استفاده کند.

یک DOI که به‌درستی resolve می‌شود، به‌طور خودکار اثبات نمی‌کند که citation واقعی است. برخی منابع ساختگی، DOI واقعیِ یک مقاله نامرتبط را قرض می‌گیرند، که بدون خطا resolve می‌شود و به مقاله‌ای واقعی اشاره می‌کند که هیچ ارتباطی با ادعایی که ظاهراً از آن پشتیبانی می‌کند ندارد. صفحه‌ای را که DOI به آن می‌رسد بخوانید، نه فقط این واقعیت را که بارگذاری شده است.

هر عنوان را با یک پایگاه داده واقعی تطبیق دهید

عنوان دقیق را, در گیومه, در یک پایگاه داده که حوزه شما را پوشش می‌دهد جست‌وجو کنید, نه در وبِ باز. از چیزی مانند Crossref, PubMed برای کارهای زیست‌پزشکی, یا نمایه اختصاصی رشته خود استفاده کنید. اگر از Crossref استفاده می‌کنید, می‌توانید از جست‌وجوی مهمان رایگان آن‌ها برای یافتن یک منبع بر اساس عنوان و نویسنده اول, یا بر اساس نویسنده و شماره صفحه, استفاده کنید اگر از عنوان مطمئن نیستید. این کار DOI و فراداده کاملِ هر چیزی را که در پرونده دارند برمی‌گرداند. اگر هیچ تطابقی وجود نداشته باشد, یا اگر نتیجه یک مقاله واقعی با مجموعه‌ای کاملا متفاوت از نویسندگان باشد, ممکن است با نوع دوم توهم روبه‌رو باشید, یک DOI خراب.

جست‌وجوی عنوان یک خطای مشخص را که بررسی DOI آن را آشکار نمی‌کند, شناسایی می‌کند, یک استناد با DOI واقعی و معتبر که به عنوان نادرست وصل شده است, زیرا عدد و متن جداگانه سرهم شده‌اند و هرگز در عمل با یکدیگر بررسی نشده‌اند. اگر عنوانِ پایگاه داده با عنوانِ فهرست منابع شما به‌طور نزدیک مطابقت ندارد, آن را تا زمانی که بتوانید ناسازگاری را توضیح دهید, جعل در نظر بگیرید, نه یک غلط تایپی که بی‌صدا اصلاح شود.

فهرست نویسندگان و سال انتشار را تطبیق دهید

یک استنادِ توهمی اغلب نویسنده را درست و مقاله را نادرست ثبت می‌کند, زیرا یک نام واقعی و برجسته در حوزه دقیقا همان چیزی است که یک مدل, هنگام تلاش برای تولید یک استنادِ محتمل, ارائه می‌کند. فهرست آثار منتشرشده نویسنده را, در همان پایگاه داده‌ای که از قبل باز کرده‌اید, برای سالی که فهرست منابع شما ادعا می‌کند جست‌وجو کنید. اگر آن نویسنده در آن سال 3 مقاله منتشر کرده باشد و هیچ‌کدام با عنوان شما مطابقت نداشته باشند, آن استناد به احتمال زیاد ساختگی است, ساخته‌شده از یک نام واقعی و یک سال واقعی که هرگز در عمل با هم قرار نگرفته‌اند.

الگوی معکوس هم دیده می‌شود, یک مقاله واقعی با عنوان درست که به سال نادرست وصل شده است, معمولا سالِ یک پیش‌چاپ به‌جای سال انتشار نهایی, یا نسخه‌ای از یک کنفرانس که با سال انتشار بعدیِ مجله استناد شده است. هیچ‌یک در معنای دقیقِ ممیزی جعل نیست, اما هر دو خواننده را به یک نرم‌افزار مدیریت استناد یا هم‌نویسنده‌ای می‌فرستند که سپس نمی‌تواند آنچه را شما استناد کرده‌اید پیدا کند, و این به اندازه کافی به همان مسئله نزدیک است که در همان نوبت اصلاح شود.

یک نام مجله محتمل اما ساختگی را شناسایی کنید

نام یک مجله ساختگی طوری ساخته می‌شود که دقیقاً شبیه یک مجله واقعی به نظر برسد: یک حوزه محتمل، یک صفت محتمل، و نامی که آن‌قدر به یک مجله واقعی نزدیک است که هیچ‌کس برای بررسی آن مکث نکند. "The Journal of Applied Cognitive Studies" ساختگی است, "The Journal of Applied Psychology" و "Journal of Cognitive Science" هر دو وجود دارند, و نامی که بخش‌هایی از این دو را به هم می‌چسباند دقیقاً به همین دلیل آشنا به نظر می‌رسد.

نام مجله را به‌تنهایی، در گیومه، جست‌وجو کنید و به‌دنبال صفحه مجله در وب‌سایت خود ناشر و یک ISSN فعلی باشید، نه فقط نتیجه‌ای در یک سایت دیگر که همان ارجاع را نقل کرده است. یک مجله واقعی صفحه اصلی‌ای دارد که نام ویراستار، جلد و شماره فعلی، و یک ISSN معتبر ثبت‌شده برای آن را فهرست می‌کند. نامی که هیچ صفحه ناشری، هیچ ISSN، و هیچ مقاله دیگری که به اثری از آن ارجاع داده باشد ندارد، روشن‌ترین نشانه در سراسر این بررسی است که آن منبع وجود ندارد.

استنادِ توهمیِ خود را به یک فهرستِ قابل تکرار تبدیل کنید

این بررسی‌ها را به‌ترتیب، برای هر ارجاع، پیش از آن‌که فهرست نهایی تلقی شود، انجام دهید. ترتیب از این جهت اهمیت کمتری دارد که هر چهار مورد پوشش داده شوند؛ یک استناد ممکن است از یک بررسی عبور کند و همچنان در بررسی دیگری مردود شود.

بررسی	آنچه را آشکار می‌کند
حل DOI	یک DOI که به هیچ‌جا نمی‌رسد، یا به مقاله‌ای نامرتبط می‌رسد
تطبیق عنوان با پایگاه داده	یک DOI واقعی که به عنوان نادرست پیوند خورده است، یا عنوانی که اصلاً هیچ نتیجه‌ای برنمی‌گرداند
هم‌سنجی نویسنده به‌علاوه سال	نام یک نویسنده واقعی که به مقاله‌ای نسبت داده شده است که او در آن سال ننوشته است
راستی‌آزمایی نام مجله	نامی که به‌نظر محتمل می‌آید اما هیچ ISSN، هیچ صفحه ناشر، و هیچ وجود واقعی ندارد

بررسی‌کننده استناد AI در TextPulse نسخه‌ای از این مرحله را به‌صورت خودکار بر روی یک فهرست کامل منابع اجرا می‌کند، و این کار از انجام دستی هر یک از چهار بررسی در یک کتاب‌نامه طولانی سریع‌تر است، هرچند خواندن مواردی که علامت‌گذاری می‌کند همچنان ارزش دارد و بهتر است خودتان آن را انجام دهید، نه این‌که یک علامت را صرفاً بر پایه اعتماد بپذیرید یا رد کنید. برای مرحله DOI به‌طور خاص، یک جست‌وجوی DOI به استناد اختصاصی، رفت‌وآمد به resolver را برای هر مدخل، یکی‌یکی، حذف می‌کند.

یک کتاب‌نامه پاکیزه یکی از چندین بررسی پیش از ارسال دست‌نوشته است. کاهش امتیاز AI برای ارسال به مجله جداگانه پوشش داده شده است، و نامه پاسخ به داوران که پس از آن می‌آید نیز همین‌طور.

هیچ‌یک از این‌ها جای خواندن دوباره مقاله خودتان را پیش از ارسال نمی‌گیرد. اگر بخشی پس از درست بودن facts همچنان کلی به نظر می‌رسد، یک AI humanizer می‌تواند نثر را روان کند، بی‌آن‌که حتی یک استناد را دست بزند؛ راهنمای TextPulse برای انسانی‌سازی متن AI در نگارش دانشگاهی این مرحله را بخش‌به‌بخش پوشش می‌دهد. یک فهرست منابع که به‌خوبی resolve می‌شود و یک دست‌نوشته که به‌عنوان صدای خود شما خوانده می‌شود، دو بررسی جداگانه‌اند، و ارزش دارد که پشت سر هم اجرا شوند، نه این‌که به یکی اعتماد شود تا دیگری را پوشش دهد.