لماذا تصف الشروح المكتوبة بواسطة AI أوراقًا لا وجود لها

يقرأ مشرف الشكل نفسه للجملة عشر مرات متتالية، وهو يفتح ببليوغرافيا مشروحة، ويقرأها بصوت عال، صفحة بعد صفحة: تبحث هذه الدراسة في العلاقة بين X و Y، باستخدام عينة من المشاركين لاستكشاف Z، وتخلص إلى أن هناك حاجة إلى مزيد من البحث. تبدو جميع الإدخالات سلسة. اثنان من المصادر الاثني عشر، التي جرى البحث عنها بالعنوان، غير موجودين.

الاستشهادات المتخيلة من AI في الببليوغرافيات نادرا ما تعلن عن نفسها في سطر المرجع. يمكن لاسم مؤلف مفبرك ومجلة مفبركة أن يبدوا مطابقين تماما للأسماء الحقيقية إلى أن يبحث أحدهم عنهما. وما يكشف التزوير أول مرة، في معظم الأحيان، هو التعليق الموضوع تحته: فقرة واثقة بما يكفي لوصف منهج ورقة ونتائجها بتفصيل، لورقة لم تُكتب قط.

كيفية اكتشاف الاستشهادات المتخيلة من AI في الببليوغرافيات

اقرأ التعليق قبل سطر المرجع. فالاستشهاد وحده، أو المؤلف، أو السنة، أو المجلة، أو DOI، كلها أنماط منظمة صغيرة رآها نموذج اللغة آلاف المرات، ويمكن أن تبدو صحيحة بالمصادفة أو بالحفظ حتى لو لم يكن وراءها شيء حقيقي. أما التعليق، من ناحية أخرى، فيجب أن يقول شيئا عن ما الذي فعلته تلك الورقة المحددة فعلا، بتفصيل يكفي لأن تتمكن إما من معرفة ما إذا كان ذلك صحيحا أو خاطئا. وإذا لم يسترجع النموذج المصدر أو يقرأه، فلن يكون قادرا على فعل ذلك على نحو موثوق، وستظهر النتيجة في صورة عمومية قبل وقت طويل من أن نصل إلى التحقق من DOI.

لماذا يكشف التعليق أكثر مما يكشفه الاستشهاد

الاستشهاد المفبرك هو تخمين متنكر في هيئة مرجع: مؤلف محتمل، مجلة محتملة، وسلسلة على هيئة DOI بعدد صحيح من الأرقام. أما التعليق المفبرك فهو تخمين متنكر في هيئة فهم، والفهم أصعب كثيرا في تزويره على نحو مقنع عبر فقرة كاملة. يجب على النموذج أن يلتزم بعينة، ومنهج، واتجاه للنتيجة، وكل واحدة من هذه التفاصيل تمثل موضعا يمكن لورقة حقيقية أن تناقضه فيه.

لهذا السبب أيضًا تكون الحاشية التوضيحية أسهل على القارئ في التحقق منها من الاستشهاد المجرد. فالمراجع تُنسق بالطريقة نفسها سواء كان المصدر حقيقيًا أم لا، لذلك لا يكشف شكلها وحده أي معلومات. أما الحاشية التوضيحية فتقدم ادعاءً محددًا عن محتوى محدد، ولذلك فهي إما مدعومة بالمقالة الفعلية أو ليست كذلك، وبضع دقائق مع الملخص الحقيقي تحسم أي الأمرين صحيح.

ما الذي يكتبه النموذج عندما لم يقرأ المقالة فعليًا قط

إذا طلبت من نموذج لغوي أن يضع حاشية توضيحية لمصدر لا يملك عنه سوى عنوان وموضوع عام، فلن يرفض ولن يتحفظ. بل يتنبأ بالفقرة التي من المحتمل أن تتضمنها مقالة بهذا العنوان، اعتمادًا على آلاف الملخصات المشابهة التي رآها في التدريب، ثم يعيدها إليك بالسجل الواثق نفسه الذي سيستخدمه لمقالة يمكنه اقتباسها سطرًا بسطر.

يبدو الأمر كأنه متوسط كل ما كُتب على الإطلاق بالقرب من ذلك الموضوع. فالملخص الصادق لدراسة عن النوم والذاكرة سيعطيك اسم المشاركين الحقيقيين في الدراسة، والاختبار الحقيقي المستخدم، وحجم الأثر الحقيقي المبلغ عنه. أما الملخص المختلق فسيقول إن الدراسة بحثت في مدى جودة نوم الناس وذاكرتهم ووجدت أن هناك صلة قوية بينهما. وهو عام بما يكفي ليبدو مناسبًا أيضًا تحت عنوان مختلف لا صلة له بالموضوع.

ما الذي يجب التحقق منه	عادةً ما تتضمنه الحاشية الحقيقية	عادةً ما تتضمن الحاشية المفبركة هذا بدلًا من ذلك
الأرقام	حجم عينة محدد، أو حجم أثر، أو نسبة مئوية تطابق الملخص الحقيقي	لا أرقام، أو رقم دائري غير قابل للتحقق لا يظهر في المصدر الفعلي
المنهج	المنهج الفعلي المذكور: اختبار محدد، أو تصميم، أو مجموعة بيانات	إشارة مبهمة إلى "دراسة" أو "تحليل" من دون ذكر منهج
القيود	قيد واحد ذكره المؤلفون أنفسهم، ويكون خاصًا بتصميمهم	قيد عام ينطبق على أي ورقة تقريبًا في هذا المجال
تطابق المرجع	تؤدي الإحالة إلى سجل حقيقي يطابق عنوانه الحاشية	لا تؤدي الإحالة إلى نتيجة، أو تؤدي إلى ورقة مختلفة لا صلة لها بالموضوع

لا تتطلب أي من هذه الفحوص قراءة الورقة كاملة. إنها تتطلب فتحها مرة واحدة، لمدة تكفي لرؤية ما إذا كانت الادعاءات المحددة في الحاشية تظهر فعلًا في الملخص.

لماذا يحتاج معدل التفبرك إلى نسخة النموذج وتاريخ

يُقاس حجم المشكلة، وإن كانت القياسات لا تتفق مع بعضها بعضًا، لأنهم لم يكونوا يقيسون الشيء نفسه قط. عند اختبار ChatGPT-3.5 و ChatGPT-4 على الموضوعات الأكاديمية نفسها وعددها 42 في اليوم نفسه من عام 2023، وجد الباحثون أن 55 percent من الاستشهادات في GPT-3.5 كانت مفبركة بالكامل، مقابل 18 percent في GPT-4. المطالبات نفسها، والباحثون أنفسهم، واليوم نفسه، لم يتغير سوى النموذج، فانخفض المعدل بمقدار الثلثين.

وجدت دراسة منفصلة، اختبرت وقائع حالات مختلقة بدلًا من الاستشهادات الببليوغرافية، أن ChatGPT-4 كان مخطئًا 58 percent من الوقت في الأسئلة القابلة للتحقق عن قضايا محاكم اتحادية حقيقية، وأن Llama 2 كان مخطئًا 88 percent من الوقت، في بحث نُشر في 2024. يصف هذا الرقم مهمة مختلفة على نماذج مختلفة، ولا ينبغي أن يُؤخذ متوسطًا مع أرقام اختلاق الاستشهادات أعلاه ليصبح معدلًا رئيسيًا واحدًا. وما تتفق عليه الدراستان هو شكل المشكلة: نسبة من دون إصدار للنموذج وتاريخ مرفق لا تصف شيئًا محددًا. أما النمط الأوسع، عبر ست دراسات من هذا النوع تمتد من 2023 إلى 2026، فهو موضوع قائم بذاته: does ChatGPT make up references يتناوله بالكامل. وما يهم في قائمة المراجع تحديدًا يظل أضيق نطاقًا: هل تكشف الحاشية عن الاختلاق قبل أن يتحقق أحد من DOI.

كيفية التحقق من كل مدخل في قائمة مراجع مشروحة مُنشأة بواسطة AI

ابدأ بسطر المرجع: ابحث عن العنوان الدقيق في Google Scholar أو في موقع المجلة نفسه، وتعامل مع DOI على أنه غير مؤكد إلى أن يحل فعليًا إلى ذلك العنوان، لأن الاستشهاد المختلق قد يحمل DOI يقود إلى ورقة حقيقية غير ذات صلة لشخص آخر. An AI citation checker that resolves each entry against a real scholarly database يؤتمت هذا البحث بدلًا من تركه لعملية بحث يدوية لكل مصدر على حدة.

ثم قارن الحاشية بالمصدر نفسه، لا بمدى إقناعها. افتح الملخص الفعلي وتحقق من أن العينة والمنهج والنتيجة التي تدعيها الحاشية موجودة فيه فعلًا. A free annotated bibliography generator that grounds every summary in the paper's own abstract، بدلًا من صياغة واحدة من الذاكرة، يوضح كيف تبدو الحاشية المرتكزة حقًا على المصدر مقارنة بحاشية لم تكن كذلك.

أما المدخلات التي تنجو من التدقيق، فإن citing ChatGPT in APA وciting ChatGPT in MLA موضحتان كلتاهما خطوة بخطوة.

لا يغيّر أيٌّ من هذا كيفية تنسيق المدخل بعد أن تكون قد تأكدت من أنه حقيقي. كيفية الاستشهاد بـ ChatGPT نفسه سؤال منفصل، وقد جرى تناوله بالكامل وفق APA وMLA وChicago وIEEE، ويقوم مولد الاستشهادات بتنسيق المرجع العادي بالطريقة نفسها بغض النظر عن النمط. وما لا يلتقطه أيٌّ منهما هو حاشية توضيحية تصف ورقة لم يكتبها أحد، بصياغة سلسة إلى حد أن أحدًا لم يفكر في التحقق.