چرا حاشیهنویسیهای نوشتهشده توسط AI مقالاتی را توصیف میکنند که وجود ندارند
یک منبع ساختگی میتواند دقیقاً مانند یک منبع واقعی به نظر برسد تا زمانی که کسی آن را جستوجو کند. حاشیهنویسی زیر آن سختتر جعل میشود: پاراگرافی روان که روش و یافتههای یک مقاله را با جزئیات توصیف میکند، برای مقالهای که هیچکس آن را ننوشته است.
یک ناظر همان ساختار جمله را ده بار پیاپی میخواند، یک کتابنامه حاشیهنویسیشده را باز میکند، آن را با صدای بلند میخواند، صفحهای پس از صفحه دیگر: این مطالعه رابطه میان X و Y را بررسی میکند، با استفاده از یک نمونه از شرکتکنندگان برای کاوش Z، و نتیجه میگیرد که پژوهش بیشتر لازم است. همه مدخلها روان خوانده میشوند. دو منبع از دوازده منبع، که بر اساس عنوان جستوجو شدهاند، وجود ندارند.
استنادهای hallucinated توسط AI در کتابنامهها بهندرت خود را در خط مرجع آشکار میکنند. یک نام نویسنده ساختگی و یک مجله ساختگی میتوانند دقیقاً مانند نمونههای واقعی به نظر برسند، تا زمانی که کسی آنها را جستوجو کند. چیزی که تقریباً هر بار نخستین بار جعل را برملا میکند، یادداشتِ زیر آن است: پاراگرافی که به اندازه کافی مطمئن است تا روش و یافتههای یک مقاله را با جزئیات توصیف کند، برای مقالهای که هرگز نوشته نشده است.
چگونه استنادهای hallucinated توسط AI را در کتابنامهها تشخیص دهیم
یادداشت را پیش از خط مرجع بخوانید. یک استناد بهتنهایی، یک نویسنده، یک سال، یک مجله، یک DOI، همگی الگوهای ساختاری کوچکی هستند که یک مدل زبانی هزاران بار آنها را دیده است، و ممکن است بهطور تصادفی یا بر اثر حفظ کردن درست به نظر برسند، حتی اگر هیچ چیز واقعی پشت آنها نباشد. در مقابل، یک یادداشت باید درباره اینکه آن مقاله مشخص واقعاً چه کرده است چیزی بگوید، با جزئیاتی کافی که بتوانید یا دریابید که درست است یا نادرست. اگر یک مدل منبع را بازیابی نکند یا نخواند، نخواهد توانست این کار را بهطور قابل اعتماد انجام دهد، و نتیجه بسیار پیش از آنکه حتی به بررسی DOI برسیم، به صورت کلیگویی آشکار خواهد شد.
چرا یادداشت بیش از خود استناد، جعل را برملا میکند
یک استناد ساختگی، حدس و گمانی است که لباس مرجع پوشیده است: نویسندهای محتمل، مجلهای محتمل، رشتهای شبیه DOI با تعداد درست رقمها. یک یادداشت ساختگی، حدس و گمانی است که لباس درک پوشیده است، و درک را بسیار دشوارتر میتوان بهطور قانعکننده در یک پاراگراف کامل جعل کرد. مدل باید به یک نمونه، یک روش و یک جهتِ یافته متعهد شود، و هر یک از این جزئیات جایی است که یک مقاله واقعی میتواند آن را نقض کند.
همینطور است که یک حاشیهنویسی برای خواننده آسانتر از یک استنادِ صرف قابل بررسی است. یک مرجع به همان شکل قالببندی میشود، چه منبع واقعی باشد چه نباشد، بنابراین خودِ شکل آن هیچ اطلاعاتی را افشا نمیکند. حاشیهنویسی یک ادعای مشخص درباره محتوایی مشخص مطرح میکند، پس یا با مقاله واقعی پشتیبانی میشود یا نمیشود، و چند دقیقه مراجعه به چکیده واقعی روشن میکند کدامیک درست است.
مقاله خود را انسانیسازی کنید
متنِ کمکگرفته از AI خود را دگرگون کنید و کاری کنید طبیعی به نظر برسد، بدون دست زدن به واژههای مهم یا ارجاعها.
یک مدل وقتی هرگز مقاله را واقعاً نخوانده است چه مینویسد
از یک مدل زبانی بخواهید برای منبعی حاشیهنویسی کند که فقط یک عنوان و یک موضوع کلی از آن دارد، و آن نه امتناع میکند و نه احتیاط به خرج میدهد. آن، پاراگرافی را پیشبینی میکند که مقالهای با آن عنوان احتمالاً دربر خواهد داشت، بر پایه هزاران چکیده مشابه که در آموزش دیده است، و آن را با همان لحن مطمئن بازمیگرداند که برای مقالهای به کار میبرد که میتوانست خط به خط از آن نقل کند.
این متن مانند میانگینِ همه چیزهایی است که تاکنون در نزدیکی آن موضوع نوشته شده است. یک خلاصه صادقانه از یک مطالعه درباره خواب و حافظه، نام شرکتکنندگان واقعی پژوهش، آزمون واقعیِ بهکاررفته و اندازه اثر واقعیِ گزارششده را به شما میدهد. یک خلاصه ساختگی میگوید مطالعه بررسی کرده است که مردم چقدر خوب میخوابند و حافظهشان چگونه است و نتیجه گرفته است که میان آن دو پیوندی قوی وجود دارد. این متن آنقدر کلی است که بتواند بهراحتی زیر یک عنوان متفاوت و نامرتبط هم قرار بگیرد.
| What to check | A genuine annotation usually has this | A fabricated one usually has this instead |
|---|---|---|
| Numbers | یک اندازه نمونه مشخص، اندازه اثر یا درصد که با چکیده واقعی مطابقت دارد | بدون عدد، یا یک رقم گرد و غیرقابل راستیآزمایی که در منبع واقعی اصلاً دیده نمیشود |
| Method | روش واقعی نامبرده شده: یک آزمون، طرح یا مجموعهداده مشخص | اشارهای مبهم به "a study" یا "an analysis" بدون نامبردن از روش |
| Limitations | یک محدودیت که خود نویسندگان مطرح کردهاند و به طرح پژوهش آنان اختصاص دارد | یک محدودیت کلی که درباره تقریباً هر مقالهای در این حوزه صادق است |
| Reference match | استناد به یک رکورد واقعی منتهی میشود که عنوان آن با annotation مطابقت دارد | استناد منتهی نمیشود، یا به مقالهای دیگر و نامرتبط منتهی میشود |
هیچیک از این بررسیها مستلزم خواندن کل مقاله نیست. این بررسیها مستلزم یکبار باز کردن آن هستند، به اندازهای که بتوان دید آیا ادعاهای مشخص در annotation واقعاً در چکیده ظاهر میشوند یا نه.
چرا نرخ جعل به نسخه مدل و تاریخ نیاز دارد
مقیاس مسئله اندازهگیری شده است، هرچند این اندازهگیریها با یکدیگر توافق ندارند، زیرا هرگز یک چیز واحد را اندازه نمیگرفتند. پژوهشگران با آزمودن ChatGPT-3.5 و ChatGPT-4 بر روی همان 42 موضوع دانشگاهی در همان روز در 2023، دریافتند که 55 درصد از استنادهای GPT-3.5 کاملاً جعلی بودند، در برابر 18 درصد برای GPT-4. همان promptها، همان پژوهشگران، همان روز، فقط مدل تغییر کرد و نرخ به دو سوم کاهش یافت.
یک مطالعه جداگانه, که به جای ارجاعات کتابشناختی, واقعیتهای موردیِ دچار توهم را آزمود, دریافت که ChatGPT-4 در 58 درصد موارد درباره پرسشهای قابل راستیآزمایی پیرامون پروندههای واقعی دادگاه فدرال نادرست بود, و Llama 2 در 88 درصد موارد نادرست بود, در پژوهشی که در 2024 منتشر شد. آن رقم یک تکلیف متفاوت را بر روی مدلهای متفاوت توصیف میکند و نباید با اعداد مربوط به جعل ارجاع در بالا در یک نرخ سرخطی واحد میانگینگیری شود. آنچه هر دو مطالعه بر آن توافق دارند شکل مسئله است: درصدی بدون آنکه نسخه مدل و تاریخ به آن پیوست شده باشد, هیچ چیز مشخصی را توصیف نمیکند. الگوی گستردهتر, در شش مطالعه از این دست که بازه 2023 تا 2026 را دربر میگیرند, خود موضوعی مستقل است: does ChatGPT make up references آن را به طور کامل پوشش میدهد. آنچه به طور خاص برای یک کتابنامه اهمیت دارد محدودتر میماند: اینکه آیا یادداشت, جعل را پیش از آنکه کسی DOI را بررسی کند, آشکار میکند یا نه.
چگونه هر مدخل را در یک کتابنامه حاشیهنویسیشده تولیدشده با AI بررسی کنیم
با خط ارجاع آغاز کنید: عنوان دقیق را در Google Scholar یا در سایت خودِ مجله جستوجو کنید, و تا زمانی که DOI واقعاً به همان عنوان نرسیده است, آن را تأییدنشده در نظر بگیرید, زیرا یک ارجاع جعلی میتواند DOIای داشته باشد که به مقاله واقعی و نامرتبط شخص دیگری میرسد. An AI citation checker that resolves each entry against a real scholarly database این جستوجو را خودکار میکند, به جای آنکه آن را به یک جستوجوی دستی برای هر منبع منفرد واگذارد.
سپس یادداشت را با خودِ منبع بررسی کنید, نه با میزان قانعکننده بودن آن. چکیده واقعی را باز کنید و نمونه, روش و یافتهای را که یادداشت ادعا میکند, تأیید کنید که واقعاً در آن وجود دارد. A free annotated bibliography generator that grounds every summary in the paper's own abstract, به جای آنکه آن را از حافظه بسازد, نشان میدهد یک یادداشت واقعاً مبتنی بر منبع در کنار یادداشتی که چنین نبوده است, چه شکلی دارد.
برای مدخلهایی که از این ممیزی عبور میکنند, citing ChatGPT in APA و citing ChatGPT in MLA هر یک به صورت گام به گام توضیح داده شدهاند.
هیچیک از اینها نحوه قالببندی یک مدخل را پس از آنکه تأیید کردید واقعی است، تغییر نمیدهد. نحوه استناد به خود ChatGPT پرسشی جداگانه است که بهطور کامل برای APA، MLA، Chicago و IEEE پوشش داده شده است، و یک citation generator مرجع معمولی را بدون توجه به سبک، به همان شیوه قالببندی میکند. چیزی که هیچیک از این دو تشخیص نمیدهد، یادداشتی است که مقالهای را توصیف میکند که هیچکس ننوشته است، آنقدر روان که هیچکس به فکر بررسی آن نیفتاده است.
سؤالات متداول
زیرا یک استناد فقط باید درست به نظر برسد: یک نویسنده، مجله و DOI محتمل برای گذر از یک نگاه اجمالی کافی است. اما حاشیهنویسی باید درست باشد، چون ادعای مشخصی درباره روش و یافتههای یک مقاله مطرح میکند که یا با منبع واقعی مطابقت دارد یا ندارد. مدلی که هرگز مقاله را نخوانده است، بسیار آسانتر میتواند شکل یک منبع را جعل کند تا محتوای یک خلاصه را.
Content planner and copywriter at TextPulse. Sara runs the blog day to day, from planning and drafting through to publishing. She writes the practical guides: clear explanations of academic writing problems, aimed at the person who actually has to hand something in.