Mengapa Anotasi yang Ditulis AI Menghuraikan Kertas yang Tidak Wujud

Seorang penyelia membaca bentuk ayat yang sama sepuluh kali berturut-turut, membuka bibliografi beranotasi, membacanya dengan kuat, satu halaman demi satu halaman: Kajian ini meneliti hubungan antara X dan Y, menggunakan sampel peserta untuk meneroka Z, dan mendapati bahawa penyelidikan lanjut diperlukan. Semua entri dibaca dengan lancar. Dua daripada dua belas sumber, yang dicari melalui tajuk, tidak wujud.

Sitasi yang dihalusinasikan oleh AI dalam bibliografi jarang sekali mendedahkan diri mereka pada baris rujukan. Nama pengarang yang direka dan jurnal yang direka boleh kelihatan sama seperti yang sebenar sehingga seseorang mencarinya. Apa yang paling kerap membongkar kepalsuan itu terlebih dahulu, hampir setiap kali, ialah anotasi yang terletak di bawahnya: satu perenggan yang cukup yakin untuk menghuraikan kaedah dan dapatan sebuah makalah dengan terperinci, bagi sebuah makalah yang tidak pernah ditulis.

Cara Mengesan Sitasi yang Dihalusinasikan oleh AI dalam Bibliografi

Baca anotasi sebelum baris rujukan. Sitasi itu sendiri, pengarang, tahun, jurnal, DOI, semuanya ialah corak berstruktur kecil yang telah dilihat oleh model bahasa beribu-ribu kali, dan ia boleh kelihatan betul secara kebetulan atau melalui hafalan walaupun tiada apa-apa yang sebenar di belakangnya. Anotasi, sebaliknya, mesti menyatakan sesuatu tentang apa yang sebenarnya dilakukan oleh makalah khusus itu, dengan perincian yang mencukupi supaya anda boleh menentukan sama ada ia benar atau palsu. Jika model tidak mendapatkan semula atau membaca sumber, ia tidak akan dapat melakukan ini dengan boleh dipercayai, dan hasilnya akan muncul sebagai sifat umum yang hambar jauh sebelum kita sempat menyemak DOI.

Mengapa Anotasi Mendedahkan Lebih Banyak Daripada Sitasi

Sitasi yang direka ialah tekaan yang disamarkan sebagai rujukan: pengarang yang munasabah, jurnal yang munasabah, rentetan berbentuk DOI dengan bilangan digit yang betul. Anotasi yang direka ialah tekaan yang disamarkan sebagai kefahaman, dan kefahaman jauh lebih sukar untuk dipalsukan secara meyakinkan merentasi satu perenggan penuh. Model itu perlu menetapkan sampel, kaedah dan arah dapatan, dan setiap satu daripada butiran itu ialah tempat di mana makalah sebenar boleh bercanggah dengannya.

Itulah juga sebabnya anotasi lebih mudah untuk diperiksa oleh pembaca berbanding sitasi yang kosong. Rujukan diformat dengan cara yang sama sama ada sumber itu benar atau tidak, jadi bentuknya sahaja tidak membocorkan sebarang maklumat. Anotasi membuat dakwaan khusus tentang kandungan khusus, jadi ia sama ada disokong oleh makalah sebenar atau tidak, dan beberapa minit dengan abstrak sebenar akan menentukan yang mana satu.

Apa yang Ditulis oleh Model Apabila Ia Tidak Pernah Sebenarnya Membaca Makalah Itu

Jika anda meminta model bahasa untuk menganotasi sumber yang hanya ada tajuk dan topik kasar, ia tidak akan menolak atau memberi jawapan yang berhati-hati. Ia meramalkan perenggan yang mungkin terkandung dalam makalah dengan tajuk itu, dibina daripada ribuan abstrak serupa yang dilihat semasa latihan, dan menyerahkannya kembali dalam daftar yakin yang sama seperti yang akan digunakan untuk makalah yang boleh dipetik baris demi baris.

Ia dibaca seperti purata bagi segala yang pernah ditulis berhampiran topik itu. Ringkasan yang jujur tentang kajian mengenai tidur dan ingatan akan memberikan anda nama peserta kajian sebenar, ujian sebenar yang digunakan dan saiz kesan sebenar yang dilaporkan. Ringkasan rekaan akan mengatakan bahawa kajian itu meneliti sejauh mana orang tidur dan ingatan mereka, lalu mendapati bahawa terdapat hubungan yang kuat antara kedua-duanya. Ia cukup umum untuk juga sesuai diletakkan di bawah tajuk lain yang berbeza dan tidak berkaitan.

Apa yang perlu diperiksa	Anotasi yang tulen biasanya mempunyai ini	Anotasi yang direka biasanya mempunyai ini sebagai gantinya
Nombor	Saiz sampel, saiz kesan atau peratusan yang khusus dan sepadan dengan abstrak sebenar	Tiada nombor, atau angka bulat yang tidak dapat disahkan dan tidak muncul di mana-mana dalam sumber sebenar
Kaedah	Kaedah sebenar yang dinamakan, ujian, reka bentuk atau set data yang khusus	Rujukan umum kepada "kajian" atau "analisis" tanpa kaedah yang dinamakan
Keterbatasan	Satu keterbatasan yang dibangkitkan oleh penulis sendiri, khusus kepada reka bentuk mereka	Keterbatasan umum yang benar bagi hampir mana-mana makalah dalam bidang ini
Padanan rujukan	Sitasi tersebut membawa kepada rekod sebenar yang judulnya sepadan dengan anotasi	Rujukan itu tidak dapat diselesaikan, atau membawa kepada makalah lain yang berbeza dan tidak berkaitan

Tiada satu pun daripada semakan ini memerlukan pembacaan keseluruhan makalah. Ia memerlukan pembukaan makalah itu sekali, cukup lama untuk melihat sama ada dakwaan khusus dalam anotasi itu benar-benar muncul dalam abstrak.

Mengapa Kadar Pemalsuan Memerlukan Versi Model dan Tarikh

Skala masalah ini diukur, walaupun ukuran-ukuran itu tidak saling bersetuju, kerana ia tidak pernah mengukur perkara yang sama. Dengan menguji ChatGPT-3.5 dan ChatGPT-4 pada 42 topik akademik yang sama pada hari yang sama dalam 2023, para penyelidik mendapati 55 peratus sitasi GPT-3.5 dipalsukan sepenuhnya, berbanding 18 peratus bagi GPT-4. Gesaan yang sama, penyelidik yang sama, hari yang sama, hanya modelnya yang berubah, dan kadar itu menurun sebanyak dua pertiga.

Satu kajian berasingan, yang menguji fakta kes yang dihalusinasi dan bukannya petikan bibliografi, mendapati ChatGPT-4 salah 58 peratus daripada masa bagi soalan yang boleh disahkan tentang kes mahkamah persekutuan sebenar, dan Llama 2 salah 88 peratus daripada masa, dalam penyelidikan yang diterbitkan pada 2024. Angka itu menerangkan tugas yang berbeza pada model yang berbeza dan tidak sepatutnya dirata-ratakan dengan angka pemalsuan petikan di atas menjadi satu kadar utama. Apa yang dipersetujui oleh kedua-dua kajian ialah bentuk masalahnya, peratusan tanpa versi model dan tarikh yang dilampirkan tidak menerangkan apa-apa yang khusus. Corak yang lebih luas, merentasi enam kajian sedemikian dari 2023 hingga 2026, ialah subjeknya sendiri: does ChatGPT make up references menghuraikannya sepenuhnya. Apa yang penting bagi bibliografi secara khusus kekal lebih sempit, sama ada anotasi itu membongkar pemalsuan sebelum sesiapa menyemak DOI.

Cara Menyemak Setiap Entri dalam Bibliografi Beranotasi yang Drafnya Dihasilkan oleh AI

Mulakan dengan baris rujukan, cari tajuk tepat itu dalam Google Scholar atau laman sendiri jurnal, dan anggap DOI sebagai belum disahkan sehingga ia benar-benar membawa kepada tajuk itu, kerana petikan yang dipalsukan boleh membawa DOI yang menuju kepada makalah sebenar orang lain yang tidak berkaitan. An AI citation checker that resolves each entry against a real scholarly database mengautomasikan carian itu dan bukannya menyerahkannya kepada carian manual bagi setiap sumber secara individu.

Kemudian semak anotasi terhadap sumber itu sendiri, bukan terhadap sejauh mana ia kedengaran meyakinkan. Buka abstrak sebenar dan sahkan sampel, kaedah dan dapatan yang didakwa oleh anotasi memang ada di dalamnya. A free annotated bibliography generator that grounds every summary in the paper's own abstract, bukannya menyusunnya daripada ingatan, menunjukkan rupa anotasi yang benar-benar berasaskan sumber bersebelahan dengan anotasi yang tidak berasaskan sumber.

Bagi entri yang melepasi audit, citing ChatGPT in APA dan citing ChatGPT in MLA masing-masing dihuraikan langkah demi langkah.

Tiada satu pun daripada ini mengubah cara anda memformat satu entri setelah anda mengesahkan bahawa ia benar. Cara memetik ChatGPT itu sendiri ialah soalan yang berasingan, dibincangkan sepenuhnya untuk APA, MLA, Chicago dan IEEE, dan penjana sitasi memformat rujukan biasa dengan cara yang sama tanpa mengira gaya. Apa yang tidak dikesan oleh kedua-duanya ialah anotasi yang menerangkan kertas yang tidak pernah ditulis oleh sesiapa, cukup lancar sehingga tiada siapa terfikir untuk menyemaknya.