Mengapa Anotasi yang Ditulis AI Mendeskripsikan Makalah yang Tidak Ada

Seorang supervisor membaca bentuk kalimat yang sama sepuluh kali berturut-turut, membuka bibliografi beranotasi, membacanya dengan suara keras, satu halaman demi satu halaman: Studi ini meneliti hubungan antara X dan Y, menggunakan sampel partisipan untuk mengeksplorasi Z, dan menemukan bahwa penelitian lebih lanjut diperlukan. Semua entri terbaca lancar. Dua dari dua belas sumber, yang dicari berdasarkan judul, tidak ada.

Kutipan yang dihalusinasi AI dalam bibliografi jarang menyatakan dirinya sendiri pada baris referensi. Nama penulis yang dibuat-buat dan nama jurnal yang dibuat-buat dapat tampak persis seperti yang asli sampai seseorang mencarinya. Yang paling sering pertama kali membongkar kepalsuan itu, hampir setiap saat, adalah anotasi yang terletak di bawahnya: sebuah paragraf yang cukup yakin untuk menggambarkan metode dan temuan sebuah makalah secara rinci, padahal makalah itu tidak pernah ditulis.

Cara Mengenali Kutipan yang Dihalusinasi AI dalam Bibliografi

Bacalah anotasi sebelum baris referensi. Sebuah kutipan itu sendiri, seorang penulis, sebuah tahun, sebuah jurnal, sebuah DOI, semuanya hanyalah pola terstruktur kecil yang telah dilihat model bahasa ribuan kali, dan semuanya dapat tampak benar secara kebetulan atau karena hafalan, meskipun tidak ada sesuatu yang nyata di baliknya. Anotasi, sebaliknya, harus mengatakan sesuatu tentang apa yang benar-benar dilakukan oleh makalah tertentu itu, dengan cukup rinci sehingga Anda dapat mengetahui apakah hal itu benar atau salah. Jika sebuah model tidak mengambil atau membaca sumbernya, model itu tidak akan mampu melakukan ini secara andal, dan hasilnya akan tampak sebagai kekaburan umum jauh sebelum kita sempat memeriksa DOI.

Mengapa Anotasi Membongkar Lebih Banyak daripada yang Dilakukan Kutipan

Kutipan yang dibuat-buat adalah tebakan yang didandani sebagai referensi, seorang penulis yang masuk akal, sebuah jurnal yang masuk akal, sebuah string berbentuk DOI dengan jumlah digit yang tepat. Anotasi yang dibuat-buat adalah tebakan yang didandani sebagai pemahaman, dan pemahaman jauh lebih sulit dipalsukan secara meyakinkan dalam satu paragraf penuh. Model harus berkomitmen pada sampel, metode, dan arah temuan, dan setiap detail itu adalah tempat sebuah makalah nyata dapat membantahnya.

Itulah juga sebabnya sebuah anotasi lebih mudah diperiksa oleh pembaca daripada sitasi yang polos. Sebuah referensi diformat dengan cara yang sama, baik sumbernya nyata maupun tidak, sehingga bentuknya sendiri tidak membocorkan informasi apa pun. Sebuah anotasi membuat klaim tertentu tentang isi tertentu, jadi klaim itu didukung oleh makalah yang sebenarnya atau tidak, dan beberapa menit dengan abstrak yang asli akan menentukan yang mana.

Apa yang Ditulis Model Ketika Ia Tidak Pernah Benar-benar Membaca Makalah

Mintalah sebuah model bahasa untuk membuat anotasi atas sumber yang hanya ia ketahui judul dan topik kasarnya, dan ia tidak akan menolak atau memberi jawaban yang ragu-ragu. Model itu memprediksi paragraf yang kemungkinan akan dimuat oleh makalah dengan judul tersebut, dibangun dari ribuan abstrak serupa yang dilihat dalam pelatihan, lalu mengembalikannya dengan register percaya diri yang sama seperti yang akan digunakannya untuk makalah yang dapat ia kutip baris demi baris.

Teks itu terbaca seperti rata-rata dari segala sesuatu yang pernah ditulis di sekitar topik itu. Ringkasan yang jujur tentang sebuah studi mengenai tidur dan memori akan memberi Anda nama partisipan studi yang sebenarnya, uji yang benar-benar digunakan, dan ukuran efek yang benar-benar dilaporkan. Ringkasan yang dibuat-buat akan mengatakan bahwa studi itu meneliti seberapa baik orang tidur dan memori mereka, lalu menemukan adanya hubungan yang kuat di antara keduanya. Ringkasan itu cukup umum untuk juga terasa cocok di bawah judul lain yang berbeda dan tidak terkait.

Apa yang perlu diperiksa	Sebuah anotasi yang asli biasanya memiliki ini	Sebuah anotasi yang dibuat-buat biasanya memiliki ini sebagai gantinya
Angka	Ukuran sampel, ukuran efek, atau persentase yang spesifik dan cocok dengan abstrak asli	Tidak ada angka, atau angka bulat yang tidak dapat diverifikasi dan tidak muncul di sumber sebenarnya
Metode	Metode yang benar-benar disebutkan: uji, desain, atau dataset yang spesifik	Rujukan yang samar pada "sebuah studi" atau "sebuah analisis" tanpa metode yang disebutkan
Keterbatasan	Satu keterbatasan yang diangkat sendiri oleh para penulis, yang spesifik pada desain mereka	Keterbatasan umum yang benar untuk hampir semua makalah di bidang ini
Kecocokan referensi	Sitasi tersebut mengarah ke catatan nyata yang judulnya cocok dengan anotasi	Referensi tersebut tidak terarah, atau mengarah ke makalah lain yang berbeda dan tidak terkait

Tidak satu pun dari pemeriksaan ini memerlukan pembacaan seluruh makalah. Pemeriksaan ini memerlukan pembukaan makalah sekali, cukup lama untuk melihat apakah klaim spesifik dalam anotasi benar-benar muncul dalam abstrak.

Mengapa Tingkat Pemalsuan Memerlukan Versi Model dan Tanggal

Skala masalah ini diukur, meskipun pengukurannya tidak saling sepakat, karena mereka tidak pernah mengukur hal yang sama. Dengan menguji ChatGPT-3.5 dan ChatGPT-4 pada 42 topik akademik yang sama pada hari yang sama pada tahun 2023, para peneliti menemukan 55 persen sitasi GPT-3.5 sepenuhnya palsu, dibandingkan dengan 18 persen untuk GPT-4. Prompt yang sama, peneliti yang sama, hari yang sama, hanya modelnya yang berubah, dan tingkatnya turun dua pertiga.

Sebuah studi terpisah, yang menguji fakta kasus yang dihalusinasi alih-alih sitasi bibliografis, menemukan bahwa ChatGPT-4 salah 58 persen dari waktu pada pertanyaan yang dapat diverifikasi tentang kasus pengadilan federal yang nyata, dan Llama 2 salah 88 persen dari waktu, dalam penelitian yang diterbitkan pada 2024. Angka itu menggambarkan tugas yang berbeda pada model yang berbeda dan tidak boleh dirata-ratakan dengan angka fabrikasi sitasi di atas menjadi satu tingkat utama. Yang disepakati kedua studi adalah bentuk masalahnya: persentase tanpa versi model dan tanggal yang menyertainya tidak menggambarkan sesuatu yang spesifik. Pola yang lebih luas, di enam studi semacam itu yang mencakup 2023 hingga 2026, merupakan subjek tersendiri: does ChatGPT make up references membahasnya secara lengkap. Yang penting bagi bibliografi secara khusus tetap lebih sempit: apakah anotasi itu membongkar fabrikasi sebelum siapa pun memeriksa DOI.

Cara Memeriksa Setiap Entri dalam Bibliografi Beranotasi yang Disusun AI

Mulailah dengan baris referensi: cari judul yang persis sama di Google Scholar atau situs jurnal itu sendiri, dan perlakukan DOI sebagai belum terkonfirmasi sampai benar-benar mengarah ke judul tersebut, karena sitasi yang difabrikasi dapat membawa DOI yang mengarah ke makalah nyata milik orang lain yang tidak terkait. An AI citation checker that resolves each entry against a real scholarly database mengotomatiskan pencarian itu alih-alih menyerahkannya pada pencarian manual untuk setiap sumber.

Kemudian periksa anotasi terhadap sumber itu sendiri, bukan terhadap seberapa meyakinkannya bunyinya. Buka abstrak yang sebenarnya dan pastikan sampel, metode, dan temuan yang diklaim anotasi memang ada di dalamnya. A free annotated bibliography generator that grounds every summary in the paper's own abstract, alih-alih menyusunnya dari ingatan, menunjukkan seperti apa anotasi yang benar-benar berlandaskan sumber dibandingkan dengan anotasi yang tidak demikian.

Untuk entri yang lolos audit, citing ChatGPT in APA dan citing ChatGPT in MLA masing-masing dijelaskan langkah demi langkah.

Tidak satu pun dari hal ini mengubah cara Anda memformat sebuah entri setelah Anda telah memastikan bahwa entri itu nyata. Cara mengutip ChatGPT itu sendiri adalah pertanyaan yang terpisah, dibahas secara lengkap untuk APA, MLA, Chicago dan IEEE, dan generator sitasi memformat referensi biasa dengan cara yang sama terlepas dari gaya. Yang tidak ditangkap oleh keduanya adalah anotasi yang menggambarkan sebuah makalah yang tidak pernah ditulis siapa pun, cukup lancar sehingga tidak ada yang terpikir untuk memeriksanya.