Sitasi Halusinasi: Audit Naskah Anda Sebelum Pengiriman

Pada Juni 2023, seorang hakim federal di New York menjatuhkan sanksi kepada dua pengacara karena mengajukan sebuah memorandum yang dibangun atas sedikitnya enam perkara pengadilan yang tidak ada. Steven Schwartz telah meminta ChatGPT untuk preseden pendukung, menerima nama perkara dan kutipan penalaran yang semuanya terdengar masuk akal, lalu mengajukan memorandum itu tanpa membuka satu pun perkara sendiri. Hakim P. Kevin Castel mendendanya lima ribu dolar dan memerintahkan sebuah surat kepada setiap hakim sungguhan yang namanya telah dicantumkan pada sebuah pendapat yang direkayasa.

Daftar referensi dapat berakhir pada tempat yang sama. Perbaikannya adalah audit sitasi halusinasi yang dijalankan pada daftar referensi Anda sendiri sebelum seorang editor, pembimbing, atau penelaah menjalankannya untuk Anda. Ini bukan hanya masalah yang disebabkan oleh penyusunan dengan chatbot. Sitasi yang diingat tetapi sebenarnya tidak pernah ada, judul rekan penulis yang disalin sedikit keliru, atau preprint yang sitasi akhirnya berubah setelah diterima, semuanya dapat meninggalkan celah yang sama dalam daftar referensi seperti halnya sitasi yang direkayasa. Audit di bawah ini menangkap semuanya, terlepas dari bagaimana setiap entri tunggal sampai ke sana.

Seberapa Umum Sebenarnya Sitasi Halusinasi?

Rentangnya sangat bergantung pada model mana yang menghasilkan draf tersebut. Walters dan Wilder, menerbitkan di Scientific Reports pada 2023, menguji daftar referensi yang dihasilkan oleh GPT-3.5 dan GPT-4 terhadap petunjuk penulisan akademik yang nyata: 636 sitasi yang diambil dari 84 daftar referensi yang dihasilkan AI, 42 untuk setiap model. Lima puluh lima persen sitasi GPT-3.5 sepenuhnya direkayasa, dibandingkan 18 persen untuk GPT-4. Bahkan yang nyata pun tidak selalu bersih: 43 persen sitasi asli GPT-3.5 dan 24 persen sitasi GPT-4 masih mengandung kesalahan substantif di suatu tempat pada penulis, judul, tahun, atau venue.

Penelitian hukum tentang sitasi yang dihasilkan AI menunjukkan tingkat kegagalan yang bahkan lebih tinggi, tetapi karya itu mengukur kegagalan yang berbeda, yaitu putusan perkara yang dihalusinasi, bukan rujukan bibliografis yang dibuat-buat, sehingga angka tersebut tidak tepat untuk diimpor ke dalam konteks akademik. Yang sama dari kedua bidang itu adalah penyebab dasarnya, sebuah model yang menghasilkan sitasi yang terdengar masuk akal sedang mengoptimalkan apa yang biasanya tampak seperti sitasi, bukan apakah sitasi itu benar-benar ada. Tulisan TextPulse sendiri tentang apakah ChatGPT membuat-buat referensi secara khusus membahas chatbot itu, audit ini berlaku terlepas dari alat mana, atau ingatan rekan penulis mana, yang menghasilkan entri di depan Anda.

Apa yang Ditemukan Audit Skala Literatur 2026

Tingkat pada level model itu menggambarkan apa yang keluar dari sebuah chatbot. Pertanyaan terpisah, dan yang penting bagi siapa pun yang mengirimkan naskah ke jurnal, adalah seberapa sering sebuah referensi yang dibuat-buat lolos dari setiap pemeriksaan antara draf dan artikel yang diterbitkan. Dua audit yang dirilis dalam selang satu hari pada Mei 2026 menjawabnya pada skala literatur, dan jawabannya adalah bahwa kegagalan itu tidak lagi jarang.

Sebuah audit yang diterbitkan di The Lancet menyaring referensi di sekitar 2.5 juta artikel biomedis di PubMed Central Open Access, mencakup Januari 2023 hingga Februari 2026. Beberapa ribu referensi menunjuk pada karya yang tidak ada, tersebar di lebih dari 2,800 artikel yang telah diterbitkan. Tren ini lebih penting daripada jumlah totalnya.

Periode	Artikel dengan setidaknya satu referensi yang dibuat-buat	Per 10,000 artikel
2023	1 dari 2,828	3.5
2025	1 dari 458	21.8
2026, tujuh minggu pertama	1 dari 277	36.1

Itu kira-kira merupakan kenaikan sepuluh kali lipat dalam tiga tahun, dan angka 2026 diambil dari tujuh minggu, bukan dari satu tahun penuh, sehingga itu merupakan pembacaan awal, bukan tingkat tahunan yang sudah mapan. Yang ditunjukkannya adalah bahwa referensi yang dibuat-buat sudah mencapai cetak dalam venue yang ditelaah sejawat, setelah lolos dari penulis, rekan penulis, editor, dan penelaah dalam prosesnya.

Studi pendamping, Zhao dan kolega tentang sitasi yang tidak ada, memperluas cakupan menjadi 111 juta referensi di seluruh arXiv, bioRxiv, SSRN, dan PubMed Central, dan menetapkan batas bawah konservatif sebesar 146,932 sitasi halusinasi hanya untuk 2025. Temuan yang lebih berguna berkaitan dengan distribusi, bukan volume, referensi yang dibuat-buat terkonsentrasi pada bidang dengan adopsi AI yang cepat, dan pada tim penulis yang kecil serta berada pada tahap awal karier. Jika Anda adalah penulis tunggal atau kelompok kecil tanpa kantor riset yang memeriksa bibliografi Anda, Anda termasuk dalam kelompok yang paling sering mengalami masalah ini, yang menjadi alasan untuk menjalankan audit sendiri daripada mengasumsikan bahwa seseorang di hilir akan melakukannya.

Model Mana yang Paling Banyak Membuat Sitasi Palsu, dan Apa yang Sebenarnya Menguranginya

Jawaban jujurnya adalah bahwa tidak ada tolok ukur publik yang ketat yang memberi peringkat model-model utama saat ini satu sama lain secara khusus dalam hal fabrikasi sitasi. Perbandingan informal berskala kecil memang beredar, biasanya beberapa lusin referensi dijalankan secara manual melalui dua atau tiga chatbot, dan sampelnya terlalu tipis untuk mendukung peringkat di antara mereka. Memperlakukan salah satu dari itu sebagai tabel liga adalah cara sebuah klaim yang percaya diri tetapi keliru masuk ke dalam sebuah makalah.

Yang memang bertahan adalah perbandingan antargenerasi dalam data Walters dan Wilder di atas, di mana model yang lebih baru membuat sitasi palsu kira-kira sepertiga sesering model yang lebih lama.

Model yang diuji	Sitasi sepenuhnya dibuat-buat	Sitasi asli yang masih mengandung kesalahan substantif
GPT-3.5	55%	43%
GPT-4	18%	24%

Tiga pola berulang di seluruh literatur dan lebih bernilai daripada peringkat tunggal mana pun. Model yang lebih besar memalsukan lebih sedikit daripada model yang lebih kecil. Model yang benar-benar dapat mencari dan mengambil sumber memalsukan jauh lebih sedikit daripada model yang menjawab hanya dari parameternya sendiri, dan ini merupakan efek tunggal terbesar yang pernah diukur siapa pun. Dan sumber yang tidak dikenal jauh lebih berisiko daripada sumber yang terkenal, karena sebuah makalah yang banyak disitasi muncul dalam data pelatihan cukup sering untuk direproduksi dengan benar, sedangkan sumber yang lebih khusus lebih mungkin direkonstruksi dari fragmen.

Pembacaan praktisnya adalah bahwa tidak ada model yang cukup aman untuk melewati pemeriksaan, dan entri yang paling mungkin salah justru adalah yang paling sulit Anda verifikasi dari ingatan, sitasi spesialis, makalah konferensi yang tidak dikenal, sumber yang baru saja Anda tambahkan.

Apa yang Dideteksi oleh Pemeriksaan Otomatis, dan Di Mana Pemeriksaan Itu Berhenti

Menjalankan daftar itu melalui pemeriksa terlebih dahulu lebih cepat daripada menyelesaikan empat puluh DOI secara manual, dan pemeriksa sitasi AI gratis situs ini memang melakukan itu terhadap Crossref, OpenAlex, dan Semantic Scholar. Ada baiknya mengetahui apa yang dilakukan dengan buruk oleh kelas alat seperti ini sebelum Anda mengandalkannya.

Suatu evaluasi 2026 terhadap lima detektor sitasi halusinasi, Badalova and Mayr, menemukan bahwa mereka memberikan peringatan dini yang berguna tetapi tetap dibatasi oleh empat hal: mengekstrak referensi secara bersih dari sebuah dokumen, metadata yang tidak lengkap dalam entri itu sendiri, cakupan basis data yang tidak merata, dan registri yang saling tidak sepakat. Hanya yang pertama dari keempat hal itu yang hilang ketika Anda menempelkan daftar alih-alih mengunggah PDF.

Konsekuensi bagi audit Anda sendiri adalah sebuah aturan tentang interpretasi. Sebuah pemeriksa paling kuat pada temuan yang paling penting, sebuah DOI yang mengarah ke artikel yang berbeda dari yang diklaim entri tersebut, yang hampir bersifat konklusif. Ia paling lemah pada buku, bab, tesis, prosiding, karya yang sangat baru, dan venue berbahasa non-Inggris, yang semuanya terindeks secara tipis di mana-mana dan secara rutin kembali tidak ditemukan meskipun sepenuhnya asli. Tidak ditemukan adalah isyarat untuk memeriksa secara manual, bukan pernah sebuah putusan. Langkah manual di bawah ini adalah yang Anda terapkan pada apa pun yang tidak dapat diputuskan oleh pemeriksaan otomatis.

Selalu Selesaikan Setiap DOI Sebelum Anda Mengirimkan

Sebuah DOI, sebuah Digital Object Identifier, seharusnya mengarah ke tepat satu rekaman melalui resolver doi.org. Tambahkan DOI dari daftar referensi Anda ke resolver dan DOI yang berfungsi akan membuka halaman penerbit untuk artikel yang tepat itu. DOI yang mengarah ke artikel yang tidak terkait, jurnal yang sama sekali berbeda, atau tidak ke mana-mana sama sekali adalah salah satu pemeriksaan halusinasi tercepat yang tersedia, karena model yang mengarang sitasi biasanya mengarang string DOI yang tampak masuk akal untuk menyertainya, alih-alih menggunakan kembali DOI yang nyata.

DOI yang mengarah dengan benar bukanlah bukti otomatis bahwa sitasi itu asli. Beberapa referensi palsu meminjam DOI asli dari makalah yang tidak terkait, yang mengarah tanpa kesalahan dan menunjuk ke artikel nyata yang sama sekali tidak berhubungan dengan klaim yang konon didukungnya. Bacalah halaman yang dituju DOI, bukan hanya fakta bahwa halaman itu termuat.

Samakan Setiap Judul dengan Basis Data yang Nyata

Cari judul yang persis sama, dalam tanda kutip, di basis data yang mencakup bidang Anda, bukan di web terbuka. Gunakan sesuatu seperti Crossref, PubMed untuk karya biomedis, atau indeks milik disiplin Anda sendiri. Jika Anda menggunakan Crossref, Anda dapat memakai pencarian tamu gratis mereka untuk mencari referensi berdasarkan judul dan penulis pertama, atau berdasarkan penulis dan nomor halaman jika Anda tidak yakin tentang judulnya. Ini akan menampilkan DOI dan metadata lengkap untuk apa pun yang mereka miliki dalam catatan. Jika tidak ada kecocokan, atau jika hasil yang muncul adalah makalah nyata dengan kumpulan penulis yang sama sekali berbeda, Anda mungkin sedang melihat jenis halusinasi kedua, yaitu DOI yang rusak.

Pencarian judul menangkap satu kegagalan spesifik yang tidak ditangkap oleh pemeriksaan DOI, yaitu sitasi dengan DOI yang nyata dan berfungsi tetapi ditempelkan pada judul yang salah, karena nomor dan teksnya disusun secara terpisah dan tidak pernah benar-benar diperiksa satu sama lain. Jika judul dalam basis data tidak cocok dengan judul dalam daftar referensi Anda secara dekat, perlakukan itu sebagai fabrikasi sampai Anda dapat menjelaskan ketidaksesuaian tersebut, bukan sebagai salah ketik yang diam-diam diperbaiki.

Periksa Ulang Daftar Penulis dan Tahun Publikasi

Sitasi yang terhalusinasi sering kali benar pada penulis tetapi salah pada makalah, karena nama yang nyata dan menonjol di bidang tersebut justru itulah yang akan dihasilkan oleh model ketika mencari sitasi yang masuk akal. Cari daftar publikasi penulis itu sendiri, pada basis data yang sudah Anda buka, untuk tahun yang diklaim oleh daftar referensi Anda. Jika penulis itu menerbitkan tiga makalah pada tahun itu dan tidak satu pun cocok dengan judul Anda, sitasi tersebut sangat mungkin dibuat-buat, disusun dari nama yang nyata dan tahun yang nyata yang sebenarnya tidak pernah dipasangkan.

Pola sebaliknya juga muncul, yaitu makalah nyata, dengan judul yang benar, tetapi ditempelkan pada tahun yang salah, biasanya tahun preprint alih-alih tahun publikasi final, atau versi konferensi yang disitasi dengan tahun publikasi jurnal yang lebih akhir. Keduanya bukan fabrikasi dalam arti ketat audit, tetapi keduanya mengarahkan pembaca ke pengelola sitasi atau rekan penulis yang kemudian tidak dapat menemukan apa yang Anda sitasi, cukup dekat dengan masalah yang sama untuk diperbaiki dalam penelusuran yang sama.

Kenali Nama Jurnal yang Masuk Akal tetapi Dibuat-buat

Nama jurnal yang dibuat-buat dibangun agar terdengar persis seperti jurnal yang nyata: bidang yang masuk akal, adjektiva yang masuk akal, nama yang cukup dekat dengan jurnal yang benar-benar ada sehingga tidak ada orang yang berhenti untuk memeriksanya. "The Journal of Applied Cognitive Studies" adalah buatan; "The Journal of Applied Psychology" dan "Journal of Cognitive Science" keduanya ada, dan nama yang menyatukan bagian dari keduanya terbaca akrab justru karena alasan itu.

Cari nama jurnal itu secara mandiri, dalam tanda kutip, dan periksa halaman jurnal milik penerbit sendiri serta ISSN yang masih berlaku, bukan hanya hasil temuan di situs lain yang mengutip referensi yang sama. Jurnal yang nyata memiliki beranda yang mencantumkan editor, volume dan nomor terbit yang terkini, serta ISSN sah yang terdaftar atas namanya. Nama tanpa halaman penerbit, tanpa ISSN, dan tanpa artikel lain yang mengutip karya darinya adalah tanda paling jelas dalam seluruh audit bahwa referensi itu tidak ada.

Ubah Audit Sitasi Halusinasi Anda Menjadi Daftar Periksa yang Dapat Diulang

Lakukan pemeriksaan ini secara berurutan, pada setiap referensi, sebelum daftar dianggap final. Urutannya kurang penting dibandingkan mencakup keempatnya, sebuah sitasi dapat lolos satu pemeriksaan tetapi tetap gagal pada pemeriksaan lain.

Pemeriksaan	Yang dideteksinya
Resolusi DOI	DOI yang tidak mengarah ke mana pun, atau ke artikel yang tidak terkait
Kecocokan judul dengan basis data	DOI yang sah tetapi melekat pada judul yang salah, atau judul yang sama sekali tidak menghasilkan hasil
Pemeriksaan silang penulis ditambah tahun	Nama penulis yang sah tetapi dilekatkan pada makalah yang tidak mereka tulis pada tahun itu
Verifikasi nama jurnal	Jurnal yang terdengar masuk akal tetapi tidak memiliki ISSN, tidak memiliki halaman penerbit, dan tidak benar-benar ada

AI citation checker TextPulse AI citation checker menjalankan versi pemeriksaan ini secara otomatis pada seluruh daftar referensi, lebih cepat daripada mengerjakan keempat pemeriksaan itu satu per satu secara manual pada bibliografi yang panjang, meskipun membaca apa yang ditandainya tetap layak dilakukan sendiri daripada menerima atau menolak tanda itu begitu saja atas dasar kepercayaan. Untuk langkah DOI secara khusus, konverter DOI ke sitasi yang khusus menghemat perjalanan ke resolver untuk setiap entri satu per satu.

Bibliografi yang bersih adalah salah satu dari beberapa pemeriksaan sebelum naskah dikirim. Reducing an AI score for journal submission dibahas secara terpisah, demikian pula the response to reviewers letter yang mengikutinya.

Tidak ada satu pun dari ini yang menggantikan membaca kembali makalah Anda sendiri sekali lagi sebelum Anda mengirimkannya. Jika suatu bagian masih terdengar umum setelah fakta-faktanya sesuai, sebuah AI humanizer dapat memperhalus prosa tanpa menyentuh satu sitasi pun; panduan TextPulse tentang humanizing AI text in academic writing membahas langkah itu bagian demi bagian. Daftar referensi yang terselesaikan dengan bersih dan naskah yang terbaca sebagai suara Anda sendiri adalah dua pemeriksaan yang terpisah, layak dijalankan berurutan daripada mempercayai yang satu untuk mencakup yang lain.