Petikan Rujukan Halusinasi: Audit Kertas Anda Sebelum Hantar

Pada Jun 2023, seorang hakim persekutuan di New York mengenakan sekatan terhadap dua peguam kerana memfailkan satu hujahan yang dibina atas sekurang-kurangnya enam kes mahkamah yang tidak wujud. Steven Schwartz telah meminta ChatGPT untuk mendapatkan preseden sokongan, menerima nama kes dan petikan alasan yang semuanya kedengaran munasabah, lalu memfailkan hujahan itu tanpa membuka walau satu kes pun sendiri. Hakim P. Kevin Castel mengenakan denda lima ribu dolar kepadanya dan mengarahkan satu surat kepada setiap hakim sebenar yang namanya telah dilekatkan pada satu pendapat yang direka.

Senarai rujukan boleh berakhir di tempat yang sama. Penyelesaiannya ialah audit sitasi berhalusinasi yang dijalankan pada senarai rujukan anda sendiri sebelum seorang editor, penyelia atau penilai menjalankannya untuk anda. Ini bukan sekadar masalah yang disebabkan oleh penggubalan dengan chatbot. Sitasi yang diingati tetapi sebenarnya tidak pernah wujud, tajuk pengarang bersama yang disalin dengan sedikit salah, atau prabicara yang sitasi akhirnya berubah selepas penerimaan, semuanya boleh meninggalkan jurang yang sama dalam senarai rujukan seperti yang dilakukan oleh sitasi yang direka. Audit di bawah mengesan semuanya, tanpa mengira bagaimana mana-mana entri tunggal sampai ke situ.

Sejauh Mana Sebenarnya Sitasi Berhalusinasi Ini Biasa?

Julatnya sangat bergantung pada model yang menghasilkan draf tersebut. Walters dan Wilder, menerbitkan dalam Scientific Reports pada 2023, menguji senarai rujukan yang dijana oleh GPT-3.5 dan GPT-4 terhadap arahan penulisan akademik sebenar: 636 sitasi yang diambil daripada 84 senarai rujukan yang dijana AI, 42 bagi setiap model. Lima puluh lima peratus sitasi GPT-3.5 adalah sepenuhnya direka, berbanding 18 peratus bagi GPT-4. Malah yang benar pun tidak semestinya bersih: 43 peratus sitasi sebenar GPT-3.5 dan 24 peratus sitasi sebenar GPT-4 masih mengandungi ralat substantif pada suatu tempat dalam pengarang, tajuk, tahun atau venue.

Penyelidikan undang-undang tentang petikan yang dijana AI menunjukkan kadar kegagalan yang lebih tinggi, tetapi kerja itu mengukur kegagalan yang berbeza, iaitu pegangan kes yang dihalusinasikan dan bukannya rujukan bibliografi yang direka, jadi angka itu bukanlah sesuatu yang boleh dipindahkan ke konteks akademik. Apa yang dikongsi oleh kedua-dua bidang ialah punca asasnya, sebuah model yang menghasilkan petikan yang kedengaran munasabah sedang mengoptimumkan apa yang biasanya kelihatan seperti petikan, bukan sama ada petikan itu benar-benar wujud. Tulisan TextPulse sendiri tentang sama ada ChatGPT mereka-reka rujukan meneliti khususnya chatbot itu, audit ini berfungsi tanpa mengira alat mana, atau ingatan pengarang bersama yang mana, yang menghasilkan entri di hadapan anda.

Apa yang Ditemui oleh Audit Skala Literatur 2026

Kadar pada tahap model itu menerangkan apa yang keluar daripada chatbot. Satu soalan yang berasingan, dan yang penting bagi sesiapa yang menghantar kepada jurnal, ialah berapa kerap rujukan yang direka bertahan melalui setiap semakan antara draf dan artikel yang diterbitkan. Dua audit yang dikeluarkan dalam tempoh sehari antara satu sama lain pada Mei 2026 menjawabnya pada skala literatur, dan jawapannya ialah kegagalan itu tidak lagi jarang.

Satu audit yang diterbitkan dalam The Lancet menapis rujukan merentasi kira-kira 2.5 juta artikel bioperubatan di PubMed Central Open Access, meliputi Januari 2023 hingga Februari 2026. Beberapa ribu rujukan merujuk kepada karya yang tidak wujud, tersebar merentasi lebih daripada 2,800 artikel yang diterbitkan. Trend itu lebih penting daripada jumlah keseluruhan.

Tempoh	Artikel dengan sekurang-kurangnya satu rujukan yang direka	Per 10,000 artikel
2023	1 dalam 2,828	3.5
2025	1 dalam 458	21.8
2026, tujuh minggu pertama	1 dalam 277	36.1

Itu kira-kira peningkatan sepuluh kali ganda dalam tempoh tiga tahun, dan angka 2026 diambil daripada tujuh minggu dan bukannya satu tahun penuh, jadi ia merupakan bacaan awal dan bukannya kadar tahunan yang muktamad. Apa yang dibuktikannya ialah bahawa rujukan rekaan sedang sampai ke bentuk cetak dalam venue yang disemak rakan sebaya, setelah melepasi penulis, penulis bersama, editor dan penyemak dalam proses tersebut.

Kajian pendamping, Zhao dan rakan sekerja tentang sitasi yang tidak wujud, memperluas liputan kepada 111 juta rujukan merentasi arXiv, bioRxiv, SSRN dan PubMed Central serta meletakkan had bawah konservatif sebanyak 146,932 sitasi halusinasi hanya bagi 2025. Dapatan yang lebih berguna berkaitan dengan taburan dan bukannya jumlah: rujukan rekaan berkelompok dalam bidang yang menerima penggunaan AI dengan pantas, dan dalam kalangan pasukan penulis yang kecil serta berada pada peringkat awal kerjaya. Jika anda ialah penulis tunggal atau kumpulan kecil tanpa pejabat penyelidikan yang menyemak bibliografi anda, anda berada dalam kumpulan yang paling kerap mengalami masalah ini, dan itu merupakan hujah untuk menjalankan audit itu sendiri dan bukannya menganggap seseorang di hiliran akan melakukannya.

Model Mana yang Paling Banyak Menghasilkan Rekaan, dan Apa yang Sebenarnya Mengurangkannya

Jawapan yang jujur ialah tiada penanda aras awam yang ketat yang membandingkan model-model utama hari ini antara satu sama lain khusus dari segi penghasilan rekaan sitasi. Perbandingan tidak formal yang kecil memang beredar, lazimnya beberapa dozen rujukan dijalankan secara manual melalui dua atau tiga chatbot, dan sampelnya terlalu kecil untuk menyokong satu ranking antara mereka. Menganggap salah satu daripadanya sebagai jadual liga ialah cara sesuatu dakwaan yang yakin tetapi salah masuk ke dalam makalah.

Apa yang benar-benar kukuh ialah perbandingan generasi dalam data Walters dan Wilder di atas, apabila model yang lebih baharu menghasilkan rekaan kira-kira satu pertiga sekerap model yang lebih lama.

Model yang diuji	Rujukan yang sepenuhnya direka	Sitasi tulen yang masih mengandungi ralat substantif
GPT-3.5	55%	43%
GPT-4	18%	24%

Tiga pola berulang merentasi literatur dan lebih bernilai daripada mana-mana satu penarafan. Model yang lebih besar mengada-adakan lebih sedikit daripada model yang lebih kecil. Model yang benar-benar boleh mencari dan mendapatkan semula sumber mengada-adakan jauh lebih sedikit daripada model yang menjawab hanya daripada parameter mereka sendiri, yang merupakan kesan tunggal terbesar yang pernah diukur oleh sesiapa. Dan sumber yang kabur jauh lebih berisiko daripada sumber yang terkenal, kerana kertas yang banyak dipetik muncul dalam data latihan dengan kekerapan yang cukup untuk dihasilkan semula dengan betul, manakala sumber khusus lebih cenderung dibina semula daripada serpihan.

Pembacaan praktikalnya ialah tiada model yang cukup selamat untuk melangkau semakan, dan entri yang paling mungkin salah ialah tepat yang paling kurang dapat anda sahkan daripada ingatan, iaitu petikan khusus, kertas persidangan yang kabur, sumber yang anda tambahkan paling akhir.

Apa yang Dikesan oleh Semakan Automatik, dan Di Mana Ia Berhenti

Menjalankan senarai itu melalui penyemak terlebih dahulu lebih pantas daripada menyelesaikan empat puluh DOI secara manual, dan penyemak petikan AI percuma laman ini melakukan tepat itu terhadap Crossref, OpenAlex dan Semantic Scholar. Perlu diketahui apa yang dilakukan dengan buruk oleh kelas alat seperti ini sebelum anda bergantung padanya.

Penilaian 2026 terhadap lima pengesan petikan halusinasi, Badalova and Mayr, mendapati bahawa mereka memberikan amaran awal yang berguna tetapi tetap dibatasi oleh empat perkara: mengekstrak rujukan dengan bersih daripada dokumen, metadata yang tidak lengkap dalam entri itu sendiri, liputan pangkalan data yang tidak menyeluruh, dan daftar yang tidak sependapat antara satu sama lain. Hanya yang pertama daripada ini hilang apabila anda menampal senarai dan bukannya memuat naik PDF.

Akibat bagi audit anda sendiri ialah satu peraturan tentang tafsiran. Suatu pemeriksa paling kuat pada penemuan yang paling penting, iaitu DOI yang menyelesaikan kepada kertas yang berbeza daripada yang didakwa oleh entri, yang hampir muktamad. Ia paling lemah pada buku, bab, tesis, prosiding, karya yang sangat baharu dan wadah bukan Inggeris, semuanya diindeks secara nipis di mana-mana dan lazimnya kembali tidak ditemui walaupun sebenarnya sah. Tidak ditemui ialah isyarat untuk menyemak secara manual, bukan sekali-kali suatu keputusan. Langkah manual di bawah ialah apa yang anda gunakan pada apa sahaja yang tidak dapat diputuskan oleh semakan automatik.

Selesaikan Setiap DOI Sebelum Anda Hantar

DOI, iaitu Digital Object Identifier, sepatutnya menyelesaikan kepada tepat satu rekod melalui penyelesai doi.org. Tambahkan DOI daripada senarai rujukan anda ke penyelesai itu dan DOI yang berfungsi akan membawa anda ke halaman penerbit bagi artikel yang tepat itu. DOI yang menyelesaikan kepada artikel yang tidak berkaitan, jurnal yang sama sekali berbeza, atau tiada apa-apa langsung ialah salah satu semakan halusinasi yang paling pantas tersedia, kerana model yang mereka-reka sitasi biasanya mereka-reka rentetan DOI yang kelihatan munasabah untuk dipadankan dengannya, bukannya menggunakan semula DOI sebenar.

DOI yang menyelesaikan dengan betul bukanlah bukti automatik bahawa sitasi itu sah. Sesetengah rujukan palsu meminjam DOI sebenar daripada kertas yang tidak berkaitan, yang menyelesaikan tanpa ralat dan menunjuk kepada artikel sebenar yang tiada kaitan dengan dakwaan yang kononnya disokongnya. Baca halaman yang dibawa oleh DOI itu, bukan sekadar hakikat bahawa halaman itu dimuatkan.

Padankan Setiap Tajuk Dengan Pangkalan Data Sebenar

Cari tajuk tepat itu, dalam tanda petik, dalam pangkalan data yang meliputi bidang anda, bukan web terbuka. Gunakan sesuatu seperti Crossref, PubMed untuk kerja bioperubatan, atau indeks khusus disiplin anda sendiri. Jika anda menggunakan Crossref, anda boleh menggunakan carian tetamu percuma mereka untuk mencari rujukan berdasarkan tajuk dan pengarang pertama, atau berdasarkan pengarang dan nombor halaman jika anda tidak pasti tentang tajuk. Ini akan memulangkan DOI dan metadata penuh bagi apa sahaja yang mereka ada dalam rekod. Jika tiada padanan, atau jika hasil yang kembali ialah kertas sebenar dengan set pengarang yang sama sekali berbeza, anda mungkin sedang melihat jenis halusinasi kedua, iaitu DOI yang rosak.

Carian tajuk mengesan satu kegagalan khusus yang tidak dikesan oleh semakan DOI, iaitu sitasi dengan DOI yang berfungsi dan sebenar tetapi dilampirkan pada tajuk yang salah, kerana nombor dan teks itu disusun secara berasingan dan tidak pernah benar-benar disemak antara satu sama lain. Jika tajuk dalam pangkalan data tidak sepadan rapat dengan tajuk dalam senarai rujukan anda, anggap itu sebagai pemalsuan sehingga anda dapat menjelaskan ketidakpadanan itu, bukan sebagai kesilapan taip yang boleh dibetulkan secara senyap.

Semak Silang Senarai Pengarang dan Tahun Penerbitan

Sitasi yang dihalusinasikan sering betul pada pengarang tetapi salah pada kertas, kerana nama yang sebenar dan terkenal dalam bidang itu ialah tepat apa yang akan dihasilkan oleh model apabila mencari sitasi yang munasabah. Cari senarai penerbitan pengarang itu sendiri, pada pangkalan data yang sudah anda buka, untuk tahun yang dinyatakan oleh senarai rujukan anda. Jika pengarang itu menerbitkan tiga kertas pada tahun itu dan tiada satu pun sepadan dengan tajuk anda, sitasi itu sangat mungkin direka, dibina daripada nama sebenar dan tahun sebenar yang sebenarnya tidak pernah digabungkan bersama.

Corak terbalik juga muncul: kertas sebenar, dengan tajuk yang betul, dilampirkan pada tahun yang salah, biasanya tahun prapenerbitan dan bukannya tahun penerbitan akhir, atau versi persidangan yang disitasi dengan tahun penerbitan jurnal yang kemudian. Kedua-duanya bukan pemalsuan dalam erti audit yang ketat, tetapi kedua-duanya menghantar pembaca kepada pengurus sitasi atau pengarang bersama yang kemudian tidak dapat mencari apa yang anda sitasi, cukup dekat dengan masalah yang sama untuk dibetulkan dalam semakan yang sama.

Kesan Nama Jurnal yang Munasabah tetapi Direka

Nama jurnal rekaan dibina supaya kedengaran tepat seperti jurnal sebenar, bidang yang munasabah, kata sifat yang munasabah, dan nama yang cukup hampir dengan jurnal sebenar sehingga tiada siapa berhenti untuk menyemaknya. "The Journal of Applied Cognitive Studies" ialah rekaan, "The Journal of Applied Psychology" dan "Journal of Cognitive Science" kedua-duanya wujud, dan nama yang menggabungkan unsur kedua-duanya kedengaran biasa atas sebab itulah.

Cari nama jurnal itu secara sendiri, dalam tanda petik, dan cari halaman jurnal milik penerbit sendiri serta ISSN semasa, bukan sekadar padanan pada laman lain yang memetik rujukan yang sama. Jurnal sebenar mempunyai halaman utama yang menyenaraikan editor, jilid dan isu semasa, serta ISSN sah yang didaftarkan kepadanya. Nama yang tiada halaman penerbit, tiada ISSN, dan tiada artikel lain yang memetik karya daripadanya ialah tanda paling jelas dalam keseluruhan audit bahawa rujukan itu tidak wujud.

Jadikan Audit Sitasi Halusinasi Anda Sebagai Senarai Semak yang Boleh Diulang

Laksanakan semakan ini mengikut urutan, pada setiap rujukan, sebelum senarai itu dianggap muktamad. Urutannya kurang penting berbanding meliputi keempat-empatnya, satu sitasi boleh lulus satu semakan tetapi masih gagal pada semakan yang lain.

Semakan	Apa yang dikesan
Penyelesaian DOI	DOI yang tidak membawa ke mana-mana, atau ke artikel yang tidak berkaitan
Padanan tajuk dengan pangkalan data	DOI sebenar yang dipautkan kepada tajuk yang salah, atau tajuk yang tidak mengembalikan sebarang hasil langsung
Pemeriksaan silang pengarang ditambah tahun	Nama pengarang sebenar yang dipautkan kepada makalah yang tidak mereka tulis pada tahun itu
Pengesahan nama jurnal	Jurnal yang kedengaran munasabah tetapi tiada ISSN, tiada halaman penerbit, dan tiada kewujudan sebenar

Penanda petikan AI TextPulse menjalankan versi semakan ini secara automatik merentasi keseluruhan senarai rujukan, lebih pantas daripada melakukan sendiri setiap satu daripada empat semakan pada bibliografi yang panjang, walaupun membaca perkara yang ditandainya masih wajar dilakukan sendiri, bukannya menerima atau menolak tanda itu atas kepercayaan semata-mata. Untuk langkah DOI secara khusus, carian DOI ke petikan yang khusus menjimatkan keperluan pergi ke penyelesai bagi setiap entri satu demi satu.

Bibliografi yang bersih ialah salah satu daripada beberapa semakan sebelum manuskrip dihantar. Mengurangkan skor AI untuk penghantaran jurnal dibincangkan secara berasingan, begitu juga surat respons kepada pengulas yang mengikutinya.

Tiada satu pun daripada ini menggantikan pembacaan sekali lagi terhadap kertas anda sendiri sebelum anda menghantarnya. Jika sesuatu bahagian masih berbunyi umum selepas fakta-faktanya disahkan, AI humanizer boleh melicinkan prosa tanpa menyentuh walau satu petikan pun; panduan TextPulse untuk memanusiakan teks AI dalam penulisan akademik merangkumi langkah itu bahagian demi bahagian. Senarai rujukan yang dapat diselesaikan dengan lancar dan manuskrip yang dibaca sebagai suara anda sendiri ialah dua semakan yang berasingan, dan wajar dijalankan berturut-turut, bukannya bergantung pada satu untuk menampung yang lain.