Positif Palsu Pengesan AI: Mengapa Penulisan Manusia Ditandai

Pada tahun 1982, New England Journal of Medicine menerbitkan sebuah makalah tentang sitomegalovirus dalam pesakit pemindahan sumsum tulang. Makalah itu lulus semakan rakan sebaya dan tersimpan dalam arkib selama empat dekad. Pada tahun 2023, penyelidik menjalankannya melalui pengesan penulisan AI yang telah dikeluarkan secara umum oleh OpenAI, dan alat itu menilai bahawa ia 99.96 percent berkemungkinan dijana oleh AI, tiga puluh tujuh tahun sebelum model yang kononnya menulisnya wujud. Itulah positif palsu pengesan AI dalam bentuk paling tulen, sebuah dokumen yang ditandai sebagai ditulis oleh mesin tetapi mustahil untuk ditulis oleh mesin.

Contoh itu hanya ekstrem dari segi masanya. Corak asasnya, iaitu pengesan membaca prosa yang formulaik dan boleh diramal sebagai buatan mesin tanpa mengira siapa yang menulisnya atau bila, muncul secara berterusan dalam penyerahan biasa, esei, surat iringan, laporan makmal, pernyataan peribadi. Bahagian ini membincangkan punca positif palsu, jenis penulisan yang paling terdedah, dan mengapa satu skor yang ditandai bukanlah bukti seperti yang kelihatan.

Apakah Positif Palsu Pengesan AI?

Positif palsu pengesan AI ialah teks yang ditulis oleh manusia tetapi diberi skor oleh alat pengesanan sebagai dijana oleh AI. Tiada apa-apa tentang proses, kejujuran, atau kemahiran penulis yang sedang diukur. Alat itu membandingkan bentuk statistik ayat, sejauh mana pilihan kata dan strukturnya boleh diramal, dengan bentuk yang dipelajarinya untuk dikaitkan dengan output mesin.

Pembekal melaporkan kadar positif palsu sebagai satu peratusan kecil, biasanya di bawah satu atau dua percent. Angka itu menerangkan ujian terkawal pada penanda aras yang dibina oleh pembekal, bukan jaminan tentang mana-mana dokumen individu. Persoalan yang lebih luas tentang sama ada pengesan AI benar-benar tepat telah pun diuji secara bebas, dan hasilnya berada di tempat yang sama sekali berbeza, kadangkala jauh lebih tinggi daripada mana-mana angka pembekal. Bahagian ini kekal lebih sempit, iaitu jenis penulisan yang meningkatkan risiko itu, dan apa yang boleh serta tidak boleh diberitahu oleh skor yang ditandai kepada sesiapa.

Ciri Penulisan yang Manakah Menjadikan Teks Manusia Kelihatan Seperti Buatan Mesin

Empat jenis penulisan biasa membawa risiko paling tinggi, dan tiada satu pun melibatkan seseorang melakukan sesuatu yang salah. Dokumen pendek, penulisan yang sangat berformula, bahan yang dipetik atau berasaskan templat, dan penulisan yang telah disemak dengan teliti semuanya cenderung mendapat skor lebih boleh diramal berbanding prosa yang digubah secara bebas, iaitu satu-satunya sifat yang sebenarnya diukur oleh setiap pengesan. Pemeriksa burstiness percuma mengukur variasi yang sama itu secara langsung, yang merupakan cara lebih cepat untuk melihat coraknya berbanding membaca penerangannya.

Sesetengah genre bersifat berformula mengikut reka bentuk. Bahagian kaedah, laporan makmal, surat iringan standard dan ulasan literatur semuanya memberi ganjaran kepada frasa konvensional berbanding frasa yang inventif, kerana konvensi itulah yang menjadikan dokumen itu berguna kepada pembacanya. Para penyelidik menguji perkara ini secara langsung pada penulisan sebenar: mereka menjalankan 14,400 abstrak jurnal yang diterbitkan antara 1980 dan 2023, bertahun-tahun sebelum mana-mana model bahasa besar wujud, melalui pengesan yang tersedia secara umum. Sehingga 8 peratus ditandai sebagai dijana oleh AI tanpa mengira tahun penerbitan, dan abstrak New England Journal of Medicine ditandai pada 10.24 peratus, kadar positif palsu tertinggi bagi lima jurnal yang diuji.

Ujian itu tidak mungkin mengesan apa-apa tentang ChatGPT, kerana ChatGPT tidak wujud untuk kebanyakan tahun yang disampelnya. Ujian itu mengesan genre. Secara lebih formal, seperti yang akan dinyatakan oleh analisis statistik 2026 terhadap masalah pengesanan, tiada cara untuk membina pengesan yang akan membezakan antara ayat yang boleh diramal kerana ia ditulis oleh perisian dan ayat yang boleh diramal kerana itulah jenis ayat yang anda tulis dalam genrenya. Kedua-duanya kelihatan sama sepenuhnya dari luar.

Penyuntingan berat menolak ke arah yang serupa. Draf pertama membawa ketidakteraturan khusus penulis: susunan kata yang ganjil, ayat yang menjadi panjang kerana pemikiran itu juga menjadi panjang. Sesi semakan pruf yang menyeluruh, terutamanya yang dijalankan melalui alat lain, cenderung melicinkan tepat ketidakteraturan itu. Perbandingan bebas terbesar setakat ini terhadap alat pengesanan menguji 14 daripadanya dan mendapati bahawa ketepatan menurun lagi, bagi setiap alat, apabila teks sampel telah diparafrasa atau diterjemahkan secara mesin.

Ciri penulisan	Mengapa ia menurunkan kebolehramalan yang kelihatan pada dokumen	Apakah yang ditunjukkan oleh bukti
Hantaran pendek	Teks yang lebih sedikit meninggalkan ruang yang lebih kecil untuk variasi semula jadi yang membezakan ritma manusia daripada ritma mesin	Skor pada dokumen pendek berubah lebih banyak bergantung pada kekuatan beberapa ayat yang luar biasa
Penulisan formulaik atau khusus disiplin	Konvensyen genre memberi ganjaran kepada frasa yang dijangka berbanding yang inventif	14,400 abstrak jurnal sebelum ChatGPT (1980 hingga 2023) masih mencetuskan sehingga 8% positif palsu; abstrak satu jurnal mencapai 10.24%
Draf yang banyak disunting atau diparafrasa	Sesi penggilapan melicinkan ketidakteraturan individu yang dibaca oleh pengesan sebagai manusia	Perbandingan bebas 14 alat mendapati ketepatan menurun lagi selepas parafrasa atau terjemahan mesin
Bahan yang dipetik atau berasaskan templat	Petikan yang dipetik membawa tandatangan statistik sumbernya, bukan tandatangan penulis yang memetik	Pengesan yang tidak mengecualikan petikan menilai dokumen sekeliling berdasarkan teks yang dipinjam

Mengapa Kadar yang Diterbitkan dan Kadar Dunia Sebenar Tidak Sejajar

Setiap pengesan utama menerbitkan kadar positif palsu berhampiran satu peratus atau lebih rendah. Ujian bebas terhadap alat yang sama, yang dijalankan pada dokumen berbeza dalam keadaan berbeza, secara rutin melaporkan angka yang jauh lebih tinggi, kadangkala sebanyak sepuluh kali ganda atau lebih. Kedua-dua angka boleh tepat dan masih menggambarkan hampir tiada persamaan, kerana kedua-duanya tidak mengukur perkara yang sama.

Turnitin ialah contoh yang berguna tepat kerana ia menerbitkan lebih banyak perincian daripada kebanyakan pesaing: kadar positif palsu di bawah 1 peratus pada tahap dokumen, dengan syarat lebih daripada 20 peratus sesuatu penyerahan ditandakan sebagai ditulis oleh AI, bersama kenyataan syarikat bahawa hasil dunia sebenar berbeza daripada ujian makmalnya sendiri. The Washington Post menjalankan 16 dokumen sebenar melalui alat yang sama pada 2023 dan mendapati lebih daripada separuh kembali dengan sekurang-kurangnya sebahagiannya tersalah dikenal pasti, termasuk satu esei yang sepenuhnya ditulis oleh manusia yang ditandakan sebagai sebahagiannya dijana oleh AI. Tiada satu pun nombor itu direka. Nombor-nombor itu datang daripada sampel yang berbeza, ambang yang berbeza, dan takrif yang berbeza tentang apa yang dikira sebagai tanda.

Jurang yang sama muncul merentasi industri, bukan hanya pada satu syarikat. Perbandingan 14 alat itu mendapati bahawa setiap satu daripadanya gagal mencapai ketepatan keseluruhan 80 peratus, dan bahawa enam daripada empat belas menghasilkan positif palsu pada penulisan manusia yang tidak diubah sebelum sebarang parafrasa dimasukkan. Nombor yang diterbitkan menerangkan satu penanda aras. Ia tidak menerangkan dokumen yang sedang berada di hadapan seorang profesor.

Mengapa Skor yang Yakin Bukan Tuduhan yang Yakin

Kadar positif palsu kedengaran seolah-olah ia merujuk kepada kebarangkalian seorang pelajar yang ditandakan sebagai masalah sebenarnya tidak bersalah. Tetapi tidak. Ia menerangkan bagaimana sesuatu ujian berfungsi untuk semua orang yang mengambilnya. Dan itu ialah soalan yang berbeza dengan jawapan yang berbeza, sama seperti mana-mana ujian saringan dalam perubatan atau keselamatan.

Satu analisis statistik Mac 2026 daripada seorang penyelidik Griffith University menjadikan matematik asas itu jelas. Anggap pengesanan AI sebagai ujian yang digunakan pada populasi penulis pelajar, bukannya pada satu dokumen yang terasing, dan satu pertukaran muncul: setiap kali sebahagian daripada populasi itu menulis dengan cara yang secara semula jadi bertindih dengan output AI yang tipikal, hampir dengan konvensi genre, hampir dengan julat seorang pelajar bahasa kedua, mana-mana pengesan yang benar-benar berkuasa untuk menangkap karya yang ditulis oleh AI mesti tersalah bertindak pada sebahagian daripada kumpulan yang bertindih itu. Ini bukan dakwaan bahawa pengesan tertentu dibina dengan buruk. Ia ialah sifat menguji populasi yang pelbagai dengan satu dokumen dan tanpa bukti lain.

Contoh ilustratif dalam kertas itu sendiri menunjukkan skala yang terlibat. Katakan 10 peratus daripada populasi pelajar menulis cukup hampir dengan output AI yang lazim, dan sebuah pengesan ditala untuk mengesan 80 peratus kerja sebenar yang ditulis oleh AI. Matematik kemudian memerlukan kadar positif palsu purata sekurang-kurangnya 7.5 peratus merentasi populasi itu. Itu bukan kecacatan dalam kejuruteraan pengesan, ia ialah akibat langsung daripada sejauh mana penulisan kumpulan itu bertindih secara statistik dengan perkara yang dikesan.

Apabila diskalakan kepada sebuah universiti dengan 10,000 pelajar, had bawah itu sahaja membayangkan kira-kira 750 isyarat palsu merentasi populasi, suatu akibat matematik daripada menguji populasi yang pelbagai terhadap satu dokumen tanpa bukti lain untuk ditimbang. Penulis kertas itu menyatakan dengan jelas bahawa angka-angka khusus ini bersifat ilustratif, bukan diukur di sebuah institusi sebenar. Contoh itu menunjukkan bentuk masalah, bukan ramalan khusus untuk mana-mana kampus tertentu.

Semua ini tidak bermaksud skor yang dibenderakan itu tidak bermakna. Ia bermaksud skor itu hanyalah satu isyarat yang lemah pada tahap populasi yang diminta menjawab soalan tentang seorang individu, suatu ketidakpadanan yang tidak dapat ditutup sepenuhnya oleh sebarang penggilapan vendor semata-mata. Bacaan yang bertanggungjawab menganggap nombor itu sebagai dorongan untuk mengumpulkan bukti yang lebih baik, draf, sejarah versi, jejak dokumen biasa seseorang yang benar-benar menulis sesuatu. alat percuma TextPulse membolehkan seorang penulis menyemak kedudukan draf pada ukuran yang sama sebelum orang lain melakukannya, yang merupakan penggunaan teknologi yang berbeza daripada cuba mengalahkan mana-mana pengesan tertentu.

Penulis Mana yang Menghadapi Risiko Tertinggi

Penyelidikan menunjukkan dua kumpulan yang menonjol lebih daripada yang lain, iaitu orang yang menulis dalam bahasa kedua dan orang yang secara semula jadi sangat berstruktur atau berulang dalam penulisan atas sebab yang tidak berkaitan dengan cara mereka menulis esei mereka. Kedua-dua jenis penulis ini muncul pada tandatangan statistik yang sama yang dibina oleh pengesan untuk dikesan.

Pertutur bahasa Inggeris bukan penutur asli menanggung risiko terdokumentasi yang paling besar. Ujian bebas berulang kali mendapati pengesan tersalah membaca penulisan akademik bahasa kedua yang fasih sebagai dijana mesin pada kadar yang jauh lebih tinggi berbanding penulisan penutur asli. Halaman TextPulse untuk penulis akademik ESL menghuraikan dengan lebih mendalam mekanisme di sebalik risiko itu, termasuk pola frasa yang menyebabkannya.

Satu kumpulan kedua, yang kurang dibincangkan, menghadapi masalah yang berkaitan. Para penyelidik membandingkan kira-kira 60,000 catatan Reddit, dibahagikan antara satu subset yang dikenal pasti sebagai kemungkinan ditulis oleh pengarang autistik dan satu sampel umum, lalu menjalankan kedua-duanya melalui pengesan berasaskan GPT-2. Kedua-dua kumpulan kekal di bawah 2 percent yang dibenderakan secara keseluruhan, tetapi subset yang kemungkinan autistik dibenderakan pada kadar yang jauh lebih tinggi berbanding sampel umum. Penulisan yang cenderung kepada frasa yang literal, berulang, dan berpola rapat, satu ciri yang didokumentasikan dalam beberapa gaya komunikasi autistik, menghasilkan tepat teks bervariasi rendah yang dibina oleh pengesan untuk dikesan.

Dua vendor menerbitkan cukup maklumat untuk menyemak dakwaan ini. kadar positif palsu Turnitin sendiri dihuraikan secara berasingan, dan ketepatan ZeroGPT diperiksa pada halamannya sendiri. Siapa yang paling terkesan oleh kesilapan ini ialah soalan yang berasingan pula, dan mengapa penulis bahasa Inggeris bukan penutur asli dibenderakan lebih kerap mempunyai jawapannya sendiri.

Tiada satu pun daripada ini mungkin menjadi lebih mudah dalam masa terdekat. Pengesan akan terus bertambah baik dalam mengesan teks yang benar-benar ditulis mesin, dan kepelbagaian populasi akan terus menghasilkan beberapa kadar tuduhan palsu yang tidak dapat ditutup sepenuhnya oleh kejuruteraan yang lebih baik sahaja. Peralihan yang lebih berguna sudah pun berlaku di beberapa institusi, iaitu memperlakukan skor sebagai permulaan perbualan, bukannya pengakhiran, dan bertanya populasi mana yang sebenarnya diuji bagi kadar yang diterbitkan sebelum mempercayai bahawa ia terpakai pada dokumen di hadapan mereka.