Bagaimana Cara Kerja Detektor AI? Perplexity, Burstiness, dan Probabilitas Token

Universitas Anda telah mulai menjalankan pengiriman naskah melalui pendeteksi AI, dan sebuah laporan kembali dengan angka yang tidak Anda duga. Sebelum Anda mencoba membantahnya, ada baiknya memahami apa arti angka itu. Bagaimana cara kerja pendeteksi AI? Pendeteksi tidak membaca tulisan mesin seperti manusia. Pendeteksi mengukur seberapa dapat diprediksi teks Anda bagi sebuah model bahasa, lalu mengubah keterprediksian itu menjadi skor. Tidak ada bagian dalam proses itu yang menilai apa yang Anda maksud, argumen Anda, atau apakah Anda benar-benar menulisnya.

Selama bertahun-tahun saya telah membangun alat yang membedah teks secara statistik, dan hal yang paling berguna untuk dipahami tentang deteksi adalah ini: deteksi merupakan pengukuran keumuman, bukan asal-usul. Setelah hal itu dipahami, baik teknologinya maupun kegagalannya menjadi jauh lebih masuk akal.

Apa yang sebenarnya diukur oleh pendeteksi

Pendeteksi tidak mengetahui siapa yang menulis apa pun. Yang dimilikinya hanyalah sebuah model bahasa dan fungsi penilaian. Model itu membaca teks Anda dari kiri ke kanan, dan pada setiap titik model menghasilkan distribusi probabilitas atas kata apa yang seharusnya muncul berikutnya. Berikan kepadanya kata-kata "the results of the" dan model akan memberi peringkat tertinggi pada "study", sedikit lebih rendah pada "experiment", dan "marmalade" di sekitar nol.

Jadi pendeteksi mengajukan satu pertanyaan kepada dokumen Anda: seberapa sering teks ini memilih kata yang diharapkan oleh model? Tulisan yang terus-menerus jatuh pada kata-kata berprobabilitas tinggi tampak dibuat mesin, karena memang itulah yang dilakukan oleh sebuah generator teks. Model mengambil sampel dari bagian atas distribusinya sendiri, berulang-ulang, untuk ribuan token.

Inilah sebabnya seluruh kategori ini berdiri di atas dasar yang lebih rapuh daripada yang disiratkan oleh pemasaran. Pendeteksi tidak menemukan watermark atau sidik jari. Pendeteksi hanya menyadari bahwa prosa Anda secara statistik tidak mengejutkan, dan prosa yang tidak mengejutkan memiliki banyak penyebab selain chatbot.

Perplexity: seberapa terkejut model itu

Ukuran utama disebut perplexity, yang lebih mudah daripada kedengarannya. Ambil probabilitas yang diberikan model kepada setiap kata yang benar-benar muncul, rata-ratakan logaritma dari probabilitas tersebut, lalu eksponensialkan hasilnya. Yang keluar adalah satu angka yang menggambarkan seberapa terkejut model terhadap dokumen Anda. Anda dapat memeriksa perplexity draf Anda sendiri daripada menebaknya.

Perplexity yang rendah berarti teks bergerak ke arah yang diharapkan model. Perplexity yang tinggi berarti teks terus mengambil belokan yang tidak diharapkan model. Tulisan manusia cenderung berada lebih tinggi, karena orang cenderung memilih nomina spesifik yang tidak lazim, konstruksi yang tidak biasa, kalimat yang dimulai dari tempat yang tidak terduga. Teks yang dihasilkan cenderung berada lebih rendah, karena proses decoding dibangun untuk menghindari tepat gerakan-gerakan itu.

Bandingkan dua cara membuka bagian metode. "The results of the study were statistically significant" adalah urutan yang hampir pasti diprediksi oleh model mana pun dengan keyakinan tinggi, karena tidak memuat informasi yang tidak terduga. "Two of the three cohorts drifted before week six, which we had not planned for" jauh kurang dapat diprediksi, karena memuat informasi spesifik dan janggal yang tidak dapat ditebak dari bagian lain makalah. Yang kedua menuntut kejutan nyata dari detektor, dan kejutan itulah yang terdeteksi sebagai manusia.

Burstiness: varians, bukan rata-rata

Perplexity saja tidak cukup, karena sebuah dokumen dapat menghasilkan rata-rata angka yang sepenuhnya wajar sambil tetap sangat seragam di bawah permukaan. Yang penting adalah variasi di seluruh teks Anda, dan itulah yang diukur oleh burstiness: seberapa besar panjang kalimat dan perplexity pada tingkat kalimat berayun ketika tulisan bergerak maju. Sebuah burstiness checker akan memperlihatkan sebaran itu secara langsung.

Kita mempercepat ketika yakin dan memperlambat ketika ragu-ragu, dan ritme itu bertahan dalam prosa. Orang menulis dalam ledakan-ledakan. Sebuah paragraf mungkin dibuka dengan kalimat deklaratif pendek delapan kata, lalu masuk ke kalimat tiga puluh empat kata yang memuat tiga klausa dan sebuah sisipan, kemudian turun kembali menjadi sesuatu yang ringkas.

Keluaran model tidak melakukan ini secara andal. Kalimat-kalimat mengelompok di dekat panjang rata-rata. Paragraf muncul dalam bundel yang rapi. Setiap bagian dimulai dengan menyatakan kembali judulnya sendiri. Teks ini terbaca lancar dan mendapat skor buruk, karena varians yang rendah di seluruh kalimat adalah salah satu sinyal terkuat yang dimiliki detektor. Bukan satu kalimat tertentu yang membongkarnya. Melainkan keseragamannya.

Sinyal	Apa yang diukurnya	Mengapa teks mesin mendapat skor rendah
Perplexity	Seberapa terkejut model terhadap pilihan kata Anda, dirata-ratakan di seluruh dokumen	Secara desain, decoding mengambil sampel dari token berprobabilitas tinggi
Burstiness	Seberapa besar panjang kalimat dan keterprediksian bervariasi di seluruh teks	Keluaran mengelompok di dekat rata-rata alih-alih berayun
Token probability	Peluang per kata yang menjadi dasar perhitungan dua metrik lainnya	Rangkaian panjang pilihan yang masing-masing tidak menonjol

Probabilitas token dan dari mana skor itu berasal

Kedua angka itu dibangun dari angka ketiga, yaitu log-likelihood per token, bahan mentah yang menjadi dasar perhitungan semuanya. Beberapa alat menampilkannya secara langsung, menyoroti bagian-bagian ketika teks Anda paling dapat diprediksi. Sorotan itu bukan tuduhan terhadap kalimat tertentu, apa pun yang disiratkan antarmukanya. Sorotan itu adalah bagian yang paling besar menyumbang pada angka di tingkat dokumen.

Pendekatan penelitian telah bergerak melampaui ambang batas sederhana. DetectGPT dan turunannya melihat kelengkungan, mereka mengganggu teks Anda sedikit dan memeriksa apakah likelihood turun dengan pola yang cenderung ditunjukkan oleh teks yang dihasilkan. Yang lain membandingkan bagian yang sama di bawah dua model berbeda dan menggunakan ketidaksepakatan itu sebagai sinyal.

Satu konsekuensi penting bagi siapa pun yang dinilai. Karena metrik dihitung terhadap model acuan tertentu, skor selalu bersifat relatif terhadap model itu. Dua detektor dapat membaca paragraf yang sama dan sama sekali tidak sepakat, dan keduanya tidak sedang mengalami gangguan. Mereka menjawab pertanyaan yang sama dengan titik acuan yang berbeda.

Konsekuensi kedua lebih jarang dicatat. Sebuah model hanya dapat menemukan suatu bagian dapat diprediksi jika bagian itu menyerupai apa yang menjadi bahan pelatihannya, sehingga kualitas deteksi menurun ketika jarak antara model acuan dan apa pun yang menghasilkan teks itu semakin melebar. Generator yang lebih baru, disiplin yang tidak lazim, dan bahasa selain Inggris semuanya memperlebar jarak itu. Ini merupakan salah satu alasan mengapa akurasi yang diukur dalam tolok ukur terkontrol jarang bertahan ketika berhadapan dengan tumpukan pengajuan yang nyata.

Apa yang ditambahkan oleh detektor komersial

Alat yang benar-benar dibeli oleh institusi tidak menjalankan perplexity ala buku teks. Turnitin, GPTZero, Originality dan yang lain melatih pengklasifikasi terawasi pada kumpulan berlabel besar dari teks manusia dan mesin, dengan menggunakan fitur statistik bersama fitur stilistika. Apa yang dipelajari pengklasifikasi adalah apa pun yang membedakan dua tumpukan itu dalam data pelatihannya, yang merupakan sesuatu yang lebih sempit dan lebih historis daripada "AI writing" secara umum.

Ketergantungan pada pelatihan adalah masalah yang senyap. Pengklasifikasi yang terutama dilatih pada satu generasi keluaran model harus menggeneralisasi ke model yang lebih baru, ke disiplin yang tidak dikenal, dan ke penulis yang bahasa Inggrisnya tidak menyerupai distribusi pelatihannya. Para vendor menerbitkan angka akurasi dari evaluasi mereka sendiri, dan tolok ukur independen secara rutin menghasilkan angka yang jauh di bawah angka itu pada alat yang sama.

Membaca skor tanpa membacanya secara berlebihan

Laporan detektor biasanya muncul sebagai persentase, dan persentase itu rutin disalahartikan. Itu bukan proporsi dokumen Anda yang ditulis oleh mesin. Bergantung pada alatnya, itu adalah tingkat keyakinan pengklasifikasi, atau bagian kalimat yang melampaui ambang internal tertentu, dan para vendor sering kali tidak jelas mengenai yang mana. Dua laporan yang sama-sama menunjukkan enam puluh persen dapat berarti hal yang sangat berbeda.

Penting juga untuk mengetahui apa yang menggerakkan skor karena alasan yang sama sekali tidak berkaitan dengan siapa penulisnya. Dokumen yang pendek lebih berisik, karena teks yang tersedia untuk menjadi dasar rata-rata lebih sedikit, dan esai lima ratus kata dapat berubah jauh hanya karena dua atau tiga kalimat yang tidak biasa. Materi kutipan juga ikut dihitung kecuali alat tersebut menghapusnya, sehingga tinjauan pustaka yang penuh dengan block quotes mewarisi keterdugaan dari apa pun yang dikutipnya. Sebuah bagian teknis yang sarat dengan terminologi standar berperilaku dengan cara yang sama.

Jika Anda menerima penandaan, respons yang berguna adalah bukti, bukan perdebatan tentang metrik. Riwayat versi, draf, catatan, dan catatan pencarian semuanya menunjukkan proses, dan proses adalah sesuatu yang benar-benar dapat dievaluasi oleh panel pelanggaran. Tidak ada ambang batas yang dapat ditunjukkan siapa pun yang memisahkan penulis yang cermat dari model.

Mengapa detektor menandai tulisan yang tidak dihasilkan oleh model mana pun

False positives bukanlah gangguan yang jarang terjadi. Itu muncul langsung dari pengukuran keumuman. Setiap tulisan yang memang dapat diprediksi akan mendapat skor sebagai dapat diprediksi, terlepas dari siapa yang menghasilkannya.

Penulis bahasa Inggris non-asli paling terdampak. Peneliti Stanford menemukan bahwa detektor salah mengklasifikasikan sebagian besar esai oleh penutur non-asli sebagai dihasilkan mesin, sementara mengklasifikasikan esai penutur asli dengan benar. Alasannya bersifat mekanis, bukan jahat, penulis yang bekerja dalam bahasa kedua cenderung mengandalkan konstruksi yang sudah lazim dan kosakata yang lebih umum. Itulah tepatnya profil perplexity rendah, yang menjadi alasan penulis ESL ditandai karena menulis dengan cermat.

Konvensi akademik menimbulkan masalah yang sama. Bagian metode memang seharusnya bersifat formulaik. Penulisan hukum, dokumentasi teknis, dan pelaporan klinis semuanya memberi penghargaan pada frasa standar daripada frasa yang inventif. Penyuntingan berat memperparahnya lebih lanjut, karena memoles draf biasanya berarti menghapus ketidakteraturan yang membawa tanda statistik Anda.

Institusi telah memperhatikan. Vanderbilt menonaktifkan fitur deteksi AI Turnitin daripada bertindak berdasarkan skor yang tidak dapat mereka verifikasi, dan universitas lain telah membatasi bagaimana angka tersebut boleh digunakan dalam proses pelanggaran akademik. Perlakukan skor detektor sebagai satu bukti yang lemah, bukan sebagai putusan.

Apa arti ini bagi tulisan Anda sendiri

Saran praktis yang muncul dari mekanismenya tidaklah eksotis, dan tidak satu pun melibatkan upaya mengakali apa pun. Variasikan panjang kalimat Anda secara sengaja, karena keseragaman itulah yang terdeteksi. Pertahankan rincian yang spesifik, angka yang sebenarnya, keterbatasan yang sebenarnya, hal yang salah pada minggu keenam. Kompetensi yang generik adalah yang dinilai seperti buatan mesin, dan kekhususan adalah tulisan yang lebih baik sekaligus sinyal yang lebih kuat.

Pertahankan juga idiom Anda sendiri. Jika Anda punya cara khas dalam mengungkapkan sesuatu, biarkan tetap ada. Dorongan untuk menghaluskan draf sampai terdengar seperti makalah lain di bidang yang sama adalah dorongan yang menurunkan perplexity Anda.

Satu hal yang perlu dihindari, beberapa alat sengaja memasukkan kesalahan tata bahasa untuk menaikkan perplexity. Itu berhasil pada metriknya dan merupakan gagasan yang sangat buruk untuk apa pun yang dinilai atau ditinjau sejawat, karena Anda menukar kecurigaan dengan kepastian. Tujuannya adalah tulisan yang terbaca sebagai tulisan Anda, bukan tulisan yang sengaja dirusak. Itulah seluruh perbedaan antara menulis ulang untuk pembaca manusia dan merusak teks untuk menipu penilai.

Jika Anda ingin melihat angka-angka ini pada draf Anda sendiri, alih-alih menerima begitu saja klaim sebuah kotak hitam, pengukuran yang mendasarinya tidaklah rahasia. alat analisis teks gratis akan menunjukkan posisi prosa Anda, dan Anda dapat menilai sendiri apakah bagian-bagian yang datar merupakan masalah gaya yang layak diperbaiki.