Bagaimana Cara Kerja Detektor AI? Perplexity, Burstiness, dan Probabilitas Token

Universitas Anda telah mulai menjalankan pengumpulan tugas melalui pendeteksi AI, dan sebuah laporan telah kembali dengan angka yang tidak Anda duga. Sebelum Anda mencoba membantahnya, ada baiknya memahami apa arti angka itu. Bagaimana cara kerja pendeteksi AI? Pendeteksi tidak membaca tulisan mesin seperti manusia. Pendeteksi mengukur seberapa dapat diprediksi teks Anda bagi sebuah model bahasa, lalu mengubah keterprediksian itu menjadi skor. Tidak ada bagian dari proses itu yang menilai apa yang Anda maksud, argumen Anda, atau apakah Anda benar-benar menulisnya.

Selama bertahun-tahun saya telah membangun alat yang membongkar teks secara statistik, dan hal paling berguna untuk dipahami tentang deteksi adalah ini: deteksi merupakan pengukuran keumuman, bukan asal-usul. Setelah hal itu dipahami, baik teknologinya maupun kegagalannya menjadi jauh lebih masuk akal.

Apa yang sebenarnya diukur oleh pendeteksi

Pendeteksi tidak mengetahui siapa yang menulis apa pun. Yang dimilikinya adalah sebuah model bahasa dan fungsi penilaian. Model itu membaca teks Anda dari kiri ke kanan, dan pada setiap titik ia menghasilkan distribusi probabilitas atas kata apa yang seharusnya muncul berikutnya. Berikan kepadanya kata-kata "the results of the" dan ia akan memberi peringkat "study" paling tinggi, "experiment" sedikit lebih rendah, dan "marmalade" mendekati nol.

Jadi pendeteksi mengajukan satu pertanyaan kepada dokumen Anda: seberapa sering teks ini memilih kata yang diharapkan oleh model? Tulisan yang terus-menerus jatuh pada kata-kata berprobabilitas tinggi tampak dibuat mesin, karena memang itulah yang dilakukan oleh sebuah generator teks. Model itu mengambil sampel dari bagian atas distribusinya sendiri, berulang-ulang, untuk ribuan token.

Inilah sebabnya seluruh kategori ini berdiri di atas dasar yang lebih rapuh daripada yang disiratkan oleh pemasaran. Pendeteksi tidak menemukan watermark atau sidik jari. Pendeteksi hanya menyadari bahwa prosa Anda secara statistik tidak mengejutkan, dan prosa yang tidak mengejutkan memiliki banyak penyebab selain chatbot.

Perplexity: seberapa terkejut model itu

Ukuran utama disebut perplexity, yang lebih mudah daripada kedengarannya. Ambil probabilitas yang diberikan model kepada setiap kata yang benar-benar muncul, hitung rata-rata logaritma dari probabilitas tersebut, lalu eksponensialkan hasilnya. Yang keluar adalah satu angka yang menggambarkan seberapa terkejut model terhadap dokumen Anda. Anda dapat memeriksa perplexity draf Anda sendiri daripada menebaknya.

Perplexity yang rendah berarti teks bergerak ke arah yang diharapkan model. Perplexity yang tinggi berarti teks terus mengambil belokan yang tidak diharapkan model. Tulisan manusia cenderung berada lebih tinggi, karena orang cenderung memilih nomina spesifik yang tidak lazim, konstruksi yang tidak biasa, kalimat yang dimulai dari tempat yang tidak terduga. Teks yang dihasilkan cenderung berada lebih rendah, karena proses decoding dibangun untuk menghindari tepat gerakan-gerakan itu.

Bandingkan dua cara membuka bagian metode. "The results of the study were statistically significant" adalah rangkaian yang hampir pasti diprediksi oleh model mana pun dengan keyakinan tinggi, karena tidak memuat informasi yang tidak terduga. "Two of the three cohorts drifted before week six, which we had not planned for" jauh kurang dapat diprediksi, karena memuat informasi spesifik dan canggung yang tidak dapat ditebak dari bagian lain makalah. Yang kedua menimbulkan kejutan nyata bagi detektor, dan kejutan itulah yang dikenali sebagai manusia.

Burstiness: varians, bukan rata-rata

Perplexity saja tidak cukup, karena sebuah dokumen dapat menghasilkan rata-rata yang tampak sepenuhnya wajar sambil tetap mencurigakan karena seragam di bawah permukaan. Yang penting adalah variasi di seluruh teks Anda, dan itulah yang diukur oleh burstiness: seberapa besar panjang kalimat dan perplexity pada tingkat kalimat berayun ketika tulisan bergerak maju. Sebuah burstiness checker akan menunjukkan sebaran itu secara langsung kepada Anda.

Kita mempercepat ketika yakin dan melambat ketika ragu, dan ritme itu bertahan dalam prosa. Orang menulis dalam ledakan-ledakan. Sebuah paragraf mungkin dibuka dengan kalimat deklaratif pendek yang terdiri dari delapan kata, lalu masuk ke kalimat tiga puluh empat kata yang memuat tiga klausa dan sebuah keterangan dalam tanda kurung, kemudian kembali ke sesuatu yang ringkas.

Luaran model tidak melakukan hal ini secara andal. Kalimat-kalimat mengelompok di sekitar panjang rata-rata. Paragraf muncul dalam bundel yang rapi. Setiap bagian dimulai dengan menyatakan ulang judulnya sendiri. Teksnya mengalir lancar dan mendapat skor buruk, karena varians yang rendah antarkalimat adalah salah satu sinyal terkuat yang dimiliki detektor. Bukan satu kalimat tertentu yang membongkarnya. Melainkan keseragamannya.

Sinyal	Apa yang diukurnya	Mengapa teks mesin mendapat skor rendah
Perplexity	Seberapa terkejut model terhadap pilihan kata Anda, dirata-ratakan di seluruh dokumen	Secara desain, decoding mengambil sampel dari token berprobabilitas tinggi
Burstiness	Seberapa besar panjang kalimat dan keterprediktifan bervariasi di seluruh teks	Luaran mengelompok di dekat rata-rata alih-alih berayun
Probabilitas token	Peluang per kata yang menjadi dasar perhitungan dua ukuran lainnya	Rangkaian panjang pilihan yang secara individual tidak menonjol

Probabilitas token dan dari mana skor itu berasal

Kedua angka itu dibangun dari angka ketiga, yaitu log-likelihood per token, bahan mentah yang menjadi dasar perhitungan semuanya. Beberapa alat menampilkannya secara langsung, menyoroti bagian-bagian ketika teks Anda paling dapat diprediksi. Sorotan itu bukan tuduhan terhadap kalimat tertentu, apa pun yang disiratkan antarmuka. Sorotan itu adalah bagian yang paling besar berkontribusi pada angka di tingkat dokumen.

Pendekatan penelitian telah bergerak melampaui ambang batas sederhana. DetectGPT dan turunannya melihat kelengkungan: mereka mengganggu teks Anda sedikit dan memeriksa apakah likelihood menurun mengikuti pola yang cenderung ditunjukkan oleh teks yang dihasilkan. Yang lain membandingkan bagian yang sama di bawah dua model yang berbeda dan menggunakan ketidaksepakatan itu sebagai sinyal.

Satu konsekuensi penting bagi siapa pun yang sedang dinilai. Karena metrik dihitung terhadap model acuan tertentu, suatu skor selalu bersifat relatif terhadap model itu. Dua detektor dapat membaca paragraf yang sama dan sama sekali tidak sepakat, dan keduanya tidak sedang mengalami gangguan. Mereka menjawab pertanyaan yang sama dengan titik acuan yang berbeda.

Konsekuensi kedua lebih jarang disebut. Suatu model hanya dapat menemukan suatu bagian teks dapat diprediksi jika bagian itu menyerupai apa yang menjadi bahan pelatihannya, sehingga kualitas deteksi menurun ketika jarak antara model acuan dan apa pun yang menghasilkan teks itu semakin melebar. Generator yang lebih baru, disiplin yang tidak lazim, dan bahasa selain Inggris semuanya memperlebar jarak itu. Inilah salah satu alasan mengapa akurasi yang diukur dalam tolok ukur terkontrol jarang bertahan ketika berhadapan dengan tumpukan pengajuan yang nyata.

Mengapa teks AI terdeteksi sama sekali

Bagaimana Model Bahasa Memilih Kata Berikutnya

Jika dibiarkan sendiri, sebuah model bahasa hanya akan melaporkan daftar lengkap kata berikutnya yang mungkin, beserta peringkatnya, lalu membiarkan sesuatu yang lain memilih. Dalam praktiknya, suatu strategi decoding membuat pilihan itu secara otomatis, kata demi kata, dan strategi yang sedang berjalan mengubah seperti apa hasil keluaran itu, bahkan ketika model dasarnya tidak pernah berubah.

Greedy decoding selalu memilih kata tunggal yang paling mungkin. Dalam makalah yang memperkenalkan nucleus sampling sebagai perbaikan, Ari Holtzman dan rekan penulisnya mengamati bahwa mengikuti strategi ini menghasilkan teks yang, dalam kata-kata mereka sendiri, 'datar dan anehnya repetitif.' Beam search, yang melacak beberapa kelanjutan yang mungkin sekaligus sebelum menetapkan satu pilihan, menghadapi versi masalah yang serupa.

Strategi sampling memperkenalkan kembali sebagian keacakan, tetapi dengan cara yang terkontrol. Temperature menyesuaikan seberapa tajam model memfavoritkan pilihan teratasnya sendiri sebelum sebuah kata diambil. Nucleus sampling, yang kadang disebut top-p, memotong distribusi menjadi himpunan kata terkecil yang probabilitas gabungannya melampaui suatu ambang, lalu mengambil sampel hanya dari himpunan itu, yang dalam makalah aslinya digambarkan sebagai pengambilan sampel dari nucleus dinamis distribusi, bukan dari ekor yang tidak andal.

Bahkan pengaturan yang paling tidak deterministik sekalipun tetap mengambil dari daftar pendek yang dibangun berdasarkan apa yang sudah dianggap mungkin oleh model. Tulisan manusia tidak pernah dihasilkan dengan memberi peringkat pada kosakata lalu mengambil dari bagian teratasnya, sehingga ia terus-menerus melampaui daftar pendek itu. Makna kadang hidup dalam kata yang tidak pernah ada dalam daftar.

Kerataan Kosakata: Kata yang Lebih Sedikit dan Lebih Aman

Kerataan kosakata adalah versi pada tingkat kata dari kebiasaan yang sama. Pada setiap titik dalam sebuah kalimat, puluhan kata secara masuk akal dapat melanjutkannya, tetapi segelintir kata berada jauh di atas yang lain dalam peringkat model, dan decoding terus jatuh pada segelintir kata itu. Kalikan pilihan itu dengan setiap kalimat dalam sebuah dokumen, dan rentang kata yang benar-benar digunakan menyempit secara terukur dibandingkan dengan tulisan manusia dengan panjang yang serupa.

Efeknya bersifat kumulatif, bukan tetap. Sebuah model yang meraih kata dengan peringkat teratas dalam kalimat pertama lebih mungkin membentuk konteks di mana kata dengan peringkat teratas dalam kalimat kedua juga umum, karena kata umum cenderung mengikuti kata umum. Seorang penulis manusia terus-menerus mengganggu pergeseran itu, meraih istilah teknis yang spesifik, verba yang sedikit tidak lazim, kata yang menamai benda yang sebenarnya, bukan perkiraan amannya. Perbedaan itu tampak sebagai kosakata kerja yang secara terukur lebih kecil dalam versi yang dihasilkan, bahkan ketika kedua versi menggambarkan fakta dasar yang sama.

Ini adalah sifat dari keseluruhan bagian, bukan dari satu pilihan kata tertentu. Satu kata yang aman tidak membuktikan apa pun. Satu halaman yang dipenuhi kata-kata seperti itu, kalimat demi kalimat meraih tingkat kosakata umum yang sama, adalah apa yang sebenarnya dirancang untuk dikenali oleh sinyal tingkat kata dari sebuah detektor.

Keseragaman Sintaksis: Bentuk yang Sama, Diulang

Keseragaman sintaksis adalah versi pada tingkat kalimat. Ini bukan tentang seberapa panjang sebuah kalimat berjalan. Ini tentang berapa banyak bentuk gramatikal yang berbeda yang digunakan suatu bagian: bagaimana kalimat dibuka, bagaimana klausa saling melekat, seberapa sering kata transisi melakukan pekerjaan menghubungkan satu gagasan dengan gagasan berikutnya. Sebuah model yang terus memprediksi struktur berikutnya yang paling mungkin secara statistik akan menetap pada rotasi bentuk yang kecil dan mengulanginya.

Sebuah paragraf dapat memvariasikan panjang kalimatnya dan tetap terbaca datar secara sintaksis jika setiap kalimat mengikuti bentuk subjek-verba-komplemen yang sama, diawali dengan jenis transisi yang sama, atau diselesaikan dengan cara yang sama. Keterdugaan itu berada pada polanya, bukan pada jumlah katanya, suatu perbedaan yang dibahas lebih mendalam dalam panduan tentang apa yang sebenarnya diukur oleh burstiness.

Apa yang menyempit	Apa yang cenderung dilakukan teks yang dioptimalkan untuk decoding	Apa yang cenderung dilakukan tulisan manusia
Pilihan kata	Berhenti pada kata umum yang paling mungkin pada setiap langkah	Meraih kata yang spesifik atau yang kurang umum untuk menamai hal yang sebenarnya
Pembukaan kalimat	Mengulang rotasi kecil pembuka transisional yang aman	Memvariasikan cara sebuah kalimat dimulai, termasuk pembukaan yang oleh model akan dinilai kurang mungkin
Struktur klausa	Mengulang satu atau dua bentuk gramatikal yang disukai di seluruh bagian	Mencampur struktur sederhana dan kompleks sesuai dengan kebutuhan kalimat

Pilihan yang Cenderung Hanya Dibuat oleh Manusia

Sisi lain dari rentang yang sempit adalah apa yang berada di luarnya. Seseorang yang mendeskripsikan peristiwa nyata akan meraih angka yang tepat alih-alih angka bulat, mengakui bagian yang tidak berhasil, menyela sebuah kalimat untuk memperbaikinya di tengah pikiran, atau memilih kata yang tepat alih-alih yang lazim. Setiap pilihan itu, dari sudut pandang model bahasa, adalah token berprobabilitas rendah, tepat jenis yang dirancang oleh decoding untuk dihindari.

Semua ini tidak berarti bahwa tulisan yang spesifik atau tidak biasa aman dari setiap penanda, atau bahwa tulisan yang lancar dan benar secara default mencurigakan. Sebuah bagian metode, klausul hukum, atau draf akhir yang telah banyak disunting dapat jatuh ke dalam rentang yang sempit karena alasan yang sama sekali tidak berkaitan dengan model, itulah sebabnya satu skor adalah deskripsi suatu pola, bukan putusan tentang siapa yang mengetiknya.

Melihat posisi draf Anda sendiri pada rentang itu lebih berguna daripada menebak. periksa perplexity gratis dan periksa burstiness gratis milik TextPulse mengukur keterprediktifan pada tingkat kata dan ritme antarkalimat secara terpisah, sehingga kosakata yang datar dan bentuk kalimat yang berulang muncul sebagai dua sinyal yang berbeda, bukan satu angka gabungan.

Dua halaman yang lebih sempit mengikuti dari hal ini. Bagaimana Turnitin mendeteksi AI secara spesifik adalah salah satunya, dan perbedaan antara skor kemiripan dan skor AI-nya adalah yang lainnya, karena keduanya secara rutin disalahartikan sebagai hal yang sama.

Keduanya berada di dalam koleksi alat gratis yang lebih luas, bagi siapa pun yang ingin melihat polanya sendiri daripada mempercayai satu angka secara buta.

Berapa Banyak Bagian Web yang Kini Dihasilkan oleh AI?

Menurut beberapa ukuran, teks yang dihasilkan mesin kini melebihi teks yang ditulis manusia di internet. Sebuah tim di Amazon Web Services menganalisis 6,4 miliar kalimat dari web dan menemukan bahwa 57.1% ada sebagai terjemahan mesin dalam tiga bahasa atau lebih, dan sebagian besar berkualitas rendah. Analisis tahun 2025 oleh firma SEO Graphite menemukan bahwa sedikit di atas separuh artikel web yang baru diterbitkan dihasilkan oleh AI. Wikipedia tidak dikecualikan: sebuah studi Princeton atas halaman yang dibuat pada Agustus 2024 mengukur sekitar satu dari dua puluh artikel bahasa Inggris baru sebagai secara substansial dihasilkan oleh AI.

Porsinya meningkat, karena biaya keluaran model jauh lebih rendah daripada penulisan manusia dan setiap insentif komersial mengarah ke arah yang sama. Seluruh platform kini berjalan tanpa penulis manusia sama sekali: Chirper adalah jejaring sosial yang sepenuhnya diisi oleh akun AI, tempat manusia hanya dapat menonton, dan SocialAI menjual sebuah feed yang setiap balasannya kepada Anda adalah bot. Forum, bagian ulasan, dan rangkaian komentar menunjukkan pola yang sama dalam skala yang lebih kecil.

Untuk deteksi, ini mengubah tingkat dasar. Sebuah classifier yang membaca teks web acak pada 2023 dapat mengasumsikan bahwa sebagian besar teks itu ditulis manusia; classifier pada 2026 tidak dapat. Ini juga memberi umpan balik ke model itu sendiri, karena setiap generasi baru dilatih pada web yang sudah dituliskan oleh generasi sebelumnya, yang merupakan salah satu alasan kebiasaan kosakata yang menjadi sasaran detector menyebar alih-alih memudar.

Bagi tulisan Anda sendiri, konsekuensinya tegas: prosa yang ditulis manusia semakin menjadi kelas minoritas, dan dosen, editor, serta pembaca menyadarinya. Kecurigaan yang meningkat kini menjadi keadaan default, dan justru karena itu penting untuk memahami apa yang dapat dan tidak dapat diukur oleh detector.

Apa yang ditambahkan detector komersial di atasnya

Alat yang benar-benar dibeli oleh institusi tidak menjalankan perplexity buku teks. Turnitin, GPTZero, Originality dan yang lain melatih classifier terawasi pada kumpulan data berlabel besar dari teks manusia dan mesin, dengan menggunakan fitur statistik bersama dengan fitur stilistika. Apa yang dipelajari classifier adalah apa pun yang membedakan dua tumpukan itu dalam data latihnya, yang merupakan hal yang lebih sempit dan lebih historis daripada "AI writing" secara umum.

Ketergantungan pada pelatihan adalah masalah yang tidak mencolok. Sebuah classifier yang terutama dilatih pada keluaran model satu generasi harus menggeneralisasi ke model yang lebih baru, ke disiplin yang tidak familiar, dan ke penulis yang bahasa Inggrisnya tidak menyerupai distribusi latihnya. Vendor memublikasikan angka akurasi dari evaluasi mereka sendiri, dan benchmark independen secara rutin menghasilkan angka yang jauh di bawah itu pada alat yang sama.

Membaca skor tanpa membacanya berlebihan

Laporan detector biasanya muncul sebagai persentase, dan persentase itu rutin disalahartikan. Itu bukan proporsi dokumen Anda yang ditulis oleh mesin. Bergantung pada alatnya, itu adalah tingkat keyakinan classifier, atau bagian kalimat yang melewati ambang internal tertentu, dan vendor sering tidak jelas mengenai yang mana. Dua laporan yang sama-sama menunjukkan enam puluh persen dapat berarti hal yang sangat berbeda.

Perlu juga diketahui apa yang menggeser skor karena alasan yang sama sekali tidak berkaitan dengan siapa penulisnya. Dokumen pendek lebih berisik, karena teks yang tersedia untuk menjadi dasar rata-ratanya lebih sedikit, dan esai lima ratus kata dapat berubah jauh hanya karena dua atau tiga kalimat yang tidak biasa. Materi yang dikutip juga dihitung, kecuali alat tersebut menghapusnya, sehingga tinjauan pustaka yang penuh dengan kutipan blok mewarisi keterdugaan dari apa pun yang dikutipnya. Sebuah bagian teknis yang sarat dengan terminologi standar berperilaku dengan cara yang sama.

Jika Anda menerima penandaan, respons yang berguna adalah bukti, bukan perdebatan tentang metriknya. Riwayat versi, draf, catatan, dan catatan pencarian semuanya menunjukkan proses, dan proses adalah sesuatu yang benar-benar dapat dievaluasi oleh panel pelanggaran. Tidak ada ambang batas yang dapat ditunjukkan siapa pun yang memisahkan penulis yang cermat dari model.

Mengapa detektor menandai tulisan yang tidak dihasilkan oleh model mana pun

Positif palsu bukanlah gangguan yang langka. Itu muncul langsung dari pengukuran keumuman. Setiap tulisan yang memang dapat diprediksi akan mendapat skor sebagai dapat diprediksi, terlepas dari siapa yang menghasilkannya.

Penulis bahasa Inggris nonpenutur asli paling terdampak. Peneliti Stanford menemukan bahwa detektor salah mengklasifikasikan sebagian besar esai oleh penutur nonasli sebagai hasil mesin, sementara mengklasifikasikan esai penutur asli dengan benar. Alasannya bersifat mekanis, bukan jahat, penulis yang bekerja dalam bahasa kedua cenderung mengandalkan konstruksi yang sudah lazim dan kosakata yang lebih umum. Itulah tepatnya profil perplexity rendah, yang menjadi alasan mengapa penulis ESL ditandai karena menulis dengan cermat.

Konvensi akademik menimbulkan masalah yang sama. Bagian metode memang seharusnya bersifat formulaik. Penulisan hukum, dokumentasi teknis, dan pelaporan klinis semuanya memberi penghargaan pada frasa standar daripada yang inventif. Penyuntingan berat memperparahnya lebih lanjut, karena memoles draf biasanya berarti menghapus ketakteraturan yang membawa tanda statistik Anda.

Institusi telah memperhatikan. Vanderbilt menonaktifkan fitur deteksi AI Turnitin daripada bertindak berdasarkan skor yang tidak dapat mereka verifikasi, dan universitas lain telah membatasi bagaimana angka tersebut boleh digunakan dalam proses pelanggaran akademik. Perlakukan skor detektor sebagai satu bukti yang lemah, bukan sebagai putusan.

Apa artinya ini bagi tulisan Anda sendiri

Saran praktis yang mengikuti mekanismenya tidaklah aneh, dan tidak satu pun melibatkan upaya mengakali apa pun. Variasikan panjang kalimat Anda secara sengaja, karena keseragamanlah yang terdeteksi. Pertahankan detail yang spesifik, angka yang sebenarnya, keterbatasan yang sebenarnya, hal yang salah pada minggu keenam. Kompetensi yang umum adalah yang dinilai seperti buatan mesin, dan kekhususan adalah tulisan yang lebih baik sekaligus sinyal yang lebih kuat.

Pertahankan juga idiom Anda sendiri. Jika Anda punya cara sendiri dalam mengungkapkan sesuatu, biarkan tetap demikian. Dorongan untuk menghaluskan draf sampai terdengar seperti makalah lain di bidang yang sama adalah dorongan yang menurunkan perplexity Anda.

Satu hal yang perlu dihindari, beberapa alat sengaja memasukkan kesalahan tata bahasa untuk menaikkan perplexity. Cara ini bekerja pada metriknya dan merupakan gagasan yang sangat buruk untuk apa pun yang dinilai atau ditinjau sejawat, karena Anda menukar kecurigaan dengan kepastian. Tujuannya adalah tulisan yang terbaca sebagai tulisan Anda, bukan tulisan yang sengaja dirusak. Itulah seluruh perbedaan antara menulis ulang untuk pembaca manusia dan merusak teks untuk menipu penilai.

Jika Anda ingin melihat angka-angka ini untuk draf Anda sendiri, alih-alih menerima begitu saja klaim dari kotak hitam, pengukuran yang mendasarinya tidaklah rahasia. alat analisis teks gratis akan menunjukkan posisi prosa Anda, dan Anda dapat menilai sendiri apakah bagian-bagian yang datar merupakan masalah gaya yang layak diperbaiki.