Mengapa Teks AI Terdeteksi? Alasan Sebenarnya

Jika Anda meminta sebuah model bahasa untuk melengkapi kalimat "The weather today is," model itu tidak akan mencoba memilih warna seperti "cerulean" atau "apocalyptic." Sebaliknya, model itu akan mencoba mengatakan "sunny," "cloudy," atau "nice," karena kata-kata itulah yang paling sering muncul setelah frasa itu dalam apa pun yang menjadi bahan pelatihannya. Perangkat lunak yang memilih kata berikutnya dalam sebuah kalimat telah dirancang untuk mengutamakan jawaban seperti ini.

Mengapa teks AI terdeteksi? Karena preferensi yang sama yang memilih 'sunny' daripada 'cerulean' bekerja di seluruh dokumen, kata demi kata, dan hasilnya berada dalam rentang tulisan yang lebih sempit daripada yang biasanya ditempati manusia. Sebuah detektor tidak perlu menangkap kebohongan. Detektor hanya perlu menyadari bahwa suatu bagian teks terus-menerus jatuh ke dalam rentang yang sempit itu.

Tidak ada bagian berikut ini yang memerlukan rumus. Mekanismenya bertumpu pada satu gagasan, yang diulang pada tiga skala berbeda, pilihan kata, bentuk kalimat, dan detail spesifik yang secara spontan dipilih penulis tanpa memikirkannya. Masing-masing skala itu berkontribusi pada pertanyaan yang lebih luas tentang bagaimana AI detectors sebenarnya bekerja, dan masing-masing lebih mudah dilihat setelah penyebab dasarnya dinamai.

Mengapa Teks AI Terdeteksi? Jawaban Singkatnya

Teks AI terdeteksi karena proses decoding yang mengubah prediksi model menjadi kalimat yang selesai dibangun untuk mengutamakan kata-kata yang paling mungkin pada setiap langkah, dan melakukan hal itu secara konsisten, selama ribuan kata berturut-turut, menghasilkan tulisan yang menempati irisan bahasa yang lebih sempit daripada yang biasanya ditempati manusia. Sebuah alat statistik dapat menemukan kesempitan itu bahkan ketika setiap kalimat secara tata bahasa sempurna dan secara faktual akurat.

Tiga gejala mengikuti dari satu penyebab itu. Kosakata menyempit ke arah kata umum yang paling aman. Struktur kalimat menyempit ke arah beberapa bentuk yang disukai. Dan pilihan spesifik yang sedikit tidak lazim, yang dibuat seseorang hampir secara refleks, kata yang ganjil, sisipan singkat, detail yang tidak memerlukan biaya untuk dimasukkan tetapi sulit diprediksi, cenderung sama sekali tidak muncul.

Bagaimana Sebuah Model Bahasa Memilih Kata Berikutnya

Jika dibiarkan sendiri, sebuah model bahasa hanya akan melaporkan daftar lengkap kata berikutnya yang mungkin, beserta peringkatnya, lalu membiarkan sesuatu yang lain memilih. Dalam praktiknya, sebuah strategi decoding membuat pilihan itu secara otomatis, kata demi kata, dan strategi yang sedang berjalan mengubah seperti apa hasilnya, bahkan ketika model dasarnya tidak pernah berubah.

Greedy decoding selalu memilih satu kata yang paling mungkin. Dalam makalah yang memperkenalkan nucleus sampling sebagai perbaikan, Ari Holtzman dan rekan penulis mengamati bahwa mengikuti strategi ini menghasilkan teks yang, dalam kata-kata mereka sendiri, 'bland and strangely repetitive.' Beam search, yang melacak beberapa kelanjutan yang mungkin sekaligus sebelum menetapkan satu, menghadapi versi masalah yang serupa.

Strategi sampling memperkenalkan kembali sebagian keacakan, tetapi dengan cara yang terkendali. Temperature menyesuaikan seberapa tajam model mengutamakan pilihan teratasnya sendiri sebelum sebuah kata diambil. Nucleus sampling, yang kadang disebut top-p, memotong distribusi menjadi himpunan kata terkecil yang probabilitas gabungannya melampaui suatu ambang, lalu mengambil sampel hanya dari himpunan itu, yang dalam makalah asli digambarkan sebagai pengambilan sampel dari nucleus dinamis distribusi, bukan dari ekor yang tidak andal.

Bahkan pengaturan yang paling tidak deterministik sekalipun tetap mengambil sampel dari daftar pendek yang dibangun di sekitar apa yang sudah dianggap mungkin oleh model. Tulisan manusia tidak pernah dihasilkan dengan memberi peringkat pada kosakata lalu mengambil sampel dari bagian teratasnya, sehingga ia terus-menerus melampaui daftar pendek itu. Makna kadang hidup dalam kata yang tidak pernah ada dalam daftar.

Kerataan Kosakata: Lebih Sedikit Kata, Lebih Aman

Kerataan kosakata adalah versi pada tingkat kata dari kebiasaan yang sama. Pada setiap titik dalam sebuah kalimat, puluhan kata secara masuk akal dapat melanjutkannya, tetapi segelintir kata berada jauh di atas yang lain dalam peringkat model, dan decoding terus berakhir pada segelintir kata itu. Kalikan pilihan itu dengan setiap kalimat dalam sebuah dokumen, dan rentang kata yang benar-benar digunakan menyempit secara terukur dibandingkan dengan tulisan manusia dengan panjang yang serupa.

Efeknya terakumulasi, bukan tetap konstan. Sebuah model yang meraih kata dengan peringkat teratas pada kalimat pertama lebih mungkin membangun konteks di mana kata dengan peringkat teratas pada kalimat kedua juga umum, karena kata umum cenderung mengikuti kata umum. Seorang penulis manusia terus-menerus memutus pergeseran itu, meraih istilah teknis yang spesifik, verba yang sedikit tidak lazim, kata yang menamai benda yang sebenarnya, bukan perkiraan aman darinya. Perbedaan itu tampak sebagai kosakata kerja yang terukur lebih kecil dalam versi yang dihasilkan, bahkan ketika kedua versi menggambarkan fakta dasar yang sama.

Ini adalah sifat dari seluruh bagian, bukan dari pilihan kata tunggal mana pun. Satu kata yang aman tidak membuktikan apa pun. Satu halaman penuh kata seperti itu, kalimat demi kalimat meraih peringkat yang sama dari kosakata umum, adalah apa yang sebenarnya dirancang untuk dideteksi oleh sinyal tingkat kata dari sebuah detektor.

Keseragaman Sintaksis: Bentuk yang Sama, Diulang

Keseragaman sintaksis adalah versi pada tingkat kalimat. Ini bukan tentang seberapa panjang sebuah kalimat berjalan. Ini tentang berapa banyak bentuk gramatikal yang berbeda yang digunakan suatu bagian: bagaimana kalimat dibuka, bagaimana klausa saling melekat, seberapa sering sebuah kata transisi melakukan pekerjaan menghubungkan satu gagasan ke gagasan berikutnya. Sebuah model yang terus memprediksi struktur berikutnya yang paling mungkin secara statistik akan menetap pada rotasi bentuk yang kecil dan mengulanginya.

Sebuah paragraf dapat memvariasikan panjang kalimatnya dan tetap terasa datar secara sintaksis jika setiap kalimat mengikuti bentuk subjek-verba-pelengkap yang sama, dibuka dengan jenis transisi yang sama, atau diselesaikan dengan cara yang sama. Keterprediksian itu berada dalam pola, bukan dalam jumlah kata, suatu perbedaan yang dibahas lebih mendalam dalam panduan tentang apa yang sebenarnya diukur oleh burstiness.

Apa yang mempersempit	Apa yang cenderung dilakukan oleh teks yang dioptimalkan untuk decoding	Apa yang cenderung dilakukan oleh tulisan manusia
Pilihan kata	Menetapkan kata umum yang paling mungkin pada setiap langkah	Meraih kata yang spesifik atau lebih jarang yang menamai hal yang sebenarnya
Awal kalimat	Mengulang sedikit variasi pembuka transisi yang aman	Mengubah cara sebuah kalimat dimulai, termasuk pembuka yang oleh model akan dinilai kurang mungkin
Struktur klausa	Mengulang satu atau dua bentuk gramatikal yang disukai di seluruh bagian teks	Mencampur struktur sederhana dan kompleks bergantung pada apa yang dibutuhkan sebuah kalimat

Pilihan yang Hanya Cenderung Dibuat oleh Manusia

Sisi lain dari pita yang sempit adalah apa yang berada di luarnya. Seseorang yang menggambarkan peristiwa nyata akan meraih angka yang tepat alih-alih angka bulat, mengakui bagian yang tidak berjalan, menyela sebuah kalimat untuk memperbaikinya di tengah pikiran, atau memilih kata yang tepat daripada kata yang lazim. Setiap pilihan itu, dari sudut pandang model bahasa, adalah token berprobabilitas rendah, tepat jenis yang dirancang untuk dihindari oleh decoding.

Semua ini tidak berarti bahwa tulisan yang spesifik atau tidak biasa aman dari setiap penanda, atau bahwa tulisan yang lancar dan benar secara default mencurigakan. Sebuah bagian metode, klausul hukum, atau draf akhir yang telah banyak disunting dapat jatuh ke dalam pita yang sempit karena alasan yang sama sekali tidak berkaitan dengan model, itulah sebabnya satu skor adalah deskripsi suatu pola, bukan putusan tentang siapa yang mengetiknya.

Melihat di mana draf Anda sendiri berada pada pita itu lebih berguna daripada menebak. pemeriksa perplexity gratis dan pemeriksa burstiness TextPulse mengukur keterdugaan tingkat kata dan ritme antarkalimat secara terpisah, sehingga kosakata yang datar dan bentuk kalimat yang berulang muncul sebagai dua sinyal yang berbeda, bukan satu angka gabungan.

Dua halaman yang lebih sempit mengikuti dari sini. Bagaimana Turnitin mendeteksi AI secara spesifik adalah salah satunya, dan perbedaan antara skor kemiripan dan skor AI-nya adalah yang lainnya, karena keduanya secara rutin disalahartikan satu sama lain.

Keduanya berada di dalam koleksi alat gratis yang lebih luas, bagi siapa pun yang ingin melihat polanya sendiri daripada mempercayai satu angka secara buta.