Probabilitas Token dan Log-Likelihood dalam Deteksi AI

Jika Anda bertanya kepada sebuah detektor bagaimana ia menghasilkan skor itu, sebagian besar antarmuka penggunanya akan memberi Anda respons yang sama: sebuah paragraf dengan beberapa kata yang diarsir lebih gelap daripada yang lain. Pengarsiran itu bukan tebakan. Itu berasal dari sebuah angka yang melekat pada setiap token dalam bagian teks tersebut, dihitung sebelum detektor menyentuh perplexity, burstiness, atau persentase akhir.

Itu adalah probabilitas token, dan setiap deteksi probabilitas token ai didasarkan pada hal itu, dari dasar. Setiap angka metrik yang akan dilaporkan oleh sebuah detektor, termasuk dua yang kami bahas di bagian lain situs ini, hanyalah aritmetika yang diterapkan pada serangkaian angka ini. Lapisan di bawah lapisan yang biasanya menjadi batas sebagian besar penjelasan adalah tempat Anda harus memikirkan apa sebenarnya sebuah token, apa arti distribusi model atas token itu, dan mengapa aritmetika berjalan dalam ruang log, bukan probabilitas mentah. Sebagian besar penjelasan berhenti di sana.

Tidak ada yang perlu tetap kabur. Sebuah token, distribusi probabilitas, dan logaritma adalah alat biasa, bukan rahasia milik sendiri, dan tiga gagasan yang sama menjelaskan bagaimana AI detectors sebenarnya bekerja, dari teks mentah hingga satu angka pada laporan.

Deteksi Probabilitas Token AI: Dari Distribusi ke Skor

Deteksi probabilitas token ai bekerja dalam tiga tahap. Sebuah model bahasa menetapkan probabilitas untuk setiap token berikutnya yang mungkin, berdasarkan apa yang mendahuluinya. Probabilitas per token itu diubah menjadi logaritma dan dijumlahkan di seluruh bagian teks, yang menghindari masalah numerik yang segera dihadapi perkalian mentah. Jumlah yang dihasilkan, setelah dirata-ratakan dan diskalakan ulang, adalah apa yang akhirnya muncul sebagai angka perplexity atau menjadi masukan bagi keputusan sebuah classifier. Setiap tahap adalah bagian aritmetika yang spesifik dan dapat diperiksa, bukan kotak hitam.

Apa Sebenarnya Token Itu

Sebuah token bukanlah sebuah kata. Model bahasa modern memecah teks menjadi bagian subkata dengan algoritma seperti byte-pair encoding, sehingga kata umum seperti 'the' biasanya menjadi satu token, kata yang kurang umum seperti 'perplexity' terpecah menjadi dua atau tiga bagian, dan nama yang tidak dikenal dapat terfragmentasi menjadi karakter individual. Sebuah bagian teks bahasa Inggris biasa secara andal ditokenisasi menjadi lebih banyak bagian daripada jumlah katanya, dan hal ini patut diketahui sebelum mempercayai jumlah kata apa pun yang dilaporkan kembali oleh suatu alat kepada Anda.

Model tidak pernah melihat kata seperti yang dilihat pembaca. Model melihat urutan bilangan bulat, masing-masing merupakan indeks ke dalam kosakata tetap yang digunakan saat model dilatih. Segala sesuatu yang dilakukan token probability ai detection sejak titik ini beroperasi pada urutan bilangan bulat itu, bukan pada rangkaian huruf asli, yang menjadi salah satu alasan mengapa cara kerja internal sebuah detektor dapat terasa terputus dari cara seseorang benar-benar membaca kalimat.

Distribusi Model atas Token Berikutnya

Pada setiap posisi dalam suatu urutan, model bahasa autoregresif tidak menghasilkan satu prediksi. Model menghasilkan distribusi probabilitas penuh di seluruh kosakatanya, puluhan ribu angka yang jumlahnya menjadi satu, yang memberi peringkat setiap token berikutnya yang mungkin dari yang paling hingga yang paling tidak mungkin, berdasarkan segala sesuatu yang mendahuluinya. Jika model diberi frasa 'the results of the', model membagikan sebagian besar massa probabilitas itu ke sejumlah kecil nomina yang masuk akal, 'study,' 'experiment,' 'analysis,' sambil memberikan bagian yang sangat kecil kepada sesuatu seperti 'marmalade.'

Token yang benar-benar muncul berikutnya dalam dokumen nyata berada di suatu tempat dalam peringkat itu, dan probabilitas yang diberikan kepadanya adalah bahan mentah yang menjadi dasar segala sesuatu yang lain. Model yang menghasilkan teksnya sendiri dapat bergantung langsung pada distribusi ini, dengan berulang kali memilih dari bagian yang mendekati puncak. Sebuah detektor yang membaca teks selesai milik orang lain hanya dapat bertanya, setelah fakta, seberapa besar probabilitas yang akan diberikan model kepada pilihan yang benar-benar dibuat.

Probabilitas suatu urutan utuh adalah hasil kali probabilitas setiap token, dengan syarat semua token sebelumnya telah diberikan; jika pertanyaan per token itu dirangkai melintasi seluruh dokumen menggunakan aturan standar untuk probabilitas gabungan, hasil akhirnya adalah satu angka yang menggambarkan seberapa diharapkan seluruh bagian tersebut. Hasil kali inilah yang mulai membuat aritmetika gagal, dan itulah alasan bagian berikut ada.

Mengapa Log-Likelihood Menggantikan Probabilitas Mentah

Mengalikan probabilitas satu sama lain memang benar secara matematis, tetapi secara praktis tidak berguna setelah beberapa lusin token. Setiap probabilitas individual adalah pecahan yang lebih kecil dari satu, sehingga hasil kali yang terus diperbarui menyusut setiap kali token lain dikalikan, dan penyusutannya cepat. Setelah beberapa ratus token, hasil kali mentah dapat turun jauh di bawah bilangan terkecil yang dapat direpresentasikan komputer sehingga dibulatkan menjadi nol tepat, suatu mode kegagalan yang disebut underflow.

Setelah itu terjadi, angka tersebut sama sekali tidak membawa informasi. Sebuah dokumen yang hanya tidak mungkin dan sebuah dokumen yang sangat, kacau tidak mungkin sama-sama runtuh menjadi nol yang identik, tanpa cara untuk membedakannya sesudahnya. Logaritma memperbaiki hal ini karena logaritma dari suatu hasil kali sama dengan jumlah logaritma, sebuah identitas dari aljabar dasar. Menjumlahkan deretan bilangan negatif biasa tidak mengalami underflow seperti halnya mengalikan deretan pecahan kecil, dan selain itu lebih murah untuk dihitung.

Panjang bagian teks (ilustratif)	Probabilitas mentah, hasil kali yang terus diperbarui	Jumlah log-probabilitas
12 token pada ilustrasi 0.1 masing-masing	1 x 10 to the power of -12, masih dapat direpresentasikan	sekitar -27.6
350 token pada ilustrasi 0.1 masing-masing	1 x 10 to the power of -350, underflows menjadi tepat 0	sekitar -805.9

Ini adalah ilustrasi yang disederhanakan. Probabilitas per token yang sesungguhnya sangat bervariasi, bukan berada pada 0.1 yang datar, tetapi arah masalahnya memang tepat. Begitu hasil kali mentah mengalami underflow menjadi nol, perbandingan yang sebenarnya dibutuhkan oleh detektor, apakah dokumen ini lebih atau kurang diharapkan daripada dokumen itu, menjadi mustahil. Jumlah log-probabilitas tidak pernah gagal dengan cara seperti itu. Nilainya tetap presisi, biasa, dan dapat dibandingkan, tidak peduli sepanjang apa bagian teks tersebut, yang memang merupakan alasan sebenarnya mengapa keterdeteksian diukur dalam ruang log, bukan dalam ruang probabilitas mentah.

Dari Skor Per Token ke Skor Deteksi

Menjumlahkan log-probabilitas di seluruh bagian teks menghasilkan total log-likelihood dokumen di bawah model acuan. Membaginya dengan jumlah token menghilangkan pengaruh panjang dan menyisakan rata-rata log-likelihood per token, sebuah angka yang akhirnya dapat dibandingkan antara esai lima ratus kata dan bab tesis lima ribu kata. Jika rata-rata itu dinegasikan lalu dieksponensialkan, hasilnya adalah skor perplexity, sebuah metrik yang dibahas secara lengkap dalam ulasan terpisah tentang apa yang sebenarnya diukur oleh perplexity.

Angka per kalimat yang sama, yang dilacak untuk variasi di seluruh dokumen alih-alih diratakan menjadi satu rata-rata, adalah bahan pembentuk burstiness, sebuah sinyal yang terkait tetapi terpisah dari perplexity. Keduanya berawal dari angka per token yang identik seperti dijelaskan di atas. Keduanya hanya melakukan aritmetika yang berbeda di atas angka tersebut.

Rata-rata sederhana bukan satu-satunya cara untuk menggunakan bahan mentah ini, dan penelitian telah bergerak jauh melampauinya. DetectGPT, yang diterbitkan di ICML 2023 oleh Mitchell, Lee, Khazatsky, Manning dan Finn, bekerja dari sifat yang berbeda dari fungsi probabilitas yang sama: teks yang disampel dari model bahasa cenderung berada di wilayah tempat parafrase kecil membuat log-probability turun, bukan naik, sebuah pola yang oleh makalah tersebut disebut kelengkungan negatif.

Alih-alih melatih sebuah classifier atau menggunakan watermark, metode ini mengganggu sebuah passage, menghasilkan variasi kecil dalam cara passage itu diparafrasekan, lalu memberi skor ulang pada setiap variasi dengan model yang sama. Paper ini membandingkannya dengan baseline zero-shot terbaik dan menemukan bahwa, pada teks yang dihasilkan oleh model 20-billion-parameter, metode ini mencapai 0.95 AUROC, sedangkan baseline zero-shot terbaik mencapai 0.81 AUROC.

Distribusi yang Sama, Digunakan untuk Watermark alih-alih Mendeteksi

Sejauh ini, semuanya memperlakukan distribusi probabilitas sebagai sesuatu yang dibaca setelah peristiwa. Distribusi itu juga dapat disentuh pada saat generasi, yang membalikkan masalah ini sepenuhnya. Sebuah metode 2023 dari Kirchenbauer, Geiping, Wen, Katz, Miers dan Goldstein memilih daftar pendek token yang diizinkan secara acak sebelum setiap kata dihasilkan, berdasarkan hash dari apa yang mendahuluinya, lalu secara halus mengarahkan sampling ke daftar pendek itu. Bias tersebut tidak terlihat oleh pembaca dan kemudian dapat dipulihkan dengan uji statistik pada rentang teks yang pendek, tanpa memerlukan akses ke model asli.

SynthID dari Google DeepMind menerapkan versi gagasan ini dalam produksi, dengan menyesuaikan skor probabilitas token berikutnya pada waktu generasi dan saat ini aktif di aplikasi Gemini dan pengalaman web. OpenAI membangun sistem yang sebanding dan belum merilisnya. Pelaporan mengaitkan keputusan itu sebagian dengan sebuah survei yang menunjukkan bahwa hampir 30 percent pengguna ChatGPT mengatakan watermarking akan membuat mereka lebih jarang menggunakan produk tersebut, bersama kekhawatiran tentang seberapa baik sebuah watermark akan bertahan terhadap parafrase.

Laporan detector menampilkan sebuah kata yang diarsir atau satu persentase dan berhenti di situ, tanpa pernah menunjukkan distribusi asalnya. free perplexity checker milik TextPulse menjalankan versi yang disederhanakan dari penilaian per-token yang sama terhadap draf Anda sendiri, yang merupakan cara yang lebih langsung untuk melihat posisi sebuah passage daripada membaca putusan secara tidak langsung.

Dua halaman yang berdekatan membahas hal ini. Apakah detektor masih bergantung pada burstiness telah berubah sejak 2023, dan bagaimana GPTZero mengubah probabilitas yang sama ini menjadi skor dijelaskan pada halamannya sendiri.

Hal ini berada bersama alat gratis lain dari TextPulse, sehingga draf yang sama dapat diperiksa untuk ritme dan struktur, serta keterprediktifan pada tingkat kata, tanpa membuka selusin tab terpisah untuk melakukannya.