Apa Itu Perplexity dalam Deteksi AI?

Cari perplexity dan AI detection secara bersamaan, dan beberapa hasil teratas ternyata membahas produk yang tidak terkait: sebuah mesin pencari bertenaga AI yang kebetulan juga bernama Perplexity. Metrik yang sebenarnya dilaporkan oleh detector tidak memiliki kesamaan dengan perusahaan itu selain kata tersebut. Metrik ini berasal dari penelitian pengenalan ujaran yang puluhan tahun lebih tua daripada GPTZero atau mesin pencari itu, dan metrik ini mengukur sesuatu yang lebih sempit daripada keduanya: seberapa terkejut sebuah model bahasa oleh kata-kata yang sudah ada di halaman.

Lalu, apa itu perplexity dalam AI detection? Perplexity adalah skor yang menggambarkan seberapa baik sebuah model bahasa memprediksi kata-kata persis dalam suatu bagian teks, yang dihasilkan dengan merata-ratakan probabilitas milik model itu sendiri dan mengubah hasilnya menjadi satu angka. Skor yang rendah berarti model terus menebak dengan benar. Skor yang tinggi berarti model terus dibuat terkejut.

Gagasan ini lebih tua daripada detector AI mana pun di pasaran, dan secara mandiri gagasan ini tidak mengatakan apa pun tentang siapa yang menulis suatu dokumen. Setelah aritmetika di balik angka itu terlihat, skor pada sebuah laporan tidak lagi tampak seperti putusan dan mulai tampak seperti apa adanya: deskripsi tentang pilihan kata.

Apa itu perplexity dalam AI detection?

Perplexity adalah pengukuran yang dipinjam dari pemodelan bahasa. Pengukuran ini menilai seberapa baik sebuah model memprediksi kata-kata spesifik yang muncul dalam suatu bagian teks dan melaporkan nilai itu sebagai satu angka. Detector menerapkan pengukuran yang sama pada dokumen yang dikirimkan: angka yang rendah, yang berarti tebakan model sangat sesuai dengan kata-kata yang sebenarnya, dibaca sebagai tanda kepengarangan mesin, dan angka yang tinggi dibaca sebagai tanda kepengarangan manusia. Tidak ada bagian dari perhitungan ini yang membaca argumen dokumen, sitasinya, atau pokok bahasannya. Perhitungan ini hanya membaca seberapa dapat diperkirakan setiap kata, satu per satu.

Detector tidak menciptakan pengukuran ini. Mereka meminjam alat yang selama puluhan tahun telah digunakan oleh sistem pengenalan ujaran dan penerjemahan mesin untuk menilai seberapa baik sebuah model memprediksi bahasa biasa, lalu mengalihgunakannya sebagai proksi kepengarangan, suatu tugas yang sejak awal memang tidak dirancang untuk itu.

Tidak ada satu pun dari ini yang berkaitan dengan mesin pencari yang tidak terkait yang disebutkan sebelumnya. Perplexity yang dilaporkan oleh sebuah detektor bukanlah perusahaan dan tidak pernah ditulis dengan huruf kapital: itu adalah sifat statistik biasa dari suatu rangkaian kata, yang dihitung ulang dari teks apa pun yang diberikan kepadanya.

Bagaimana perplexity sebenarnya dihitung

Perhitungannya berawal lebih jauh daripada produk AI mana pun. Frederick Jelinek, Robert Mercer, Lalit Bahl, dan James Baker memperkenalkan perplexity pada 1977 untuk mengukur seberapa sulit suatu tugas pengenalan ujaran bagi sebuah model statistik, puluhan tahun sebelum siapa pun menerapkan istilah itu pada esai atau laporan laboratorium. Definisinya tidak berubah sejak itu.

Pada setiap posisi dalam sebuah dokumen, model menghasilkan probabilitas untuk kata yang benar-benar muncul berikutnya, sesuatu seperti 0.72 untuk transisi yang umum atau 0.03 untuk yang tidak lazim. Perplexity merata-ratakan logaritma dari probabilitas-probabilitas itu di seluruh bagian teks, lalu membalik rata-rata tersebut dengan sebuah eksponen.

Eksponen dalam frasa itu melakukan lebih dari yang tampak. Merata-ratakan probabilitas logaritmik adalah tepat apa yang kita lakukan ketika menghitung cross-entropy, yaitu cara dalam teori informasi untuk menyatakan berapa banyak bit yang Anda perlukan untuk mengodekan suatu rangkaian berdasarkan prediksi yang dibuat oleh sebuah model. Tetapi perplexity menerjemahkan jumlah bit itu kembali menjadi sesuatu yang lebih mudah kita pahami, yaitu jumlah pilihan yang efektif, bukan hitungan bit yang abstrak.

Apa yang tersisa dari aritmetika itu memiliki makna yang jelas, hampir fisik. Sebuah model yang sepenuhnya yakin setiap kali menghasilkan perplexity 1, batas bawah skala. Sebuah model yang memperlakukan setiap posisi sebagai undian seimbang antara delapan puluh kata yang sama-sama mungkin menghasilkan perplexity 80.

Kebanyakan dokumen nyata berada di suatu tempat di antara dua ekstrem itu, dan letaknya tepatnya bergantung pada penulis, topik, dan model mana yang melakukan pembacaan.

Mengapa tulisan manusia cenderung memperoleh skor yang berbeda

Sebuah model membangun ekspektasinya sepenuhnya dari apa yang telah muncul sebelumnya, satu kata pada satu waktu. Setelah frasa 'the treatment group showed a statistically', sebagian besar besar kelanjutan yang terbentuk dengan baik adalah 'significant', dan sebuah model yang dilatih pada volume besar tulisan ilmiah memberikan kata itu probabilitas tinggi tanpa ragu. Seorang penulis manusia yang mencapai frasa yang sama mungkin juga akan memilih 'significant', karena frasa itu sendiri merupakan ciri khas genre tersebut. Kesenjangan muncul di tempat lain, pada nomina yang dipilih dua kalimat kemudian, sisipan yang ditambahkan dalam tanda kurung, angka yang dilaporkan hingga beberapa tempat desimal yang ganjil alih-alih angka bulat.

Tidak ada yang bersifat tipu daya dalam hal itu. Ketika seseorang yang menulis tentang data nyata berusaha meraih angka yang tepat, penanda kualifikasi yang presisi, kata yang sedikit lebih sempit, mereka sedang meraih hal-hal yang benar bagi karya itu, bukan yang benar bagi genre tersebut. Dan setiap pilihan itu membuat model sedikit lebih terkejut. Kejutan adalah apa yang dijumlahkan oleh skor itu.

Inferensi tersebut melakukan lebih banyak pekerjaan daripada yang dapat didukung oleh pengukuran. Perplexity mengukur keterdugaan secara langsung. Ia menyimpulkan kepengarangan hanya dengan mengasumsikan bahwa tulisan yang dapat diprediksi jarang pada manusia dan umum pada model, sebuah asumsi yang biasanya masuk akal dan kadang-kadang keliru dengan cara yang spesifik dan dapat diidentifikasi, karena keterdugaan adalah sifat yang dapat dimiliki teks karena alasan yang sama sekali tidak berkaitan dengan siapa yang mengetiknya.

Mengapa bagian yang sama dapat memperoleh skor yang berbeda

Skor itu juga kurang portabel daripada yang tampak, karena ia tidak pernah diukur dalam ruang hampa. Perplexity selalu dihitung terhadap pelatihan satu model acuan tertentu, dan ketergantungan itu menimbulkan masalah yang tidak dapat ditunjukkan oleh satu definisi saja.

Faktor	Apa yang berubah	Mengapa hal itu terjadi
Model mana yang melakukan pembacaan	Paragraf yang sama dapat memperoleh skor rendah pada satu model dan tinggi pada model lain	Perplexity hanya pernah diukur terhadap data pelatihan satu model, dan model yang berbeda dilatih pada teks yang berbeda
Apakah bagian tersebut merupakan teks yang banyak direproduksi	Dokumen sejarah yang terkenal atau definisi buku teks dapat memperoleh skor perplexity rendah bahkan ketika seseorang mengetik setiap katanya ke dalam detektor	Pangram Labs menunjuk Declaration of Independence sebagai contoh: dokumen itu begitu sering dikutip dalam data pelatihan sehingga sebuah model menganggap setiap kalimat di dalamnya tidak mengejutkan
Apakah detektor dapat melihat probabilitas token sama sekali	Model komersial tertutup seperti ChatGPT, Gemini dan Claude tidak menampilkan probabilitas per kata yang dibutuhkan perplexity	Detektor memperkirakan skor dengan model terbuka pengganti, alih-alih menghitung perplexity terhadap model yang benar-benar menghasilkan teks tersebut

Semua ini tidak membuat angka tersebut tidak bermakna, hanya membuatnya lebih berisiko dipercaya sebagai putusan yang berdiri sendiri. Dokumentasi resmi GPTZero sendiri pernah menerbitkan aturan praktis kasar, yaitu perplexity di atas 85 dibaca sebagai lebih mungkin ditulis manusia, tetapi ambang batas satu vendor pada satu model tidak dapat diterapkan ke alat lain yang diukur terhadap model yang berbeda. Detektor yang melaporkan satu skor sedang memadatkan semua faktor di atas menjadi satu angka tanpa menyebutkan faktor mana yang berperan.

Apa yang sebenarnya diberitahukan oleh skor perplexity

Detektor komersial menggabungkan perplexity dengan pola pada tingkat kalimat, pelatihan pengklasifikasi, dan beberapa sinyal lain sebelum mereka menampilkan satu angka pada laporan. Gambaran yang lebih lengkap tentang bagaimana detektor AI sebenarnya bekerja dibahas secara terpisah, dan itu menjelaskan dari mana bagian lain dari angka tersebut berasal.

Irama antarkalimat adalah sinyal yang berkaitan tetapi terpisah, dibahas menurut kerangkanya sendiri oleh burstiness checker, dan ini melihat seberapa besar variasi di seluruh suatu bagian, bukan pada satu kata tertentu.

Tidak satu pun dari angka-angka ini dapat membuktikan siapa yang menulis suatu dokumen, termasuk Human Score yang diperkirakan TextPulse dari draf yang dikirimkan, yang mendeskripsikan teks tersebut alih-alih memberikan putusan tentangnya. Versi yang disederhanakan dari gagasan yang sama, yaitu keragaman kosakata alih-alih probabilitas model penuh, menjadi dasar bagi free perplexity checker di situs ini, yang layak dicoba terhadap sebuah paragraf yang asal-usulnya sudah diketahui sebelum mempercayai apa yang dikatakan sebuah laporan tentang milik orang lain.

Perplexity checker berada bersama free tools TextPulse yang lain, sehingga pemeriksaan penuh atas draf, kosakata, irama, dan segala hal lainnya, tidak memerlukan selusin tab terpisah yang terbuka sekaligus.

Perplexity adalah salah satu dari dua statistik yang menjadi sandaran sistem ini. Yang lainnya adalah burstiness, variasi dalam panjang dan struktur kalimat di seluruh suatu bagian, dan di bawah keduanya terdapat aritmetika probabilitas token yang pada awalnya menghasilkan skor tersebut.

Sebuah angka pada laporan adalah akhir dari rangkaian panjang aritmetika, bukan awal dari perdebatan tentang siapa yang menulis sesuatu. Pertanyaan yang lebih menarik, setelah aritmetika itu tidak lagi misterius, adalah apa yang secara spesifik membuat suatu dokumen mengejutkan atau dapat diprediksi pada awalnya, dan itu adalah pertanyaan tentang tulisan itu sendiri.