Apa Itu Perplexity dalam Deteksi AI?

Cari perplexity dan deteksi AI bersama-sama, dan beberapa hasil teratas ternyata membahas produk yang tidak terkait: sebuah mesin pencari bertenaga AI yang kebetulan juga bernama Perplexity. Metrik yang sebenarnya dilaporkan oleh detektor tidak memiliki kesamaan apa pun dengan perusahaan itu selain kata tersebut. Metrik ini berasal dari penelitian pengenalan ujaran yang usianya puluhan tahun lebih tua daripada GPTZero atau mesin pencari itu, dan metrik ini mengukur sesuatu yang lebih sempit daripada keduanya: seberapa terkejut sebuah model bahasa terhadap kata-kata yang sudah ada di halaman.

Lalu, apa itu perplexity dalam deteksi AI? Perplexity adalah skor yang menggambarkan seberapa baik sebuah model bahasa memprediksi kata-kata persis dalam suatu bagian teks, yang dihasilkan dengan merata-ratakan probabilitas model itu sendiri dan mengubah hasilnya menjadi satu angka. Skor yang rendah berarti model terus menebak dengan benar. Skor yang tinggi berarti model terus dibuat terkejut.

Gagasan ini lebih tua daripada detektor AI mana pun di pasar, dan dengan sendirinya tidak mengatakan apa pun tentang siapa yang menulis sebuah dokumen. Begitu aritmetika di balik angka itu terlihat, skor pada sebuah laporan berhenti tampak seperti putusan dan mulai tampak seperti apa adanya: deskripsi tentang pilihan kata.

Apa itu perplexity dalam deteksi AI?

Perplexity adalah ukuran yang dipinjam dari pemodelan bahasa. Ukuran ini menilai seberapa baik sebuah model memprediksi kata-kata spesifik yang muncul dalam suatu bagian teks dan melaporkan nilai itu sebagai satu angka. Detektor menerapkan ukuran yang sama pada dokumen yang dikirimkan, angka rendah, yang berarti tebakan model sangat dekat dengan kata-kata yang sebenarnya, dibaca sebagai tanda kepengarangan mesin, dan angka tinggi dibaca sebagai tanda kepengarangan manusia. Tidak ada bagian dari perhitungan ini yang membaca argumen dokumen, sitasinya, atau pokok bahasannya. Perhitungan ini hanya membaca seberapa dapat diperkirakan setiap kata, satu per satu.

Detektor tidak menciptakan ukuran ini. Mereka meminjam alat yang telah digunakan selama puluhan tahun oleh sistem pengenalan ujaran dan penerjemahan mesin untuk menilai seberapa baik sebuah model memprediksi bahasa biasa, lalu mengalihgunakannya sebagai proksi untuk kepengarangan, suatu tugas yang sejak awal memang tidak dirancang untuknya.

Semua ini tidak ada hubungannya dengan mesin pencari yang tidak terkait yang disebut sebelumnya. Perplexity yang dilaporkan oleh detektor bukanlah perusahaan dan tidak pernah ditulis dengan huruf kapital, ini adalah sifat statistik biasa dari suatu rangkaian kata, yang dihitung ulang dari teks apa pun yang diberikan kepadanya.

Bagaimana perplexity sebenarnya dihitung

Perhitungannya berakar lebih jauh daripada produk AI mana pun. Frederick Jelinek, Robert Mercer, Lalit Bahl dan James Baker memperkenalkan perplexity pada 1977 untuk mengukur seberapa sulit suatu tugas pengenalan ujaran bagi sebuah model statistik, puluhan tahun sebelum siapa pun menerapkan istilah itu pada esai atau laporan laboratorium. Definisinya tidak berubah sejak itu.

Pada setiap posisi dalam dokumen, model menghasilkan probabilitas untuk kata yang benar-benar muncul berikutnya, sesuatu seperti 0.72 untuk transisi yang umum atau 0.03 untuk yang tidak biasa. Perplexity merata-ratakan logaritma dari probabilitas-probabilitas itu di seluruh bagian teks, lalu membalik rata-rata tersebut dengan sebuah eksponen.

Eksponen dalam there’s melakukan lebih dari yang tampak. Merata-ratakan probabilitas log adalah tepat apa yang kita lakukan ketika menghitung cross-entropy, yaitu cara dalam teori informasi untuk menyatakan berapa banyak bit yang Anda perlukan untuk mengodekan suatu urutan berdasarkan prediksi yang dibuat oleh sebuah model. Namun perplexity menerjemahkan hitungan bit kembali menjadi sesuatu yang lebih mudah kita pahami: jumlah pilihan yang efektif, bukan hitungan bit yang abstrak.

Apa yang bertahan dari aritmetika itu memiliki makna yang jelas, hampir fisik. Sebuah model yang sepenuhnya yakin setiap kali menghasilkan perplexity 1, batas bawah skala. Sebuah model yang memperlakukan setiap posisi sebagai undian seimbang antara delapan puluh kata yang sama-sama mungkin menghasilkan perplexity 80.

Kebanyakan dokumen nyata berada di suatu tempat di antara dua ekstrem itu, dan tepatnya di mana bergantung pada penulis, subjek, dan model mana yang melakukan pembacaan.

Mengapa tulisan manusia cenderung memperoleh skor yang berbeda

Ekspektasi sebuah model sepenuhnya dibangun dari apa yang datang sebelumnya, satu kata demi satu kata. Setelah frasa 'the treatment group showed a statistically', sebagian besar kelanjutan yang tersusun baik adalah 'significant', dan sebuah model yang dilatih pada volume besar tulisan ilmiah memberikan probabilitas tinggi pada kata itu tanpa ragu. Seorang penulis manusia yang mencapai frasa yang sama mungkin juga memilih 'significant', karena frasa itu sendiri merupakan ciri khas genre tersebut. Kesenjangan muncul di tempat lain, pada nomina yang dipilih dua kalimat kemudian, sisipan yang ditambahkan dalam tanda kurung, angka yang dilaporkan dengan tempat desimal yang ganjil alih-alih yang bulat.

Tidak ada yang bersifat tipu daya dalam hal itu. Ketika seseorang yang menulis tentang data nyata berusaha meraih angka yang tepat, penanda yang persis, kata yang sedikit lebih sempit, mereka sedang meraih hal-hal yang benar bagi pekerjaan itu, bukan yang benar bagi genre tersebut. Dan setiap pilihan itu membuat model sedikit lebih terkejut. Kejutan adalah apa yang dirancang untuk dijumlahkan oleh skor itu.

Inferensi melakukan lebih banyak pekerjaan daripada yang dapat didukung oleh pengukuran. Perplexity mengukur keterdugaan secara langsung. Ia menyimpulkan kepengarangan hanya dengan mengasumsikan bahwa tulisan yang dapat diprediksi jarang pada manusia dan umum pada model, suatu asumsi yang biasanya masuk akal dan kadang keliru dengan cara tertentu yang dapat diidentifikasi, karena keterdugaan adalah sifat yang dapat dimiliki teks karena alasan yang sama sekali tidak berkaitan dengan siapa yang mengetiknya.

Mengapa bagian yang sama dapat memperoleh skor yang berbeda

Skor itu juga kurang portabel daripada yang tampak, karena ia tidak pernah diukur dalam ruang hampa. Perplexity selalu dihitung terhadap pelatihan satu model acuan yang spesifik, dan ketergantungan itu menimbulkan masalah yang tidak dapat ditunjukkan oleh satu definisi saja.

Faktor	Apa yang berubah	Mengapa hal itu terjadi
Model mana yang melakukan pembacaan	Paragraf yang sama dapat memperoleh skor rendah pada satu model dan tinggi pada model lain	Perplexity hanya pernah diukur terhadap data pelatihan satu model, dan model yang berbeda dilatih pada teks yang berbeda
Apakah bagian tersebut merupakan teks yang banyak direproduksi	Dokumen sejarah yang terkenal atau definisi buku teks dapat memperoleh skor perplexity rendah bahkan ketika seseorang mengetik setiap katanya ke dalam detektor	Pangram Labs menunjuk Declaration of Independence sebagai contoh, dokumen itu dikutip begitu sering dalam data pelatihan sehingga sebuah model menganggap setiap kalimatnya tidak mengejutkan
Apakah detektor dapat melihat probabilitas token sama sekali	Model komersial tertutup seperti ChatGPT, Gemini dan Claude tidak mengekspos probabilitas per kata yang dibutuhkan perplexity	Detektor memperkirakan skor dengan model pengganti yang terbuka, alih-alih menghitung perplexity terhadap model yang benar-benar menghasilkan teks tersebut

Semua ini tidak membuat angka tersebut tidak bermakna, hanya membuatnya lebih berisiko dipercaya sebagai putusan yang berdiri sendiri. Dokumentasi GPTZero sendiri pernah menerbitkan aturan praktis kasar, bahwa perplexity di atas 85 dibaca sebagai lebih mungkin ditulis manusia, tetapi ambang dari satu vendor pada satu model tidak dapat dipindahkan ke alat lain yang diukur terhadap model yang berbeda. Sebuah detektor yang melaporkan satu skor sedang memadatkan semua faktor di atas menjadi satu angka tanpa menyebutkan mana di antaranya yang berperan.

Apa yang sebenarnya diberitahukan oleh skor perplexity kepada Anda

Detektor komersial menggabungkan perplexity dengan pola pada tingkat kalimat, pelatihan pengklasifikasi, dan beberapa sinyal lain sebelum mereka menampilkan satu angka pada laporan. Gambaran yang lebih lengkap tentang bagaimana detektor AI sebenarnya bekerja dibahas secara terpisah, dan itu menjelaskan dari mana bagian lain dari angka tersebut berasal.

Irama dari satu kalimat ke kalimat berikutnya adalah sinyal yang terkait tetapi terpisah, dibahas menurut kerangkanya sendiri oleh burstiness checker, dan itu melihat seberapa besar variasi yang ada di seluruh suatu bagian teks, bukan pada satu kata tertentu.

Tidak satu pun dari angka ini dapat membuktikan siapa yang menulis suatu dokumen, termasuk Human Score yang diperkirakan TextPulse hitung dari draf yang dikirimkan, yang mendeskripsikan teks tersebut alih-alih memberikan putusan atasnya. Versi yang disederhanakan dari gagasan yang sama, keragaman kosakata alih-alih probabilitas model penuh, menggerakkan free perplexity checker di situs ini, yang layak dicoba terhadap sebuah paragraf yang asal-usulnya sudah diketahui sebelum mempercayai apa yang dikatakan sebuah laporan tentang milik orang lain.

Perplexity checker berada bersama free tools TextPulse yang lain, sehingga pemeriksaan penuh atas draf, kosakata, irama, dan semuanya yang lain, tidak memerlukan selusin tab terpisah yang terbuka sekaligus.

Perplexity adalah salah satu dari dua statistik yang menjadi sandaran sistem ini. Yang lainnya adalah burstiness, variasi dalam panjang dan struktur kalimat di seluruh suatu bagian teks, dan di bawah keduanya terdapat aritmetika probabilitas token yang pada awalnya menghasilkan skor tersebut.

Angka pada sebuah laporan adalah akhir dari rangkaian panjang aritmetika, bukan awal dari perdebatan tentang siapa yang menulis sesuatu. Pertanyaan yang lebih menarik, setelah aritmetika tidak lagi terasa misterius, adalah apa yang secara spesifik membuat sebuah dokumen mengejutkan atau dapat diprediksi pada awalnya, dan itu adalah pertanyaan tentang tulisan itu sendiri.