Apakah Perplexity dalam Pengesanan AI?

Cari perplexity dan pengesanan AI bersama-sama, dan beberapa hasil teratas ternyata berkaitan dengan produk yang tidak berkaitan: enjin carian berkuasa AI yang kebetulan juga dinamakan Perplexity. Metrik yang sebenarnya dilaporkan oleh pengesan tidak mempunyai kaitan dengan syarikat itu selain perkataan tersebut. Ia berasal daripada penyelidikan pengecaman pertuturan yang berdekad lebih lama daripada GPTZero atau enjin carian itu, dan ia mengukur sesuatu yang lebih sempit daripada kedua-duanya: sejauh mana model bahasa terkejut oleh perkataan yang sudah ada pada halaman.

Jadi, apakah itu perplexity dalam pengesanan AI? Perplexity ialah skor yang menerangkan sejauh mana model bahasa meramalkan perkataan tepat dalam sesuatu petikan, dihasilkan dengan merata-ratakan kebarangkalian model itu sendiri dan menukarkan hasilnya kepada satu nombor. Skor rendah bermaksud model terus meneka dengan betul. Skor tinggi bermaksud model terus terkejut.

Idea ini lebih tua daripada mana-mana pengesan AI di pasaran, dan secara sendirinya ia tidak mengatakan apa-apa tentang siapa yang menulis sesuatu dokumen. Apabila aritmetik di sebalik nombor itu kelihatan, skor pada laporan berhenti kelihatan seperti keputusan dan mula kelihatan seperti apa sebenarnya, iaitu, huraian tentang pilihan kata.

Apakah itu perplexity dalam pengesanan AI?

Perplexity ialah ukuran yang dipinjam daripada pemodelan bahasa. Ia menilai sejauh mana model meramalkan kata-kata khusus yang muncul dalam sesuatu petikan dan melaporkan skor itu sebagai satu nombor. Pengesan menggunakan ukuran yang sama pada dokumen yang dihantar, nombor yang rendah, yang bermaksud tekaan model sepadan rapat dengan kata-kata sebenar, dibaca sebagai tanda kepengarangan mesin, dan nombor yang tinggi dibaca sebagai tanda kepengarangan manusia. Tiada apa-apa dalam pengiraan itu yang membaca hujah dokumen, sitasinya, atau bidang subjeknya. Ia hanya membaca sejauh mana setiap kata dijangka, satu demi satu.

Pengesan tidak mencipta ukuran ini. Mereka meminjam alat yang telah digunakan oleh sistem pengecaman pertuturan dan terjemahan mesin selama beberapa dekad untuk menilai sejauh mana model meramalkan bahasa biasa, lalu menggunakannya semula sebagai proksi bagi kepengarangan, iaitu tugas yang pada asalnya tidak pernah dibina untuknya.

Tiada satu pun daripada ini ada kaitan dengan enjin carian yang tidak berkaitan yang disebut tadi. Perplexity yang dilaporkan oleh pengesan bukanlah syarikat dan tidak pernah ditulis dengan huruf besar, ia ialah sifat statistik biasa bagi suatu urutan kata, yang dikira semula daripada apa sahaja teks yang diberikannya.

Bagaimana perplexity sebenarnya dikira

Pengiraan ini menjejak lebih jauh ke belakang daripada mana-mana produk AI. Frederick Jelinek, Robert Mercer, Lalit Bahl dan James Baker memperkenalkan perplexity pada 1977 untuk mengukur betapa sukarnya sesuatu tugas pengecaman pertuturan bagi model statistik, beberapa dekad sebelum sesiapa pun menggunakan istilah itu pada esei atau laporan makmal. Takrifnya tidak berubah sejak itu.

Pada setiap kedudukan dalam dokumen, model mengeluarkan kebarangkalian bagi kata yang benar-benar muncul seterusnya, sesuatu seperti 0.72 bagi peralihan yang lazim atau 0.03 bagi yang luar biasa. Perplexity mengambil purata log kebarangkalian itu merentasi keseluruhan petikan, kemudian membalikkan purata tersebut dengan suatu eksponen.

Eksponen dalam there’s melakukan lebih daripada yang kelihatan. Merata-ratakan kebarangkalian log ialah tepat apa yang kita lakukan apabila kita mengira entropi silang, iaitu cara teori maklumat untuk menyatakan berapa banyak bit yang anda perlukan untuk mengekod satu jujukan berdasarkan ramalan yang dibuat oleh sesuatu model. Tetapi perplexity menterjemahkan kiraan bit itu kembali kepada sesuatu yang lebih mudah kita fahami, iaitu bilangan pilihan yang berkesan, bukannya kiraan bit yang abstrak.

Apabila aritmetik itu diambil kira, hasilnya mempunyai tafsiran yang jelas, hampir fizikal. Model yang benar-benar pasti setiap kali menghasilkan perplexity 1, iaitu had bawah skala. Model yang menganggap setiap kedudukan sebagai undian seimbang antara lapan puluh perkataan yang sama kebarangkaliannya menghasilkan perplexity 80.

Kebanyakan dokumen sebenar berada di suatu tempat antara dua ekstrem itu, dan kedudukan tepatnya bergantung pada penulis, subjek, dan model mana yang melakukan pembacaan.

Mengapa penulisan manusia cenderung mendapat skor yang berbeza

Jangkaan sesuatu model dibina sepenuhnya daripada apa yang datang sebelumnya, satu perkataan pada satu masa. Selepas frasa 'the treatment group showed a statistically', majoriti besar sambungan yang gramatis ialah 'significant', dan model yang dilatih pada jumlah besar penulisan saintifik memberikan perkataan itu kebarangkalian tinggi tanpa ragu-ragu. Seorang penulis manusia yang sampai pada frasa yang sama mungkin juga memilih 'significant', kerana frasa itu sendiri merupakan ciri genre tersebut. Jurangnya muncul di tempat lain, dalam kata nama yang dipilih dua ayat kemudian, sisipan yang ditambah dalam kurungan, nombor yang dilaporkan hingga tempat perpuluhan yang ganjil dan bukannya nombor bulat.

Tiada satu pun daripada itu helah. Apabila seseorang yang menulis tentang data sebenar cuba mencari nombor yang tepat, penentu yang tepat, perkataan yang sedikit lebih khusus, mereka sedang mencari perkara yang benar tentang kerja itu, bukannya benar tentang genre itu. Dan setiap satu daripada pilihan itu menambah sedikit lagi kejutan kepada model. Kejutan ialah apa yang skor itu dibina untuk dijumlahkan.

Inferens sedang melakukan lebih banyak kerja daripada yang boleh disokong oleh pengukuran. Perplexity mengukur kebolehramalan secara langsung. Ia menyimpulkan kepengarangan hanya dengan mengandaikan bahawa penulisan yang boleh diramal jarang berlaku dalam kalangan manusia dan lazim dalam kalangan model, suatu andaian yang biasanya munasabah dan kadangkala salah dengan cara yang khusus dan boleh dikenal pasti, kerana kebolehramalan ialah sifat yang boleh dimiliki oleh teks atas sebab yang langsung tidak berkaitan dengan siapa yang menaipnya.

Mengapa petikan yang sama boleh mendapat skor yang berbeza

Skor itu juga kurang mudah dipindahkan daripada yang kelihatan, kerana ia tidak pernah diukur dalam vakum. Perplexity sentiasa dikira terhadap latihan satu model rujukan yang khusus, dan kebergantungan itu mewujudkan masalah yang tidak dapat ditunjukkan oleh mana-mana definisi tunggal secara sendiri.

Faktor	Apa yang berubah	Mengapa ia berlaku
Model mana yang melakukan pembacaan	Perenggan yang sama boleh mendapat skor rendah pada satu model dan tinggi pada model yang lain	Perplexity hanya pernah diukur terhadap data latihan satu model, dan model yang berbeza dilatih pada teks yang berbeza
Sama ada petikan itu merupakan teks yang banyak direproduksi	Dokumen sejarah yang terkenal atau definisi buku teks boleh mendapat skor kebolehramalan rendah walaupun seseorang menaip setiap perkataan daripadanya ke dalam pengesan	Pangram Labs merujuk Declaration of Independence sebagai contoh, ia begitu kerap dipetik dalam data latihan sehingga model mendapati setiap ayatnya tidak mengejutkan
Sama ada pengesan boleh melihat kebarangkalian token sama sekali	Model komersial tertutup seperti ChatGPT, Gemini dan Claude tidak mendedahkan kebarangkalian per perkataan yang diperlukan oleh perplexity	Pengesan menganggarkan skor dengan model pengganti yang terbuka, bukannya mengira perplexity terhadap model yang sebenarnya menghasilkan teks itu

Tiada satu pun daripada ini menjadikan nombor itu tidak bermakna, hanya lebih berisiko untuk dipercayai sebagai keputusan yang berdiri sendiri. Dokumentasi GPTZero sendiri pernah menerbitkan satu kaedah anggaran kasar, bahawa perplexity melebihi 85 dibaca sebagai lebih berkemungkinan manusia, tetapi ambang satu vendor pada satu model tidak boleh dipindahkan kepada alat lain yang diukur terhadap model yang berbeza. Pengesan yang melaporkan satu skor tunggal sedang memampatkan semua faktor di atas menjadi satu angka tanpa menyatakan yang mana satu yang sebenarnya menyumbang.

Apa yang sebenarnya diberitahu oleh skor perplexity kepada anda

Pengesan komersial menggabungkan perplexity dengan pola pada tahap ayat, latihan pengelas dan beberapa isyarat lain sebelum mereka mencetak satu nombor pada laporan. Gambaran yang lebih lengkap tentang cara pengesan AI sebenarnya berfungsi dihuraikan secara berasingan, dan ia menerangkan dari mana datangnya baki nombor itu.

Irama antara ayat ialah isyarat yang berkaitan tetapi berasingan, yang dibincangkan mengikut istilahnya sendiri oleh burstiness checker, dan ia melihat sejauh mana variasi yang wujud merentasi sesuatu petikan, bukannya pada mana-mana satu perkataan.

Tiada satu pun daripada nombor ini boleh membuktikan siapa yang menulis sesuatu dokumen, termasuk Human Score anggaran yang dikira oleh TextPulse daripada draf yang dihantar, yang menerangkan teks itu dan bukannya memberikan keputusan mengenainya. Versi ringkas bagi idea yang sama, kepelbagaian kosa kata dan bukannya kebarangkalian model penuh, menggerakkan free perplexity checker di laman ini, dan ia wajar dicuba terhadap perenggan yang asal usulnya sudah diketahui sebelum mempercayai apa yang laporan katakan tentang milik orang lain.

Perplexity checker terletak bersama-sama dengan alat percuma TextPulse yang lain, jadi semakan penuh terhadap draf, kosa kata, irama dan segala yang lain, tidak memerlukan sedozen tab berasingan dibuka serentak.

Perplexity ialah salah satu daripada dua statistik yang digunakan oleh sistem ini. Yang satu lagi ialah burstiness, variasi dalam panjang dan struktur ayat merentasi sesuatu petikan, dan di bawah kedua-duanya terletak aritmetik kebarangkalian token yang menghasilkan skor itu pada asalnya.

Satu nombor pada laporan ialah penghujung kepada rantaian aritmetik yang panjang, bukan permulaan kepada hujah tentang siapa yang menulis sesuatu. Soalan yang lebih menarik, setelah aritmetik itu tidak lagi misteri, ialah apa secara khusus yang menjadikan sesuatu dokumen mengejutkan atau dapat diramalkan pada asalnya, dan itu ialah soalan tentang penulisan itu sendiri.