Bagaimana Pengesan AI Berfungsi? Perplexity, Burstiness dan Kebarangkalian Token

Universiti anda telah mula menjalankan penyerahan melalui pengesan AI, dan satu laporan telah kembali dengan nombor yang tidak anda jangkakan. Sebelum anda cuba mempertikaikannya, adalah berguna untuk mengetahui maksud nombor itu. Bagaimanakah pengesan AI berfungsi? Ia tidak membaca tulisan mesin seperti manusia membaca. Ia mengukur sejauh mana teks anda dapat diramalkan oleh model bahasa, kemudian menukar kebolehramalan itu menjadi skor. Tiada apa dalam proses itu yang menilai maksud anda, hujah anda, atau sama ada anda benar-benar menulisnya.

Saya telah menghabiskan bertahun-tahun membina alat yang menguraikan teks secara statistik, dan perkara paling berguna untuk difahami tentang pengesanan ialah ini, ia merupakan ukuran keumuman, bukan asal usul. Apabila perkara itu difahami, teknologi itu dan kegagalannya menjadi jauh lebih masuk akal.

Apa yang sebenarnya diukur oleh pengesan

Pengesan tidak tahu siapa yang menulis apa-apa. Apa yang dimilikinya ialah model bahasa dan fungsi pemarkahan. Model itu membaca teks anda dari kiri ke kanan, dan pada setiap titik ia menghasilkan taburan kebarangkalian bagi perkataan yang sepatutnya muncul seterusnya. Berikan kepadanya perkataan "the results of the" dan ia akan meletakkan "study" paling tinggi, "experiment" sedikit lebih rendah, dan "marmalade" hampir sifar.

Jadi pengesan menanyakan satu soalan kepada dokumen anda, berapa kerap teks ini memilih perkataan yang dijangkakan oleh model? Penulisan yang terus memilih perkataan berkemungkinan tinggi kelihatan seperti dihasilkan oleh mesin, kerana itulah tepatnya yang dilakukan oleh penjana teks. Model itu mensampel daripada bahagian atas taburannya sendiri, berulang kali, untuk beribu-ribu token.

Inilah sebabnya keseluruhan kategori ini berada pada asas yang lebih rapuh daripada yang disarankan oleh pemasaran. Pengesan tidak menemui tera air atau cap jari. Ia hanya menyedari bahawa prosa anda secara statistik tidak mengejutkan, dan prosa yang tidak mengejutkan mempunyai banyak punca selain chatbot.

Perplexity, sejauh mana model terkejut

Ukuran utama ini dipanggil perplexity, yang lebih mudah daripada kedengarannya. Ambil kebarangkalian yang diperuntukkan oleh model kepada setiap perkataan yang benar-benar muncul, puratakan logaritma kebarangkalian tersebut, dan eksponenkan hasilnya. Apa yang terhasil ialah satu nombor yang menerangkan sejauh mana model terkejut oleh dokumen anda. Anda boleh menyemak perplexity draf anda sendiri daripada menekanya.

Perplexity yang rendah bermaksud teks bergerak seperti yang dijangkakan oleh model. Perplexity yang tinggi bermaksud ia terus mengambil selekoh yang tidak dijangkakan oleh model. Penulisan manusia cenderung berada lebih tinggi, kerana orang mencapai kata nama khusus yang ganjil, binaan yang luar biasa, ayat yang bermula di tempat yang tidak dijangka. Teks yang dijana cenderung berada lebih rendah, kerana proses penyahkodan dibina untuk mengelakkan tepat gerakan seperti itu.

Bandingkan dua cara membuka bahagian kaedah. "The results of the study were statistically significant" ialah urutan yang hampir mana-mana model akan ramalkan dengan keyakinan tinggi, kerana ia tidak membawa maklumat yang tidak dijangka. "Two of the three cohorts drifted before week six, which we had not planned for" jauh kurang dapat diramalkan, kerana ia membawa maklumat khusus yang janggal yang tidak dapat diteka daripada seluruh kertas itu. Yang kedua menelan kejutan sebenar bagi pengesan, dan kejutan itulah yang direkodkan sebagai manusia.

Burstiness: varians, bukan purata

Perplexity sahaja tidak mencukupi, kerana sesuatu dokumen boleh menghasilkan purata yang kelihatan sangat munasabah sambil menjadi seragam secara mencurigakan di bawahnya. Yang penting ialah variasi merentasi teks anda, dan itulah yang diukur oleh burstiness: sejauh mana panjang ayat dan perplexity pada aras ayat berubah-ubah ketika penulisan bergerak. Satu burstiness checker akan menunjukkan taburan itu secara langsung kepada anda.

Kita mempercepat apabila kita yakin dan memperlahankan apabila kita berhati-hati, dan ritma itu kekal dalam prosa. Manusia menulis dalam ledakan. Satu perenggan mungkin bermula dengan ayat deklaratif pendek sepanjang lapan perkataan, kemudian masuk ke ayat sepanjang tiga puluh empat perkataan yang membawa tiga klausa dan satu sisipan, lalu kembali kepada sesuatu yang ringkas.

Output model tidak melakukan ini dengan boleh dipercayai. Ayat-ayat berkumpul berhampiran panjang purata. Perenggan datang dalam kelompok yang kemas. Setiap bahagian bermula dengan mengulangi semula tajuknya sendiri. Ia dibaca dengan lancar dan mendapat skor yang buruk, kerana varians yang rendah merentas ayat ialah salah satu isyarat paling kuat yang dimiliki oleh pengesan. Bukan mana-mana ayat tunggal yang membongkarkannya. Ia ialah keseragaman.

Isyarat	Apa yang diukurnya	Mengapa teks mesin mendapat skor rendah
Perplexity	Sejauh mana model terkejut oleh pilihan kata anda, dipuratakan merentasi dokumen	Penyahkodan secara reka bentuk mengambil sampel daripada token berkemungkinan tinggi
Burstiness	Sejauh mana panjang ayat dan kebolehramalan berbeza merentas teks	Output berkumpul berhampiran purata dan bukannya berayun
Token probability	Kebarangkalian per-kata yang digunakan untuk mengira dua yang lain	Rentetan panjang pilihan yang secara individu tidak menonjol

Kebarangkalian token dan dari mana skor itu datang

Kedua-dua nombor itu dibina daripada nombor ketiga, iaitu log-kebarangkalian per-token, bahan mentah yang digunakan untuk mengira segala yang lain. Sesetengah alat memaparkannya secara langsung kepada anda, dengan menyerlahkan bahagian yang paling boleh diramal dalam teks anda. Sorotan itu bukanlah tuduhan tentang ayat tertentu, walau apa pun yang disiratkan oleh antara muka. Ia ialah bahagian yang paling banyak menyumbang kepada nombor peringkat dokumen.

Pendekatan penyelidikan telah bergerak melampaui ambang mudah. DetectGPT dan keturunannya melihat kelengkungan, mereka mengganggu teks anda sedikit dan memeriksa sama ada kebarangkalian menurun mengikut pola yang cenderung ditunjukkan oleh teks yang dijana. Yang lain membandingkan petikan yang sama di bawah dua model berbeza dan menggunakan ketidaksetujuan itu sebagai isyarat.

Satu akibat penting bagi sesiapa yang sedang dinilai. Oleh sebab metrik dikira terhadap model rujukan tertentu, skor sentiasa bersifat relatif kepada model itu. Dua pengesan boleh membaca perenggan yang sama dan tidak bersetuju sepenuhnya, dan kedua-duanya bukan mengalami kerosakan. Mereka menjawab soalan yang sama dengan titik rujukan yang berbeza.

Akibat kedua kurang kerap disebut. Sesuatu model hanya boleh mengenal pasti petikan sebagai boleh diramal jika petikan itu menyerupai apa yang telah dilatih padanya, jadi kualiti pengesanan merosot apabila jurang antara model rujukan dan apa sahaja yang menghasilkan teks itu semakin melebar. Penjana yang lebih baharu, disiplin yang luar biasa dan bahasa selain bahasa Inggeris semuanya membuka jurang itu. Ini sebahagian daripada sebab mengapa ketepatan yang diukur dalam penanda aras terkawal jarang bertahan apabila berhadapan dengan timbunan penyerahan sebenar.

Mengapa teks AI dikesan sama sekali

Bagaimana Model Bahasa Memilih Perkataan Seterusnya

Jika dibiarkan sendiri, model bahasa hanya akan melaporkan senarai penuh perkataan seterusnya yang telah disusun mengikut keutamaan dan membiarkan sesuatu yang lain membuat pilihan. Dalam amalan, strategi penyahkodan membuat pilihan itu secara automatik, perkataan demi perkataan, dan strategi yang sedang berjalan mengubah rupa output walaupun model asas tidak pernah berubah.

Penyahkodan tamak sentiasa memilih satu perkataan yang paling berkemungkinan. Dalam makalah yang memperkenalkan pensampelan nukleus sebagai penyelesaian, Ari Holtzman dan pengarang bersama memerhatikan bahawa mengikut strategi ini menghasilkan teks yang, dalam kata-kata mereka sendiri, 'membosankan dan peliknya berulang.' Carian beam, yang menjejak beberapa kesinambungan yang berkemungkinan serentak sebelum menetapkan satu pilihan, menghadapi versi masalah yang serupa.

Strategi pensampelan memperkenalkan semula sedikit rawak, tetapi dengan cara yang terkawal. Suhu melaraskan sejauh mana model mengutamakan pilihan utamanya sendiri sebelum sesuatu perkataan diambil. Pensampelan nukleus, kadangkala dipanggil top-p, memotong taburan kepada set perkataan paling kecil yang kebarangkalian gabungannya melepasi ambang dan hanya mengambil sampel daripada set itu, yang dalam makalah asal digambarkan sebagai pensampelan daripada nukleus dinamik taburan itu, bukannya ekor yang tidak boleh dipercayai.

Walaupun tetapan yang paling tidak deterministik sekalipun masih bergantung pada senarai pendek yang dibina berdasarkan apa yang model sudah anggap berkemungkinan. Penulisan manusia tidak pernah dijana dengan menilai satu perbendaharaan kata dan mengambil daripada bahagian teratasnya, jadi ia sentiasa melangkaui senarai pendek itu. Makna kadangkala terletak pada kata yang tidak pernah berada dalam senarai.

Kepipihan Perbendaharaan Kata: Kata yang Lebih Sedikit dan Lebih Selamat

Kepipihan perbendaharaan kata ialah versi pada aras kata bagi kebiasaan yang sama. Pada setiap titik dalam ayat, berpuluh-puluh kata boleh meneruskannya dengan munasabah, tetapi segelintir kata berada jauh di atas yang lain dalam penarafan model, dan penyahkodan terus mendarat pada segelintir itu. Gandakan pilihan itu bagi setiap ayat dalam sesuatu dokumen dan julat kata yang benar-benar digunakan menjadi lebih sempit dengan ketara berbanding penulisan manusia yang panjangnya serupa.

Kesan ini bertambah secara kumulatif, bukannya kekal tetap. Model yang memilih kata berperingkat teratas dalam ayat pertama lebih cenderung mewujudkan konteks yang menyebabkan kata berperingkat teratas dalam ayat kedua juga lazim, kerana kata lazim cenderung diikuti oleh kata lazim. Penulis manusia sentiasa mengganggu aliran ini, memilih istilah teknikal yang khusus, kata kerja yang sedikit luar biasa, kata yang menamakan perkara sebenar dan bukannya anggaran selamat mengenainya. Perbezaan itu muncul sebagai perbendaharaan kata kerja yang dapat diukur lebih kecil dalam versi yang dijana, walaupun kedua-dua versi menerangkan fakta asas yang sama.

Ini ialah sifat keseluruhan petikan, bukan sifat mana-mana pilihan kata tunggal. Satu kata yang selamat tidak membuktikan apa-apa. Satu halaman yang dipenuhi kata seperti itu, ayat demi ayat mencapai tahap perbendaharaan kata lazim yang sama, ialah apa yang sebenarnya dibina oleh isyarat pada aras kata bagi pengesan untuk dikesan.

Keseragaman Sintaksis: Bentuk yang Sama, Diulang

Keseragaman sintaksis ialah versi pada aras ayat. Ia bukan tentang sepanjang mana sesuatu ayat berjalan. Ia tentang berapa banyak bentuk tatabahasa yang berbeza digunakan oleh sesuatu petikan: bagaimana ayat bermula, bagaimana klausa disambungkan antara satu sama lain, seberapa kerap kata peralihan melakukan kerja menghubungkan satu idea dengan idea seterusnya. Model yang terus meramalkan struktur seterusnya yang berkemungkinan secara statistik akan menetap pada putaran bentuk yang kecil dan mengulanginya.

Sebuah perenggan boleh memvariasikan panjang ayatnya dan masih dibaca sebagai rata dari segi sintaksis jika setiap ayat mengikuti bentuk subjek-kata kerja-pelengkap yang sama, bermula dengan jenis peralihan yang sama, atau berakhir dengan cara yang sama. Kebolehramalan itu terletak pada pola, bukan pada bilangan perkataan, satu perbezaan yang dihuraikan dengan lebih mendalam dalam panduan tentang apa sebenarnya yang diukur oleh burstiness.

Apa yang menyempitkan	Apa yang cenderung dilakukan oleh teks yang dioptimumkan untuk penyahkodan	Apa yang cenderung dilakukan oleh penulisan manusia
Pilihan kata	Berpegang pada kata umum yang paling berkemungkinan pada setiap langkah	Mencari kata yang khusus atau kurang lazim yang menamakan perkara sebenar
Pembukaan ayat	Mengulangi putaran kecil pembukaan peralihan yang selamat	Mengubah cara ayat bermula, termasuk pembukaan yang akan dinilai oleh model sebagai kurang berkemungkinan
Struktur klausa	Mengulangi satu atau dua bentuk tatabahasa yang digemari merentasi sesuatu petikan	Menggabungkan struktur ringkas dan kompleks bergantung pada keperluan ayat

Pilihan yang Hanya Cenderung Dibuat oleh Manusia

Sebaliknya, jalur yang sempit ialah apa yang berada di luar daripadanya. Seseorang yang menerangkan peristiwa sebenar akan mencari angka yang tepat dan bukannya angka bulat, mengakui bahagian yang tidak berjaya, menyampuk ayat untuk membetulkannya di tengah-tengah pemikiran, atau memilih kata yang tepat dan bukannya yang lazim. Setiap satu daripada pilihan itu, dari sudut pandang model bahasa, ialah token berkemungkinan rendah, iaitu jenis yang memang dibina oleh penyahkodan untuk dielakkan.

Tiada satu pun daripada ini bermaksud bahawa penulisan yang khusus atau luar biasa selamat daripada setiap penanda, atau bahawa penulisan yang lancar dan betul semestinya mencurigakan secara lalai. Bahagian kaedah, klausa undang-undang, atau draf akhir yang banyak disunting boleh berada dalam jalur yang sempit atas sebab yang tiada kaitan dengan model, sebab itulah satu skor tunggal ialah huraian tentang pola, bukannya keputusan tentang siapa yang menaipnya.

Melihat di mana draf anda sendiri berada pada julat itu lebih berguna daripada meneka. TextPulse's free perplexity checker dan burstiness checker mengukur kebolehramalan pada tahap perkataan dan ritma ayat ke ayat secara berasingan, jadi kosa kata yang mendatar dan bentuk ayat yang berulang muncul sebagai dua isyarat berbeza, bukannya satu nombor gabungan.

Dua halaman yang lebih khusus mengikuti hal ini. How Turnitin detects AI specifically ialah satu, dan the difference between its similarity score and its AI score ialah yang lain, kerana kedua-duanya lazimnya disalah anggap sebagai perkara yang sama.

Kedua-duanya berada dalam free tools collection yang lebih luas, untuk sesiapa yang mahu melihat corak itu sendiri daripada mempercayai satu nombor secara membuta tuli.

Berapa Banyak Kandungan Web Kini Dijana oleh AI?

Menurut beberapa ukuran, teks yang dihasilkan mesin kini melebihi teks yang ditulis manusia dalam talian. Satu pasukan di Amazon Web Services menganalisis 6.4 bilion ayat daripada web dan mendapati bahawa 57.1% wujud sebagai terjemahan mesin merentasi tiga bahasa atau lebih, sebahagian besarnya berkualiti rendah. Satu analisis 2025 oleh firma SEO Graphite mendapati bahawa sedikit lebih separuh daripada artikel web yang baru diterbitkan dijana oleh AI. Wikipedia tidak terkecuali: satu kajian Princeton terhadap halaman yang dicipta pada Ogos 2024 mengukur kira-kira satu daripada dua puluh artikel bahasa Inggeris baharu sebagai dijana AI secara ketara.

Bahagian ini semakin meningkat, kerana kos output model jauh lebih rendah daripada penulisan manusia dan setiap insentif komersial menunjuk ke arah yang sama. Seluruh platform kini beroperasi tanpa penulis manusia langsung: Chirper ialah rangkaian sosial yang dihuni sepenuhnya oleh akaun AI, di mana manusia hanya boleh memerhati, dan SocialAI menjual suapan yang setiap balasan kepada anda ialah bot. Forum, bahagian ulasan dan rangkaian komen membawa corak yang sama pada skala yang lebih kecil.

Bagi pengesanan, ini mengubah kadar asas. Sebuah pengelas yang membaca teks web rawak pada 2023 boleh menganggap kebanyakannya ditulis oleh manusia, tetapi pengelas pada 2026 tidak boleh. Ini juga memberi maklum balas kepada model itu sendiri, kerana setiap generasi baharu dilatih pada web yang sudah ditulis ke dalamnya oleh generasi sebelumnya, yang merupakan satu sebab tabiat kosa kata yang menjadi sasaran pengesan lebih cenderung tersebar daripada lenyap.

Bagi penulisan anda sendiri, akibatnya jelas, prosa yang ditulis oleh manusia semakin menjadi kelas minoriti, dan penanda, penyunting serta pembaca mengetahuinya. Kecurigaan yang meningkat kini menjadi keadaan lalai, dan itulah sebabnya penting untuk memahami apa yang boleh dan tidak boleh diukur oleh pengesan.

Apa yang ditambah oleh pengesan komersial di atasnya

Alat yang benar-benar dibeli oleh institusi tidak menjalankan perplexity buku teks. Turnitin, GPTZero, Originality dan yang lain melatih pengelas terselia pada set berlabel besar bagi teks manusia dan mesin, dengan menggunakan ciri statistik bersama ciri gaya. Apa yang dipelajari oleh pengelas ialah apa sahaja yang membezakan dua timbunan itu dalam data latihannya, yang merupakan perkara yang lebih sempit dan lebih bersejarah daripada "penulisan AI" secara umum.

Kebergantungan pada latihan ialah masalah yang senyap. Pengelas yang dilatih terutamanya pada satu generasi output model perlu digeneralisasikan kepada model yang lebih baharu, disiplin yang tidak biasa, dan penulis yang bahasa Inggerisnya tidak menyerupai taburan latihannya. Vendor menerbitkan angka ketepatan daripada penilaian mereka sendiri, dan penanda aras bebas lazimnya berada jauh di bawah angka itu apabila menggunakan alat yang sama.

Membaca skor tanpa membacanya secara berlebihan

Laporan pengesan biasanya muncul sebagai peratusan, dan peratusan itu lazimnya disalah baca. Ia bukanlah bahagian dokumen anda yang ditulis oleh mesin. Bergantung pada alat, ia ialah keyakinan pengelas, atau bahagian ayat yang melepasi beberapa ambang dalaman, dan vendor sering tidak jelas tentang yang mana satu. Dua laporan yang sama-sama menunjukkan enam puluh peratus boleh bermaksud perkara yang agak berbeza.

Adalah juga wajar untuk mengetahui apa yang menggerakkan skor atas sebab yang langsung tiada kaitan dengan siapa yang menulisnya. Dokumen pendek lebih bising, kerana terdapat kurang teks untuk purata menjadi stabil, dan esei lima ratus patah perkataan boleh berubah banyak hanya dengan kekuatan dua atau tiga ayat yang luar biasa. Bahan petikan juga dikira kecuali alat itu menyingkirkannya, jadi ulasan literatur yang dipenuhi petikan blok mewarisi kebolehramalan daripada apa sahaja yang dipetiknya. Petikan teknikal yang sarat dengan istilah standard berkelakuan dengan cara yang sama.

Jika anda menerima tanda amaran, respons yang berguna ialah bukti, bukannya hujah tentang metrik. Sejarah versi, draf, nota dan rekod carian semuanya menunjukkan proses, dan proses ialah perkara yang sebenarnya boleh dinilai oleh panel salah laku. Tiada ambang yang boleh ditunjukkan oleh sesiapa yang membezakan penulis yang cermat daripada model.

Mengapa pengesan menandakan penulisan yang tidak dihasilkan oleh mana-mana model

Positif palsu bukanlah kerosakan yang jarang berlaku. Ia timbul secara langsung daripada pengukuran keumuman. Mana-mana penulisan yang benar-benar boleh diramal akan mendapat skor sebagai boleh diramal, tanpa mengira siapa yang menghasilkannya.

Penulis bahasa Inggeris bukan penutur asli paling terkesan. Penyelidik Stanford mendapati bahawa pengesan salah mengelaskan sebahagian besar esei oleh penutur bukan asli sebagai dijana mesin, manakala esei penutur asli dikelaskan dengan betul. Sebabnya bersifat mekanikal, bukan berniat jahat, penulis yang bekerja dalam bahasa kedua cenderung bergantung pada binaan yang sudah lazim dan kosa kata yang lebih umum. Itulah tepatnya profil perplexity rendah, sebab itulah penulis ESL ditandakan kerana menulis dengan cermat.

Konvensyen akademik menyebabkan masalah yang sama. Bahagian kaedah sepatutnya bersifat formulaik. Penulisan undang-undang, dokumentasi teknikal dan pelaporan klinikal semuanya memberi ganjaran kepada frasa standard berbanding frasa yang inventif. Penyuntingan yang berat memburukkan lagi keadaan, kerana memurnikan draf biasanya bermaksud membuang ketakteraturan yang membawa tandatangan statistik anda.

Institusi telah menyedari perkara ini. Vanderbilt telah menyahaktifkan ciri pengesanan AI Turnitin daripada bertindak berdasarkan skor yang tidak dapat disahkan, dan universiti lain telah mengehadkan cara nombor itu boleh digunakan dalam prosiding salah laku. Anggaplah skor pengesan sebagai satu bukti yang lemah, bukan suatu keputusan muktamad.

Apa maknanya untuk penulisan anda sendiri

Nasihat praktikal yang terhasil daripada mekanisme ini tidaklah luar biasa, dan tiada satu pun daripadanya melibatkan manipulasi apa-apa. Variasikan panjang ayat anda dengan sengaja, kerana keseragaman itulah yang dikesan. Kekalkan butiran khusus, angka sebenar, batasan sebenar, perkara yang tidak kena pada minggu keenam. Kecekapan yang umum ialah perkara yang dinilai sebagai hasil mesin, dan kekhususan ialah penulisan yang lebih baik serta isyarat yang lebih kuat.

Kekalkan juga idiom anda sendiri. Jika anda mempunyai cara tersendiri untuk menyatakan sesuatu, biarkan ia kekal. Dorongan untuk menggilap draf sehingga kedengaran seperti setiap kertas lain dalam bidang itu ialah dorongan yang menurunkan perplexity anda.

Satu perkara yang perlu dielakkan, sesetengah alat sengaja memperkenalkan kesalahan tatabahasa untuk menaikkan perplexity. Ia berkesan pada metrik itu dan merupakan idea yang sangat buruk untuk apa-apa yang dinilai atau disemak oleh rakan sebaya, kerana anda menukar satu syak wasangka dengan satu kepastian. Matlamatnya ialah penulisan yang dibaca sebagai tulisan anda, bukan penulisan yang sengaja dirosakkan. Itulah keseluruhan perbezaan antara menulis semula untuk pembaca manusia dan memecahkan teks untuk memperdaya penilai.

Jika anda mahu melihat nombor ini bagi draf anda sendiri, bukannya menerima begitu sahaja kata-kata sebuah kotak hitam, ukuran asasnya bukanlah rahsia. alat analisis teks percuma akan menunjukkan kedudukan prosa anda, dan anda boleh memutuskan sendiri sama ada bahagian yang mendatar itu merupakan masalah gaya yang wajar diperbaiki.