Apakah AI Detectors Masih Mengandalkan Perplexity dan Burstiness?

Cari bagaimana GPTZero mendeteksi tulisan AI saat ini, dan sebagian besar hasil yang muncul masih berpusat pada dua statistik, perplexity dan burstiness, pasangan yang membuat alat ini terkenal dalam hitungan minggu setelah peluncurannya pada Januari 2023. Dokumentasi dukungan GPTZero sendiri kini menyatakan hal yang berbeda: alat itu berhenti menggunakan keduanya pada musim gugur tahun yang sama.

Jadi, apakah burstiness masih digunakan oleh pendeteksi AI? Bukan oleh alat yang membuat istilah itu menjadi istilah umum di kalangan akademik. Pusat dukungan GPTZero menyatakan dengan tegas bahwa alat itu tidak lagi menggunakan perplexity atau burstiness, dan telah beralih ke arsitektur deep-learning. Turnitin, alat yang sebenarnya paling sering ditemui mahasiswa, sejak awal tidak pernah menerbitkan salah satu istilah itu sebagai bagian dari metodenya. Konsep-konsep itu tidak hilang dari percakapan. Konsep-konsep itu hilang dari produk yang benar-benar melakukan pendeteksian.

Apakah Burstiness Masih Digunakan oleh Pendeteksi AI?

Tidak, bukan oleh GPTZero, dan bukan dengan nama itu. Dokumentasi dukungan GPTZero sendiri menyatakannya secara langsung: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Panduan Turnitin sendiri menjelaskan metode yang berbeda lagi, yang dibangun di sekitar pemberian skor pada potongan-potongan suatu kiriman dengan classifier yang dilatih, dan tidak ada satu pun dari kedua istilah itu yang muncul di dokumentasi tersebut. Dua statistik yang mendefinisikan gelombang pertama deteksi AI bukanlah apa yang saat ini dijalankan oleh alat-alat terkemuka. Itu lebih sempit daripada mengatakan bahwa keduanya dibuang: penjelasan GPTZero sendiri masih menghitung keduanya sebagai dua dari tujuh indikator yang memberi masukan pada modelnya. Keduanya berhenti menjadi metode tanpa berhenti menjadi ukuran, dan perbedaan antara dua klaim itulah yang menjadi inti dari pertanyaan ini.

Apa yang Berubah pada Musim Gugur 2023

Istilah kedua ini tidak pernah kabur. Penjelasan awal GPTZero sendiri mendefinisikan perplexity sebagai "ukuran seberapa besar kemungkinan sebuah model AI akan memilih rangkaian kata yang persis sama seperti yang ditemukan dalam dokumen," dan burstiness sebagai "ukuran seberapa besar pola penulisan dan perplexity teks bervariasi di seluruh dokumen," sebuah statistik pada tingkat dokumen, bukan sekadar hitungan panjang kalimat. Kedua definisi ini masih dipublikasikan di situs GPTZero. Yang berubah adalah mana di antara keduanya yang benar-benar dijalankan oleh detektor.

"Migrated to a deep-learning based architecture" adalah klaim yang spesifik, bukan frasa pemasaran, dan ini menggambarkan perubahan nyata dalam jenisnya. Skor perplexity dihitung langsung dari sebuah rumus: jalankan teks melalui model bahasa referensi, ambil rata-rata probabilitas log, lalu eksponensialkan hasilnya. Sebaliknya, sebuah pengklasifikasi deep-learning dilatih, diperlihatkan sejumlah besar contoh tulisan manusia dan AI sampai ia mempelajari sendiri kombinasi fitur apa pun yang memisahkan dua kelompok dalam data pelatihan itu. Tidak ada yang menuliskan aturan secara manual dalam pendekatan kedua. Modellah yang menemukannya.

Kedua istilah yang sudah dihentikan itu dijelaskan secara lengkap di bagian lain situs ini: apa yang sebenarnya diukur oleh perplexity dan apa yang sebenarnya diukur oleh burstiness masing-masing membahas mekanismenya sendiri secara mendalam, termasuk rumus yang mendasarinya. Bagian ini secara sempit hanya membahas apakah salah satunya masih merupakan apa yang dijalankan oleh detektor saat ini.

Apa yang Sebenarnya Didokumentasikan GPTZero dan Turnitin Saat Ini

Halaman teknologi GPTZero saat ini, yang menjelaskan apa yang dikirimkan dalam produk, menyatakan bahwa detektornya adalah "end-to-end deep learning approach", dengan "sentence-by-sentence classification model" yang menghasilkan keluaran probabilitas dengan skor kepercayaan. Perplexity dan burstiness tidak muncul di halaman itu sama sekali, bukan sebagai komponen, bukan sebagai fitur lama, dan bukan dalam catatan kaki.

Dokumentasi Turnitin sejak awal tidak pernah dibangun di sekitar kedua istilah tersebut. Panduannya menggambarkan sebuah pengiriman yang dibagi menjadi beberapa potongan berisi beberapa ratus kata, setiap potongan diberi skor oleh model yang dilatih, lalu skor potongan tersebut dirata-ratakan menjadi satu persentase yang ditampilkan laporan. Itu adalah pengklasifikasi terawasi yang bekerja pada segmen teks, keluarga metode yang sama yang kini digunakan GPTZero, bukan perhitungan perplexity dan bukan perhitungan burstiness dengan nama lain.

Pergeseran ini paling mudah dilihat secara berdampingan.

	Apa yang dijelaskan oleh penjelasan awal (2023)	Apa yang dijelaskan oleh dokumentasi saat ini
GPTZero	Perplexity dan burstiness, diberi skor terhadap model referensi	Pengklasifikasi deep-learning per kalimat yang menghasilkan probabilitas dan skor kepercayaan
Turnitin	Tidak pernah dipublikasikan, istilah-istilah tersebut tidak muncul dalam materi Turnitin sendiri pada titik mana pun	Potongan berisi beberapa ratus kata yang diberi skor oleh pengklasifikasi terlatih, lalu dirata-ratakan menjadi satu persentase

Mengapa Konsep-Konsep Ini Tetap Menjelaskan Keterdeteksian

Semua ini tidak membuat perplexity dan burstiness menjadi keliru, hanya kedaluwarsa sebagai deskripsi mekanisme saat ini. Kedua konsep itu sejak awal memang menggambarkan sesuatu yang nyata: Teks yang dihasilkan dengan melakukan sampling ke arah kelanjutan dengan probabilitas tertinggi milik model cenderung lebih dapat diprediksi, kata demi kata, daripada teks yang ditulis seseorang dari awal, dan cenderung berubah lebih sedikit dari satu kalimat ke kalimat berikutnya. Keteraturan yang mendasarinya tidak berubah hanya karena suatu vendor mengubah arsitektur detektornya. Yang berubah adalah cara detektor mencari hal tersebut.

Klasifier yang telah dilatih tidak secara eksplisit diminta untuk mencari perplexity atau burstiness. Sebaliknya, klasifier itu dilatih pada pembedaan dasar yang sama antara teks manusia dan teks mesin yang hendak ditangkap oleh kedua statistik tersebut. Dan tampaknya sangat kecil kemungkinannya bahwa klasifier yang dilatih untuk membedakan dua tumpukan itu tidak akan juga berfokus pada keteraturan yang persis sama, salah satu perbedaan paling andal antara keduanya. Ini adalah inferensi tentang mengapa klasifier itu kemungkinan bekerja, bukan klaim tentang daftar fitur yang dipublikasikan, dan keduanya harus tetap dipisahkan.

Penelitian independen mendukung gagasan bahwa statistik yang mendasarinya masih efektif, bahkan di luar produk satu vendor tertentu. DetectGPT, sebuah metode zero-shot akademik yang diterbitkan pada 2023, melihat kerabat dekat perplexity, yaitu seberapa tajam fungsi log-probability suatu model melengkung di sekitar suatu bagian teks, dan mencapai 0.95 AUROC pada satu tolok ukur dibandingkan 0.81 untuk baseline zero-shot terbaik sebelumnya, tanpa melatih klasifier pada contoh berlabel sama sekali. Gagasan intinya, bahwa teks yang dihasilkan mesin berada dalam wilayah yang secara statistik berbeda dari ruang probabilitas model itu sendiri, masih menjadi penelitian aktif. Itu hanya bukan apa yang dikirimkan GPTZero kepada pengguna.

Mengapa Begitu Banyak Bagian Internet Masih Salah Memahaminya

Sebagian besar penjelasan yang diterbitkan tentang cara kerja deteksi AI ditulis selama atau segera setelah peluncuran GPTZero pada Januari 2023, ketika perplexity dan burstiness adalah satu-satunya kerangka publik yang ditawarkan perusahaan itu sendiri. Halaman penjelasan asli tersebut masih tersedia hingga hari ini. Pemberitahuan penghentian pada musim gugur 2023 berada di halaman dukungan terpisah, bukan digabungkan ke dalamnya, sehingga seorang penulis yang membaca halaman pertama dan berhenti meneliti tidak akan punya alasan untuk mengetahui bahwa metodenya berubah kurang dari setahun kemudian.

Ulasan detektor pihak ketiga yang beredar pada 2026 mengklaim bahwa GPTZero masih menjalankan perplexity dan burstiness sebagai satu lapisan di antara beberapa lapisan dalam sistem yang lebih besar. Klaim itu bertentangan langsung dengan halaman teknologi GPTZero sendiri yang terkini dan dokumentasi dukungannya sendiri, dan tidak ada apa pun di situs GPTZero sendiri yang menguatkannya. Sebuah perusahaan yang menjelaskan produk yang telah dirilisnya sendiri tetap lebih diutamakan daripada klaim pihak ketiga yang tidak terverifikasi tentang produk yang sama, meskipun dokumentasi vendor juga bisa keliru. Tulisan ini mengikuti halaman GPTZero sendiri, bukan ulasan yang mengulang cerita yang lebih lama itu.

Apa Artinya Ini bagi Cara Anda Menulis

Panduan praktis yang dibangun di sekitar burstiness tidak menjadi tidak berguna hanya karena kata itu menghilang dari materi GPTZero sendiri. Memvariasikan panjang kalimat secara sengaja tetap, secara mekanis, merupakan argumen tentang menghindari keseragaman statistik yang sangat mungkin dilatih untuk dikenali oleh sebuah pengklasifikasi, apa pun sebutan internalnya untuk sinyal itu. Nasihat dasarnya tetap bertahan meskipun arsitektur vendor berubah, walaupun kosakata yang digunakan untuk menggambarkannya tidak.

Tidak ada dari ini yang mengharuskan Anda menerima begitu saja perkataan siapa pun, termasuk tulisan ini. pemeriksa perplexity gratis milik TextPulse dan koleksi alat gratis yang lebih luas memungkinkan Anda melihat posisi draf Anda sebelum sebuah detektor, dari generasi mana pun, melakukannya.

Jika jawabannya mengarahkan Anda kembali ke tulisan Anda sendiri, tindak lanjut praktisnya adalah meningkatkan burstiness secara sengaja dan memvariasikan panjang kalimat di seluruh paragraf akademik, yang merupakan tugas yang sama yang dijelaskan tanpa metriknya.

Mekanisme yang dijalankan oleh sebuah detektor akan terus berubah, GPTZero sudah mengubahnya sekali. Yang tetap konstan adalah pertanyaan yang sebenarnya, yang dibahas sepenuhnya dalam panduan situs ini tentang cara kerja AI detectors yang sebenarnya: apakah tulisan yang dapat diprediksi sama dengan tulisan yang dibuat mesin, terlepas dari rumus mana yang kebetulan sedang populer pada tahun tertentu.