AI Detection

Cara Kerja GPTZero

GPTZero membuat perplexity dan burstiness terkenal, lalu diam-diam menghentikan keduanya. Berikut apa yang kini diukur pengklasifikasinya, apa yang sebenarnya ditampilkan sebuah laporan, dan di mana alat ini menyatakan keterbatasannya sendiri.

5 min
Diagram showing how GPTZero works today: a sentence-level AI classifier replacing its original perplexity and burstiness method

Ketik "how gptzero works" ke dalam bilah pencarian dan sebagian besar hasil yang muncul masih menggambarkan perplexity dan burstiness, dua statistik yang dipopulerkan oleh pendirinya sendiri pada minggu-minggu pertama setelah rilis ChatGPT. Deskripsi itu akurat pada Januari 2023. Deskripsi itu tidak lagi akurat sejak musim gugur tahun itu, ketika dokumentasi GPTZero sendiri menyatakan bahwa perusahaan mengganti metode tersebut dengan sesuatu yang sama sekali berbeda. Kesenjangan antara apa yang dilakukan alat ini saat peluncuran dan apa yang dilakukannya sekarang cukup lebar sehingga sebagian besar penjelasan yang masih beredar hari ini menggambarkan produk yang sudah tidak ada lagi.

Saat ini, GPTZero menjalankan pengklasifikasi kalimat demi kalimat pada korpus besar yang bercampur antara teks yang dihasilkan manusia dan teks yang dihasilkan AI, bukan perhitungan perplexity. GPTZero saat ini masih menyediakan satu angka utama, tetapi aritmetikanya berbeda. Penyorotan pada tingkat kalimat di bawah angka utama itu juga memiliki makna yang berbeda dibandingkan pada 2023. Kedua versi cerita ini layak diketahui, yang membuat istilah-istilah itu terkenal, dan yang benar-benar berjalan saat ini.

Sejarah: Bagaimana Perplexity dan Burstiness Membuat GPTZero Terkenal

Pada 2 Januari 2023, Edward Tian, yang saat itu merupakan mahasiswa Princeton, merilis demo publik GPTZero, hanya beberapa minggu setelah ChatGPT keluar. Halaman penjelasan awalnya menjelaskan bagaimana ia menggunakan dua statistik yang dipinjam dari pemodelan bahasa untuk mendeteksi kapan sebuah model bahasa telah menulis sesuatu. Perplexity adalah skor untuk menunjukkan seberapa terkejut sebuah model acuan terhadap pilihan kata dalam teks. Burstiness adalah istilah GPTZero untuk menunjukkan seberapa besar kejutan itu berfluktuasi di sepanjang dokumen. Halaman penjelasan itu adalah alasan mengapa kedua kata tersebut masuk ke percakapan sehari-hari tentang penulisan AI. Kebanyakan orang yang kini dapat mendefinisikan perplexity atau burstiness mempelajari istilah itu dari GPTZero, bukan dari buku teks.

Mekanismenya sendiri mudah dijelaskan. Masukkan sebuah bagian teks melalui model bahasa referensi, dan prosa yang oleh model dianggap sangat dapat diprediksi, dengan perplexity rendah, terbaca sebagai khas mesin, karena generasi cenderung mengutamakan kata berikutnya yang paling mungkin daripada yang mengejutkan. Dokumentasi lama GPTZero sendiri bahkan pernah memublikasikan aturan praktis: skor perplexity di atas 85 dibaca sebagai lebih mungkin manusia daripada mesin. Ambang itu berasal dari satu vendor, pada satu model, pada satu titik waktu, dan GPTZero sendiri tidak lagi mendukungnya.

Cara Kerja GPTZero Sekarang: Pengklasifikasi Tingkat Kalimat

Pusat dukungan GPTZero menyatakan dengan jelas bahwa perusahaan berhenti menggunakan perplexity dan burstiness untuk deteksi sejak musim gugur 2023, setelah bermigrasi ke arsitektur deep learning. Halaman teknologi saat ini, yang diperiksa untuk tulisan ini, menegaskan bahwa perubahan itu sepenuhnya dilakukan: halaman tersebut menjelaskan pendekatan deep learning end-to-end yang dilatih pada teks dari web, pendidikan, dan berbagai model bahasa, yang menjalankan model klasifikasi kalimat demi kalimat yang menghasilkan probabilitas dan skor keyakinan. Perplexity dan burstiness tidak muncul di halaman itu.

Sejak itu, GPTZero juga menambahkan lapisan pertahanan, Paraphraser Shield, yang dibangun untuk menangkap teks AI yang telah diproses melalui alat parafrase untuk menghindari deteksi. Anda dapat menempelkan teks, mengunggah dokumen Word, PDF, dan berkas gambar, serta hingga lima puluh berkas sekaligus. Semua infrastruktur itu tidak ada kaitannya dengan menghitung seberapa sering model referensi akan menebak kata yang sama.

Humanisasi makalah Anda sendiri

Ubah teks berbantuan AI Anda dan buat terdengar manusiawi, tanpa menyentuh kata penting atau sitasi.

Mulai gratis

Apa yang Sebenarnya Ditunjukkan oleh Laporan GPTZero

Hasil GPTZero memuat tiga bagian: klasifikasi AI, manusia, atau campuran, persentase yang menyatakan probabilitas model bahwa dokumen itu ditulis oleh AI, dan label keyakinan yang menggambarkan seberapa andal prediksi tertentu itu. Label tersebut lebih penting daripada yang tampak. GPTZero mengaitkan "sangat yakin" dengan tingkat kesalahan di bawah 2 persen dan "keyakinan rendah" dengan tingkat kesalahan 14 persen atau lebih, suatu rentang yang cukup lebar sehingga persentase utama yang sama dapat memiliki bobot yang sangat berbeda dari satu laporan ke laporan berikutnya.

Pemindaian berbayar menambahkan penyorotan pada tingkat kalimat, dan hal itu perlu dibaca dengan benar. GPTZero menggambarkan kalimat yang disorot sebagai kalimat yang secara tidak proporsional memengaruhi skor keseluruhan, bukan sebagai daftar tuduhan terhadap baris-baris individual. Sebuah kalimat dapat tidak disorot dan tetap telah membentuk hasil, karena pengklasifikasi membaca dokumen sebagai satu kesatuan, bukan memberikan suara kalimat demi kalimat.

Report elementWhat it tells you
ClassificationSatu label: AI, human, atau mixed
AI probability scorePersentase yang mencerminkan seberapa besar kemungkinan model menilai dokumen tersebut ditulis oleh AI
Confidence labelBerkisar dari sangat yakin, di bawah tingkat kesalahan 2 percent, hingga keyakinan rendah, 14 percent atau lebih tinggi
Sentence highlightingMenandai kalimat yang paling berkontribusi terhadap skor pada Advanced Scan, bukan setiap kalimat yang terkait dengannya

Tidak satu pun dari elemen laporan ini ada dalam bentuknya yang sekarang ketika penjelasan tentang perplexity dan burstiness masih menjadi deskripsi publik GPTZero tentang dirinya sendiri. Antarmuka berubah seiring dengan metodenya.

Mengapa Deskripsi tentang Perplexity dan Burstiness Masih Beredar

Penjelasan asli GPTZero masih ada secara daring, masih terindeks, dan masih menjadi salah satu deskripsi umum yang lebih jelas tentang bagaimana perplexity dan burstiness bekerja sebagai konsep. Mesin pencari dan situs lain terus mengutipnya, dan sebagian merujuk pada ulasan 2026 yang banyak dibagikan yang mengklaim bahwa alat ini masih menjalankan lapisan perplexity dan burstiness secara diam-diam di samping pengklasifikasinya. Halaman-halaman GPTZero sendiri yang sekarang, halaman teknologi dan kedua artikel dukungan, menyatakan sebaliknya: istilah-istilah itu telah dihentikan, bukan sekadar disembunyikan di balik layar. Halaman yang menjelaskan suatu konsep secara abstrak tidak sama dengan halaman yang menjelaskan metode alat ini pada masa kini, dan memperlakukan keduanya sebagai sesuatu yang dapat dipertukarkan adalah sebagian besar alasan mengapa kebingungan ini bertahan tiga tahun melewati masa berlakunya.

Hal ini penting melampaui sekadar trivia. Seorang mahasiswa atau kolega yang diminta menurunkan perplexity atau menyebarkan panjang kalimat secara khusus untuk mengalahkan GPTZero sedang diberi saran yang ditujukan pada versi produk yang berhenti beroperasi pada 2023. Apa yang menggerakkan pengklasifikasi kalimat adalah pertanyaan yang terkait tetapi berbeda, lebih dekat pada uraian yang lebih luas tentang bagaimana AI detectors sebenarnya bekerja daripada pada salah satu statistik itu secara terpisah. GPTZero tidak berhenti mengukurnya, menurut pernyataannya sendiri keduanya berada di antara tujuh indikator yang memberi makan model saat ini, tetapi keduanya tidak lagi menjadi hal yang menentukan jawaban.

Apa yang Dinyatakan GPTZero Tidak Dapat Dilakukannya

Angka akurasi yang dinyatakan GPTZero kira-kira sekuat yang mungkin dipublikasikan oleh sebuah vendor tentang produknya sendiri, 96.5 persen akurasi pada dokumen campuran, tingkat false-positive keseluruhan yang dibatasi perusahaan pada 1 persen, dan 1.1 persen khususnya pada esai TOEFL, sebuah pengganti umum untuk tulisan bahasa Inggris nonpenutur asli. Angka-angka itu berasal dari evaluasi GPTZero sendiri, tanpa replikasi independen yang dikutip pada halaman yang melaporkannya.

Halaman keterbatasan GPTZero sendiri lebih spesifik daripada angka pemasaran. Perusahaan menyatakan bahwa akurasi meningkat ketika lebih banyak teks dikirimkan dan menurun pada tingkat kalimat dan paragraf dibandingkan dengan dokumen penuh. Perusahaan menyatakan bahwa data pelatihannya sebagian besar berupa prosa bahasa Inggris dewasa, sehingga teks yang menyimpang dari pola itu lebih sulit diklasifikasikan secara andal. Perusahaan menyatakan bahwa pengklasifikasi tidak dilatih untuk mendeteksi teks AI yang telah dimodifikasi secara berat setelah dihasilkan. Dan perusahaan menyatakan dengan jelas bahwa tulisan lain yang dihasilkan mesin atau sangat prosedural, bukan hanya keluaran chatbot, dapat ditandai dengan cara yang sama.

Tidak satu pun dari itu menjadi alasan untuk memperlakukan angka GPTZero sebagai sesuatu yang tidak perlu dipertanyakan, dan itu bukan satu-satunya detektor yang layak dipahami menurut kerangka kerjanya sendiri. Pembaca yang ingin tahu apa yang sebenarnya ditanggapi oleh sebuah pengklasifikasi seperti ini dapat melihat sendiri pola tersebut dengan pemeriksa perplexity gratis atau pemeriksa burstiness gratis, dua bagian dari koleksi alat gratis yang lebih lengkap yang mencakup lapisan statistik lain yang menjadi dasar laporan seperti ini.

Dua statistik utama GPTZero memiliki halaman masing-masing: apa yang diukur oleh perplexity dalam deteksi AI, dan aritmetika probabilitas token yang menghasilkan kedua angka tersebut.

Sebuah alat yang bersedia menamai titik butanya sendiri dengan setepat ini layak mendapat kepercayaan yang lebih besar daripada alat yang mengklaim tidak memilikinya, dan persentase berikutnya yang tidak dijelaskan dalam sebuah laporan adalah tempat yang baik untuk mulai menanyakan jenis alat apa yang menghasilkannya.

XLinkedInFacebook

Pertanyaan yang Sering Diajukan

Tidak. Pusat dukungan GPTZero menyatakan bahwa perusahaan berhenti menggunakan perplexity dan burstiness untuk deteksi sejak musim gugur 2023, setelah beralih ke pengklasifikasi deep-learning. Halaman teknologinya saat ini menjelaskan model klasifikasi kalimat demi kalimat dan tidak menyebutkan salah satu istilah tersebut. Deskripsi itu masih beredar karena penjelasan GPTZero sendiri pada 2023 memopulerkan kedua kata itu sebelum metodenya berubah.

Moe

PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.

Tetap terupdate tentang humanisasi AI

Dapatkan tips tentang penulisan akademik, deteksi AI, dan humanisasi yang dikirim ke kotak masuk Anda.

Tanpa spam. Berhenti berlangganan kapan saja.