Apakah ZeroGPT Akurat?

Menurut klaim terkini perusahaan itu sendiri, akurasi ZeroGPT adalah tingkat yang "mendekati >98% pada evaluasi internal," sebuah angka yang diakui perusahaan berasal dari pengujian yang mereka lakukan terhadap sistem mereka sendiri, bukan dari laboratorium luar. Satu kualifikasi itu, internal, sudah merupakan sebagian besar dari apa yang perlu diketahui pembaca sebelum memperlakukan persentase dari detektor gratis mana pun sebagai fakta yang pasti.

ZeroGPT adalah salah satu detektor AI gratis yang paling banyak digunakan, terutama karena tidak memerlukan biaya dan memberikan jawaban dalam hitungan detik. Kesenjangan antara klaim vendor dan pengujian independen yang muncul secara umum pada detektor AI juga muncul di sini. Berikut ini adalah apa yang saat ini dinyatakan perusahaan tentang akurasi dan metodenya sendiri, apa yang tampaknya sebenarnya diukur oleh metode itu, dan mengapa alat seperti ini cenderung salah bekerja dengan cara yang spesifik dan dapat diprediksi pada jenis tulisan yang diserahkan oleh pembaca akademik.

Apa Itu Akurasi ZeroGPT, Menurut Perusahaan?

FAQ ZeroGPT sendiri menyatakan bahwa perusahaan "memberikan akurasi terdepan di industri dan terus ditingkatkan untuk mempertahankan kinerja terbaik di kelasnya, mendekati >98% pada evaluasi internal." Itu adalah klaim vendor tentang produknya sendiri, diuji oleh perusahaan itu sendiri, yang dirumuskan dengan kehati-hatian nyata dalam kata-katanya: "mendekati" suatu angka bukanlah pernyataan yang sama dengan mencapainya dan mempertahankannya, dan "evaluasi internal" berarti tidak ada pihak luar yang telah menerbitkan angka yang sepadan. Tidak ada pada halaman itu yang menyatakan seberapa besar set uji internal tersebut, apa isinya, atau siapa di luar perusahaan yang meninjau metodologinya.

Perusahaan merekomendasikan setidaknya 150 hingga 200 kata teks untuk hasil yang stabil, dengan 500 hingga 1,000 kata atau lebih yang semakin meningkatkan keandalan, dan secara langsung menyatakan bahwa cuplikan yang sangat pendek atau banyak diedit "carry fewer signals." Pengungkapan tunggal ini lebih penting daripada persentase pada judul. Ini adalah pengakuan dari vendor sendiri bahwa skor tersebut hanya seterpercaya inputnya sepanjang dan setidak tersentuh, suatu kondisi yang tidak selalu dipenuhi oleh pengajuan yang nyata.

Metode Apa yang Sebenarnya Digunakan ZeroGPT?

ZeroGPT menyebut sistem dasarnya DeepAnalyse, yang dijelaskan di situsnya sendiri sebagai "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives" yang membaca teks "from the macro level to the micro one." FAQ-nya menjelaskan sesuatu yang lebih spesifik di balik merek tersebut: analisis terhadap "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets."

Burstiness dan entropy tidak unik bagi ZeroGPT. Keduanya adalah sifat statistik yang sama, seberapa besar panjang kalimat dan ritme bervariasi, serta seberapa dapat diprediksi setiap kata berikutnya, yang dibahas oleh penjelasan milik TextPulse sendiri tentang how AI detectors work sebagai mekanisme umum di balik seluruh kategori alat ini. Sebuah free perplexity checker menunjukkan angka dasar yang sama itu secara langsung, tanpa meminta penulis terlebih dahulu mempercayai persentase dari satu vendor tertentu.

Mengapa Penulisan Akademik Membuat Detektor Ini Keliru?

FAQ ZeroGPT menyatakannya seperti ini: "highly polished, formulaic, or low-entropy writing can resemble AI." Prosa akademik dirancang untuk penulisan yang sangat rapi, formulaik, dan berentropy rendah. Sebuah bagian metode, tinjauan pustaka, dan surat pengantar formal semuanya memberi nilai pada frasa konvensional daripada yang inventif, karena konvensi itulah yang sejak awal membuat dokumen dapat digunakan oleh pembacanya, dan konvensi itu justru merupakan pola berentropy rendah yang disebut oleh pengungkapan vendor sendiri sebagai risiko.

Pengujian independen yang ditelaah sejawat menunjukkan mengapa mode kegagalan ini berdampak lebih berat pada sebagian penulis daripada yang lain. Sebuah studi Stanford tahun 2023 menjalankan tujuh detektor yang banyak digunakan, termasuk ZeroGPT, terhadap 91 esai TOEFL asli yang ditulis oleh penutur bahasa Inggris non-asli dan 88 esai yang ditulis oleh siswa kelas delapan di AS. ZeroGPT menandai 48 persen esai TOEFL sebagai dihasilkan AI, dibandingkan dengan 0 persen esai kelas delapan, arah kesalahan yang sama yang ditunjukkan oleh setiap detektor dalam studi itu, hanya dengan besaran yang berbeda.

Tidak ada sesuatu pun tentang kesenjangan itu yang khas bagi ZeroGPT, dan tidak ada sesuatu pun tentangnya yang merupakan informasi baru. Itu adalah pola bias penulis non-asli yang sama yang didokumentasikan di seluruh industri detektor, dibahas lebih rinci pada halaman TextPulse sendiri tentang mengapa detektor AI bias terhadap penutur non-asli. Yang ditunjukkan kesenjangan itu secara khusus tentang alat konsumen gratis adalah bahwa keterbatasan yang diungkapkan oleh vendornya sendiri, tulisan berentropi rendah terbaca seperti dibuat mesin, bukanlah sesuatu yang hipotetis. Sebuah uji yang ditelaah sejawat menangkap hal itu terjadi pada produk yang tepat ini bertahun-tahun sebelum FAQ perusahaan saat ini menyebut mekanismenya dengan kata-katanya sendiri.

Apakah Skor Detektor Gratis Dapat Membuktikan Sesuatu Tentang Satu Dokumen?

Tidak, jika berdiri sendiri. Persentase ZeroGPT bukanlah bukti apa pun tentang dokumen tertentu, dalam kedua arah. Itu hanyalah perkiraan satu model, dibangun atas pengujian internal yang belum dipublikasikan oleh perusahaan dalam bentuk yang dapat diperiksa oleh siapa pun di luar perusahaan, diterapkan pada tulisan yang panjangnya, riwayat penyuntingannya, dan genrenya semuanya mengubah pembacaan dengan cara yang sudah diakui oleh FAQ vendor sendiri. Memperlakukan satu skor gratis sebagai putusan menuntut lebih dari skor itu daripada yang diklaim oleh perusahaan penerbitnya.

Yang benar-benar berguna dari sebuah skor adalah sesuatu yang lebih sempit dan lebih biasa, yaitu pembacaan cepat tanpa biaya tentang posisi sebuah draf saat ini pada jenis pengukuran statistik yang sama yang juga dijalankan oleh alat institusional berbayar, sebelum orang lain melihatnya. alat gratis TextPulse mencakup wilayah yang sama secara langsung, tanpa meminta penulis menebak skor dari beberapa detektor gratis mana yang harus dipercaya terlebih dahulu.

Angka akurasi menyembunyikan siapa yang terdampak oleh kesalahan dan apa yang memicunya. Mengetahui kapan menggunakan a, an dan the menghapus salah satu pola yang memicu penandaan, dan apa arti sebenarnya dari false positive dijelaskan secara terpisah.

Tidak ada dari ini yang membuat angka ZeroGPT menjadi tidak bermakna, dan tidak ada dari ini yang membuat angka tersebut memadai dengan sendirinya. Sebuah skor adalah perkiraan awal, dihasilkan oleh suatu metode yang oleh perusahaan dijelaskan hanya secara garis besar dan belum dibuka untuk pengujian eksternal, pada tulisan yang genrenya saja sudah dapat mengubah hasil sebelum siapa pun yang terlibat melakukan kesalahan apa pun. Dua kata yang membawa informasi paling banyak pada halaman FAQ itu bukanlah persentasenya. Dua kata itu adalah penyangga yang tepat berada di sebelahnya: internal, dan mendorong ke arah. Skor gratis adalah titik awal untuk percakapan tentang sebuah draf, bukan argumen penutup di dalamnya.

Temuan Riset Kami Sendiri

Dalam studi kesepakatan detektor TextPulse Research, sembilan detektor AI komersial menilai 90 teks akademik yang sama. Salah satunya adalah teks hibrida 455 kata: pembuka dan penutup tulisan manusia yang mengapit bagian tengah 168 kata buatan AI. ZeroGPT memberi teks ini skor 7.6% AI, sementara vonis alat lain atas kata-kata yang sama berkisar dari 0% hingga 95.7% AI. Makalah lengkap, korpus, dan matriks skor tiap alat tersedia terbuka di TextPulse Research.