Ulasan Winston AI: Klaim Akurasi 99.98% vs Bukti

Winston AI mengiklankan akurasi 99.98%, angka klaim mandiri tertinggi dari semua pendeteksi AI arus utama. Angka itu tercantum di beranda perusahaan di samping kata-kata "The Most Trusted AI Detector," dan berasal dari pengujian internal perusahaan sendiri, bukan dari laboratorium luar. Tidak ada metodologi, ukuran set uji, rasio sampel manusia terhadap AI, atau ambang operasi yang dipublikasikan bersamanya. Kesenjangan antara klaim dan dokumentasinya adalah hal pertama yang perlu diketahui pembaca yang cermat tentang alat ini.

Hal kedua adalah bahwa Winston memang telah diuji oleh pihak luar, sesuatu yang tidak dapat dikatakan oleh beberapa pendeteksi. Tolok ukur RAID, sebuah studi yang ditelaah sejawat dan dipresentasikan di ACL 2024, menguji Winston terhadap sekitar 6.2 juta teks yang dihasilkan mesin dan mengukur akurasi keseluruhan 71.0% dengan tingkat positif palsu ditetapkan pada 5%. Itu sangat jauh dari 99.98%. Hasil itu juga menempatkan Winston di posisi kedua dari empat pendeteksi komersial yang diuji, di atas GPTZero dan ZeroGPT. Kedua fakta itu penting, dan tidak saling meniadakan.

Uraian berikut menjelaskan apa itu Winston dan untuk siapa alat ini dibuat, apa yang diklaim vendor, apa arti dan batasan statistik dari tolok ukur mandiri 99.98%, serta apa yang sebenarnya ditunjukkan oleh angka independen.

Apa Itu Winston AI dan Siapa yang Menggunakannya?

Winston AI adalah pendeteksi berbayar berbasis langganan yang ditujukan langsung kepada pendidik dan penerbit konten. Daftar fiturnya menyerupai alur kerja pengajar: situs perusahaan menjelaskan OCR yang mengekstrak teks dari dokumen hasil pindai, foto, dan tulisan tangan, integrasi Google Classroom yang tercantum di antara platform yang didukungnya, pemeriksa plagiarisme di samping deteksi AI, serta pengorganisasian dokumen untuk mengelola kumpulan pengiriman. Vendor menyatakan bahwa alat ini mendeteksi keluaran dari ChatGPT, Gemini, Claude, LLaMA "and much more."

Bagian yang paling khas dari antarmuka ini adalah keluaran per kalimat. Alih-alih hanya mengembalikan satu persentase, Winston menghasilkan apa yang disebutnya sebagai peta prediksi AI, yaitu penilaian berwarna, kalimat demi kalimat, tentang bagian mana dari suatu dokumen yang terbaca sebagai hasil generasi mesin. Bagi pendidik, peta itu lebih berguna daripada skor mentah, karena menunjukkan di mana kecurigaan alat tersebut terkonsentrasi. Namun, peta itu juga mudah ditafsirkan secara berlebihan, suatu hal yang dibahas di bawah.

Apa yang Diklaim Perusahaan?

Klaim utama pada beranda Winston AI adalah "99.98% Accurate." Hingga saat penulisan ini, halaman yang memuat angka tersebut tidak memublikasikan bagaimana korpus uji dibangun, berapa banyak sampel yang dikandungnya, campuran teks manusia dan AI seperti apa yang digunakan, atau pada ambang keputusan berapa detektor itu diatur ketika angka tersebut diukur. Hal itu tidak tidak lazim bagi industri ini, kesenjangan yang sama antara klaim akurasi vendor dan bukti independen muncul di hampir setiap detektor di pasar. Versi klaim Winston hanyalah angka terbesar yang pernah ditempelkan siapa pun padanya.

Apa Arti Sebenarnya dari Tolok Ukur Mandiri 99.98%?

Pertimbangkan aritmetika itu dengan serius sejenak. Tingkat akurasi 99.98% berarti 2 kesalahan dalam setiap 10,000 sampel. Untuk mengukur angka itu sama sekali, sebuah perusahaan memerlukan himpunan uji berlabel yang setidaknya terdiri atas puluhan ribu dokumen, dengan asal-usul sebenarnya dari setiap teks diketahui secara pasti. Setelah itu, angka tersebut hanya menggambarkan kinerja pada korpus itu, model AI itu, prompt itu, genre itu, panjang teks itu, pada satu ambang yang dipilih.

Tidak ada satu pun dari hal itu yang memerlukan itikad buruk. Sebuah detektor yang dilatih pada esai yang dihasilkan oleh model chat populer, lalu diuji pada korpus esai yang dihasilkan oleh model chat populer, memang akan memperoleh skor yang sangat mendekati batas maksimum. Masalahnya adalah transferabilitas. Pada saat teks yang masuk berasal dari model yang berbeda, strategi sampling yang berbeda, atau penulis yang gaya alaminya luar biasa seragam, korpus yang digunakan untuk mengukur tolok ukur itu tidak lagi menggambarkan teks yang sedang dinilai. Tolok ukur internal adalah eksperimen terkontrol yang dijalankan oleh pihak yang paling berkepentingan terhadap hasilnya, dengan kondisi yang dipilihnya sendiri. Itu adalah bukti, tetapi jenis yang paling lemah, dan metodologi yang hilang berarti tidak seorang pun di luar perusahaan itu bahkan dapat memeriksanya.

Apa yang Ditunjukkan oleh Pengujian Independen?

Uji publik paling ketat yang mencakup Winston adalah RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors, sebuah studi yang ditelaah sejawat oleh Dugan dan rekan-rekannya yang dipresentasikan di ACL 2024. RAID mengevaluasi 12 detektor, termasuk empat produk komersial, terhadap sekitar 6.2 juta generasi yang mencakup 11 model bahasa, 8 domain penulisan, 4 strategi decoding, dan 11 serangan adversarial, dengan setiap detektor dikalibrasi pada tingkat positive rate palsu 5% yang sama sehingga skornya dapat dibandingkan.

Detektor	Akurasi keseluruhan dalam RAID (FPR ditetapkan pada 5%)
Originality.ai	85.0%
Winston AI	71.0%
GPTZero	66.5%
ZeroGPT	65.5%

Dua pembacaan atas tabel itu sama-sama jujur. 71.0% milik Winston sama sekali tidak mendekati 99.98%, dan Winston tetap mengalahkan dua dari tiga pesaing komersialnya pada tolok ukur publik tersulit yang tersedia. Rata-rata itu juga menyembunyikan sebaran yang mengungkap banyak hal. Dalam hasil per model RAID, Winston memperoleh 99.6% pada keluaran ChatGPT dan 98.8% pada keluaran GPT-4, mendekati angka yang diiklankan sendiri, tetapi turun menjadi 47.6% pada teks GPT-2 dan 24.8% pada teks dari model dasar MPT-30B. Pada teks mesin yang diparaprase, akurasinya turun menjadi 52.6%.

Sebaran itu adalah keseluruhan cerita dari klaim 99.98% dalam bentuk ringkas. Pada teks yang menyerupai apa yang mungkin menjadi sasaran penyetelan detektor itu, model obrolan terbaru yang menulis prosa biasa, Winston berkinerja mendekati materi pemasarannya. Di luar distribusi itu, kinerjanya merosot tajam. Tolok ukur internal yang dibangun dari teks dalam distribusi dapat benar-benar menghasilkan angka yang nyaris sempurna sambil hampir tidak memberi tahu Anda apa pun tentang campuran model, suntingan, dan parafrase yang berantakan dalam kotak masuk nyata. Sinyal statistik yang menjadi dasar detektor dibahas lebih rinci dalam penjelasan kami tentang cara kerja detektor AI.

Positif Palsu: Siapa yang Dirugikan?

Rancangan RAID memperlihatkan satu kompromi yang jarang ditunjukkan oleh pemasaran vendor: setiap skor akurasi dalam studi itu diukur setelah tingkat positif palsu ditetapkan pada 5%. Pada kalibrasi itu, 1 dari 20 dokumen yang benar-benar ditulis manusia akan ditandai. Sebuah detektor dapat menurunkan tingkat itu dengan menaikkan ambangnya, tetapi hanya dengan menangkap lebih sedikit teks AI, kedua angka itu bergerak bersama, dan vendor yang mengutip salah satunya tanpa yang lain hanya mengutip setengah hasil.

Beban dari kesalahan-kesalahan itu tidak tersebar secara merata. Tulisan yang formulaik, konvensional, dan bervariansi rendah terbaca seperti buatan mesin bagi setiap detektor statistik, dan deskripsi itu cocok dengan bagian metode, tinjauan pustaka, serta prosa cermat dari penulis yang bekerja dalam bahasa kedua. Pola AI detectors yang menandai penutur bahasa Inggris non-native pada tingkat yang lebih tinggi terdokumentasi di seluruh industri, dan tidak ada dalam metode Winston yang mengecualikannya. Peta prediksi per kalimat layak mendapat kehati-hatian yang sama, sebuah kalimat yang disorot merah adalah pengamatan statistik tentang pola kata, bukan bukti tentang kepengarangan. Mahasiswa yang menghadapi penandaan yang keliru harus memulai dari dokumentasi, bukan pengakuan, panduan kami tentang cara membuktikan bahwa Anda tidak menggunakan AI membahas apa yang benar-benar meyakinkan.

Harga dan Akses

Winston adalah produk berbayar dengan uji coba terbatas. Winston mencantumkan uji coba gratis 14 hari dengan 2.000 kredit, paket Essential seharga $18 per bulan, atau $10 per bulan jika ditagih tahunan, dengan 100.000 kredit bulanan, paket Advanced seharga $29 per bulan, atau $16 per tahun, yang menambahkan kursi tim dan pemindaian yang lebih besar, serta tingkat Elite di atasnya. Bagi seorang pendidik individu yang menyaring sejumlah kiriman setara satu kelas, itu menempatkan Winston dalam wilayah pembelian impulsif, lebih murah daripada kontrak institusional, lebih mampu daripada kebanyakan alat gratis.

Posisi Winston dalam Lanskap Detektor

Berdasarkan bukti independen, Winston adalah detektor komersial dengan harga menengah yang berkinerja lebih baik daripada tingkat gratis di pasar dan lebih buruk daripada iklannya sendiri. Alat ini cocok bagi pendidik yang menginginkan visibilitas per kalimat, integrasi Classroom, dan pemeriksaan plagiarisme dalam satu alat yang murah, serta yang memperlakukan setiap hasil sebagai pemicu percakapan, bukan putusan. Alat ini tidak cocok bagi siapa pun yang membutuhkan skor untuk berfungsi sebagai bukti, karena tidak ada skor detektor yang dapat berfungsi demikian.

Perbandingan Lengkap

Winston adalah salah satu detektor dalam bidang yang padat, dan selisih 71% versus 99.98% merupakan salah satu contoh dari pola yang berlaku di seluruh industri. Untuk melihat bagaimana posisinya dibandingkan dengan Turnitin, GPTZero, Originality, ZeroGPT, dan yang lain berdasarkan tolok ukur yang sama yang mengutamakan bukti, lihat panduan lengkap kami tentang AI detectors compared.

Temuan Riset Kami Sendiri

Dalam studi kesepakatan detektor TextPulse Research, sembilan detektor AI komersial menilai 90 teks akademik yang sama. Salah satunya adalah teks hibrida 455 kata: pembuka dan penutup tulisan manusia yang mengapit bagian tengah 168 kata buatan AI. Winston AI memberi teks ini skor 7% AI, sementara vonis alat lain atas kata-kata yang sama berkisar dari 0% hingga 95.7% AI. Makalah lengkap, korpus, dan matriks skor tiap alat tersedia terbuka di TextPulse Research.