Apakah Detektor AI Akurat? Positif Palsu dan Bias

Turnitin mengklaim bahwa tingkat positif palsu mereka kurang dari 1%. Sekelompok peneliti independen menguji beberapa detektor pada rentang sampel tulisan yang lebih luas dari penutur bahasa Inggris non-asli. Mereka menemukan bahwa rata-rata tingkat positif palsu lebih dari 60% pada jenis tulisan yang sama. Kedua angka itu nyata, keduanya telah dipublikasikan, dan keduanya berkaitan dengan detektor yang dijual ke pasar yang sama. Apakah detektor AI akurat? Itu bergantung pada populasi yang Anda uji, detektor yang Anda gunakan, dan bagaimana vendor Anda mendefinisikannya sejak awal.

Bagian ini tidak akan menjelaskan ulang bagaimana sebuah detektor menghitung skor itu. Mekanismenya, perplexity, probabilitas token, cara pengklasifikasi dilatih, dibahas secara rinci di tempat lain, dan sebaiknya Anda membacanya terlebih dahulu jika belum. Yang penting di sini adalah apa yang terjadi setelah skor itu ada: seberapa sering skor itu keliru, tulisan siapa yang paling sering keliru dinilai, dan berapa biaya nyata dari tuduhan palsu bagi seseorang yang tidak melakukan kesalahan apa pun.

Apakah detektor AI akurat?

Tidak secara konsisten, dan kesenjangan antara klaim pemasaran dan pengujian independen telah terdokumentasi dengan baik. Sekelompok peneliti yang dipimpin oleh Debora Weber-Wulff menerbitkan temuan mereka tentang 14 alat deteksi, termasuk 12 gratis dan dua komersial, yang diuji terhadap campuran teks manusia dan ChatGPT pada 2023. Mereka menemukan bahwa tidak satu pun dari alat ini akurat atau andal, dengan bias bawaan untuk melabeli teks mesin sebagai manusia, bukan sebaliknya. Dua dari alat komersial yang disertakan dalam pengujian ini adalah Turnitin dan PlagiarismCheck. Semua alat dalam pengujian ini berkinerja lebih buruk ketika teks diparafrasekan.

Namun dua tahun kemudian, keadaan tidak stagnan. Sebuah working paper dari Booth School, University of Chicago, oleh Brian Jabarian dan Alex Imas, menguji tiga pendatang baru, Pangram, GPTZero, dan Originality.ai, serta satu pesaing sumber terbuka, dengan hampir 2.000 tulisan yang ditulis manusia dari blog, berita, ulasan, dan fiksi. Dalam kondisi pengujian yang terkontrol, alat terbaik dalam kelompok itu tidak pernah turun di bawah akurasi 99.8 persen dan mempertahankan tingkat false positive pada level yang rendah. Model sumber terbuka itu berkinerja sebaik penebak acak. Keadaannya memang sudah membaik. Semacam itu. Sedikit.

Namun, masalahnya adalah kata terkontrol. Petikan benchmark bersih, lengkap, dan dihasilkan dalam kondisi yang diketahui. Esai yang diserahkan tidak pernah secara andal memenuhi ketiga hal itu. Hasil di dunia nyata mungkin tidak identik dengan hasil laboratorium, sebagaimana chief product officer Turnitin sendiri telah menyatakan secara publik, meskipun itu merupakan pengakuan yang jarang dan berguna dari sebuah vendor. Bagian berikutnya menempatkan angka vendor di samping angka independen agar kesenjangannya terlihat, bukan sekadar diklaim.

Klaim vendor versus pengujian independen

Tabel di bawah ini menyandingkan apa yang diklaim oleh empat detektor tentang diri mereka sendiri dengan apa yang diukur oleh peneliti independen ketika mereka menguji alat tersebut secara langsung. Bacalah dua kolom tengah secara bersama-sama, bukan kolom vendor saja.

Detektor	Akurasi yang diklaim vendor	Diamati secara independen	Apa yang dikatakan vendor tentang positif palsu
Turnitin	Ambang keyakinan 98% sebelum menandai, positif palsu di tingkat dokumen di bawah 1%	Sekitar 80% akurasi, yang terbaik dari 12 alat dalam perbandingan 2023, pada versi alat yang lebih awal	Di bawah 1% pada tingkat dokumen di atas ambang 20% tulisan AI, sekitar 4% pada tingkat kalimat
GPTZero	Deteksi teks AI 95.7% pada tingkat positif palsu 1% pada tolok ukur RAID independen	96% akurasi pada bagian pendek, tingkat positif palsu di bawah 1% dalam studi University of Chicago Booth tahun 2025	Melaporkan tingkat positif palsu 1% pada tolok ukur RAID
Originality.ai	99% akurasi, tingkat positif palsu 0.5% (model Lite), 1.5% (model Turbo)	Tingkat positif palsu di bawah 1%, tetapi melewatkan 10% hingga 40% teks yang ditulis AI dalam studi Booth yang sama	Menerbitkan angka positif palsu terpisah berdasarkan tingkat model
Pangram	Tingkat kesalahan yang dikatakannya lebih rendah lebih dari 38 kali dibandingkan alat pesaing, menyatakan tidak ada bias terhadap penulis bahasa Inggris non-asli	Akurasi tidak pernah di bawah 99.8%, tingkat positif palsu mendekati nol, dalam studi Booth	Menyatakan tingkat positif palsu mendekati nol di seluruh 10 domain teks dan 8 model bahasa

Ada dua hal yang menonjol. Pertama, semua angka dari vendor berasal dari laboratorium yang dikendalikan oleh vendor, sedangkan angka Booth berasal dari peneliti yang tidak memiliki apa pun untuk dijual. Kedua, Turnitin sama sekali tidak muncul dalam kolom tengah itu karena studi 2025 tidak mengujinya. Dalam tabel, angka independennya didasarkan pada perbandingan 2023 yang lebih awal, tetapi dilakukan pada versi alat yang lebih lama, jadi ingatlah hal ini ketika melihat tabel sebagai perbandingan yang setara.

Seberapa akurat deteksi AI Turnitin?

Turnitin tidak menerbitkan satu angka akurasi. Sebaliknya, Turnitin menerbitkan ambang batas dan sebuah kompromi. Perusahaan tersebut telah menyatakan bahwa mereka hanya menandai sebuah dokumen ketika mereka 98 persen yakin bahwa bagian yang ditandai ditulis oleh AI, dan bahwa ambang batas inilah yang menjaga tingkat positif palsu pada tingkat dokumen tetap di bawah 1 persen. Turnitin telah memperkirakan bahwa mereka menangkap sekitar 85 persen tulisan yang dibantu AI, dan membiarkan sisanya lolos secara sengaja daripada mengambil risiko tuduhan yang keliru.

Persentase aktual positif palsu yang dihasilkan Turnitin pada tingkat kalimat, ketika sebuah antarmuka menyorot baris-baris tertentu alih-alih seluruh dokumen, sebenarnya lebih dekat ke 4 persen. Ini adalah angka yang penting untuk diketahui jika seorang profesor mengambil tangkapan layar satu paragraf yang ditandai alih-alih skor seluruh dokumen, karena kalimat yang disorot membawa kemungkinan yang secara bermakna lebih tinggi untuk keliru dibandingkan skor dokumen di sebelahnya.

Perlu juga dicatat bahwa Turnitin telah mengakui kesenjangan ini secara langsung. Mereka menemukan bahwa hasil dunia nyata pertama mereka, khususnya untuk dokumen yang lebih pendek, memiliki tingkat positif palsu yang lebih tinggi daripada yang diperkirakan berdasarkan pengujian laboratorium mereka. Jadi mereka menyesuaikan panjang minimum dokumen agar dinilai dari 150 menjadi 300 kata. Itu adalah vendor yang menyesuaikan produknya sendiri karena angka yang dipublikasikan tidak bertahan di luar laboratorium, yang mengatakan banyak hal seperti halnya studi independen mana pun.

Apa yang sebenarnya dikenakan biaya oleh positif palsu kepada seorang mahasiswa

Hal ini terjadi pada seorang mahasiswa MBA eksekutif di Yale's School of Management. Mahasiswa tersebut dituduh melakukan pelanggaran, dalam arti yang paling harfiah. Detektor yang terlibat adalah GPTZero. Ujian akhir mahasiswa itu dalam sebuah mata kuliah keuangan telah ditandai oleh seorang asisten pengajar yang mengira tulisannya panjang dan rumit dengan tanda baca dan tata bahasa yang nyaris sempurna. Dan profesor tertentu ini menjalankannya melalui GPTZero, yang menilai jawaban-jawaban tersebut kemungkinan dihasilkan oleh AI.

Ia gagal dalam mata kuliah tersebut dan diskors selama satu tahun. Gugatan hukumnya, yang diajukan di pengadilan federal pada Februari 2025, menyatakan bahwa kebijakan Yale sendiri membatasi penggunaan alat seperti GPTZero karena alasan ini, yaitu tingkat false positive yang terdokumentasi terhadap penutur bahasa Inggris nonasli, dan bahwa ia menggunakannya dengan melanggar kebijakan tersebut. Pengajuannya juga menyebut bahwa GPTZero memberikan skor 100 persen AI-generated pada tulisan akademik oleh mantan presiden universitas Yale sendiri dan dekan sekolah bisnis.

Hakim menolak mengeluarkan injunction awal pada Mei 2025. Perkara ini belum juga diselesaikan, pada saat saya menulis ini. Penggugat, seorang warga negara Prancis, menyatakan bahwa bias yang sama yang telah diketahui terhadap penutur bahasa Inggris nonasli menyebabkan tulisannya tampil seperti itu. Itulah yang kita bahas pada bagian berikutnya. Yang tidak diperdebatkan adalah biayanya, satu tahun hilang dari program gelar, nilai gagal, biaya hukum, dan beberapa bulan berdebat tentang sebuah skor alih-alih meraih gelar. Tingkat false positive 1 persen terdengar kecil sampai populasi yang besar menjadikannya sesuatu yang sangat spesifik bagi seseorang.

Mengapa detektor AI salah mengklasifikasikan penutur bahasa Inggris nonasli?

Buruk, dan dengan selisih yang sangat besar. Itulah kesimpulan studi yang pertama kali memberi angka pada hal itu. Peneliti Stanford menjalankan tujuh detektor GPT yang banyak digunakan terhadap 91 esai TOEFL oleh penutur bahasa Inggris nonasli dan 88 esai oleh siswa kelas delapan di AS. Detektor tersebut membaca esai kelas delapan dengan benar hampir setiap saat. Ketika berhadapan dengan esai TOEFL, yang ditulis oleh orang dewasa yang cukup fasih untuk mengikuti tes bahasa Inggris tingkat pascasarjana, rata-rata tingkat false positive detektor tersebut adalah 61.3 persen. Delapan puluh sembilan dari 91 esai ditandai sebagai dihasilkan oleh GPT oleh setidaknya satu dari tujuh detektor tersebut, 18 dari esai itu ditandai oleh semua tujuh detektor.

Mekanismenya sama dengan yang mengatur sisanya deteksi, kosakata yang dapat diprediksi dan konstruksi kalimat yang lebih sederhana terbaca sebagai perplexity rendah, dan perplexity rendah terbaca sebagai buatan mesin, terlepas dari siapa yang memegang pena. Penulis yang bekerja dalam bahasa kedua mengandalkan frasa yang sudah mapan karena itulah sebenarnya rupa kefasihan dalam bahasa tambahan, dan itulah tepatnya profil yang dirancang untuk ditandai oleh detector.

Penulis dalam posisi itu tidak terbantu oleh saran untuk sekadar menulis lebih alami, karena yang alami justru itulah yang ditandai. Halaman TextPulse untuk penulis akademik ESL membahas pola frasa di balik risiko itu dengan lebih mendalam, termasuk apa yang mengubahnya tanpa mengubah makna kalimat.

Ini bukan kasus yang terisolasi. Pada Desember 2025, sebuah benchmark baru dirilis, yang secara eksplisit dirancang untuk mengevaluasi bias dalam detector ini. Benchmark tersebut mencakup lebih dari 200,000 sampel lintas berbagai demografi dan bahasa. Meskipun telah berlalu dua tahun sejak studi pertama Stanford dan mencakup banyak versi model yang berbeda dari detector yang sama, benchmark ini mengungkap bahwa bias terhadap pembelajar bahasa Inggris masih ada.

Hal ini tidak berlaku untuk semua vendor. Dokumentasi teknis Pangram sendiri menyatakan bahwa classifier-nya tidak bias terhadap penutur bahasa Inggris non-asli. Para peneliti Chicago Booth tidak menguji klaim ini secara independen, tetapi hal itu menunjukkan bahwa generasi detector yang lebih baru sedang dibangun dengan mempertimbangkan masalah ini, bukan mengabaikannya.

Jika Anda ingin melihat posisi tulisan Anda sendiri sebelum orang lain menilainya, sebuah free perplexity checker memberi Anda angka dasar yang sama seperti yang akan dihitung oleh detector, tanpa mengirimkan apa pun ke institusi terlebih dahulu.

Siapa lagi yang ditandai, dan mengapa

Penutur bahasa Inggris non-asli menanggung risiko terdokumentasi terbesar, tetapi logika statistik yang sama juga menjangkau tulisan lain. Tim Weber-Wulff menemukan bahwa semua 14 alat yang mereka uji menjadi kurang akurat ketika digunakan pada teks yang diparafrasekan, ini menggambarkan bagian yang bermakna dari penulisan akademik yang telah melalui pemeriksa bahasa, editor, atau coretan merah seorang pembimbing sebelum siapa pun menjalankan detektor padanya.

Tidak ada dari ini yang berarti bahwa angka itu tidak bermakna, hanya bahwa angka itu memerlukan koroborasi sebelum berarti apa pun tentang seseorang tertentu. Jika Anda memiliki teks yang terbaca seragam, panjang kalimat serupa, ritme serupa di sepanjang teks, teks itu akan memperoleh skor yang lebih mirip buatan mesin, terlepas dari siapa yang menulisnya atau mengapa. Hal ini dapat diperiksa secara langsung menggunakan free burstiness checker alih-alih ditebak.

Seperti apa kebijakan deteksi AI yang dapat dipertahankan

Yale sudah memiliki kebijakan yang dilaporkan membatasi alat seperti GPTZero, dengan alasan yang hampir sama seperti yang telah diuraikan artikel ini, yaitu tingkat positif palsu yang terdokumentasi dan bias yang terdokumentasi terhadap penulis bahasa Inggris non-asli. Jadi, ini bukan terutama kisah tentang satu mahasiswa yang kurang beruntung, melainkan tentang aturan yang sudah ada tetapi tidak dijalankan. Ketika suatu kebijakan benar-benar menegakkan perbedaan antara skor dan putusan, maka skor menjadi salah satu masukan, bukan putusan.

• Perlakukan skor sebagai salah satu masukan, jangan pernah sebagai satu-satunya dasar untuk temuan pelanggaran
• Ungkapkan tingkat positif palsu yang dipublikasikan alat tersebut kepada mahasiswa sebelum menggunakannya terhadap mereka
• Terapkan kehati-hatian ekstra pada penyerahan yang singkat dan tulisan bahasa Inggris non-asli, keduanya merupakan titik lemah yang terdokumentasi
• Jamin adanya jalur banding yang tidak mengharuskan pembuktian bahwa suatu statistik salah

Tidak ada dari ini yang luar biasa. Ini lebih dekat dengan cara setiap satu bukti forensik seharusnya diperlakukan di tempat lain, berguna, dapat diperiksa, dan tidak pernah cukup dengan sendirinya.

Bagi seorang penulis individual, prinsip yang sama berlaku sebelum suatu skor ada, bukan sesudahnya. Satu angka, dari alat apa pun, adalah estimasi, bukan putusan, dan memperlakukannya sebagai kepastian ke arah mana pun, aman atau tertangkap, menuntut lebih dari angka itu daripada yang dapat didukungnya.

Alat humanizer AI milik TextPulse sendiri AI humanizer tool melaporkan Human Score berdasarkan logika yang sama: sebuah estimasi yang dihitung dari teks Anda sendiri, bukan putusan detektor atas teks tersebut, berguna sebagai sinyal tentang bagaimana sebuah draf saat ini terbaca, bukan sebagai janji tentang apa yang akan dikatakan oleh detektor tertentu.

Pertanyaan tentang akurasi terbagi menjadi pertanyaan yang lebih sempit, masing-masing dengan halamannya sendiri. Tingkat detektor menandai tulisan manusia dibahas secara terpisah, demikian pula bukti spesifik tentang tingkat false positive Turnitin dan tentang akurasi ZeroGPT. Jika sebuah skor sudah digunakan untuk melawan Anda, ada bagian-bagian praktis tentang apa yang harus dilakukan ketika Anda dituduh menggunakan AI, tentang bukti yang dapat Anda kumpulkan untuk membuktikan bahwa Anda tidak menggunakan AI, dan tentang menulis surat banding yang menanggapi skor tersebut berdasarkan kerangka acuannya sendiri.

Angka pada laporan apa pun akan terus berubah seiring vendor melatih ulang model mereka dan peneliti terus mengujinya terhadap kasus yang lebih sulit. Namun, yang tidak boleh berubah adalah kebiasaan di baliknya: baca skor sebagai satu pengukuran di antara beberapa pengukuran, tanyakan pada populasi mana skor itu divalidasi, dan tanyakan apa yang tidak dikatakan vendor tentang kasus-kasus yang masih salah mereka klasifikasikan.