Apakah Detektor AI Akurat? Positif Palsu dan Bias

Turnitin mengklaim bahwa tingkat false positive mereka kurang dari 1%. Sekelompok peneliti independen menguji beberapa detektor pada rentang sampel tulisan yang lebih luas dari penutur bahasa Inggris non-native. Mereka menemukan bahwa rata-rata tingkat false positive lebih dari 60% pada jenis tulisan yang sama. Kedua angka itu nyata, keduanya dipublikasikan, dan keduanya berkaitan dengan detektor yang dijual ke pasar yang sama. Apakah detektor AI akurat? Itu bergantung pada populasi yang Anda uji, detektor yang Anda gunakan, dan bagaimana vendor Anda mendefinisikannya sejak awal.

Bagian ini tidak akan menjelaskan ulang bagaimana sebuah detektor menghitung skor itu. Mekanismenya, perplexity, probabilitas token, bagaimana pengklasifikasi dilatih, dibahas secara rinci di tempat lain, dan sebaiknya Anda membacanya terlebih dahulu jika belum. Yang penting di sini adalah apa yang terjadi setelah skor itu ada: seberapa sering skor itu keliru, tulisan siapa yang paling sering keliru dinilai, dan apa biaya nyata dari tuduhan palsu bagi seseorang yang tidak melakukan kesalahan apa pun.

Apakah detektor AI akurat?

Tidak secara konsisten, dan kesenjangan antara klaim pemasaran dan pengujian independen telah terdokumentasi dengan baik. Sekelompok peneliti yang dipimpin oleh Debora Weber-Wulff memublikasikan temuan mereka pada 14 alat deteksi, termasuk 12 gratis dan dua komersial, yang diuji terhadap campuran teks manusia dan ChatGPT pada 2023. Mereka menemukan bahwa tidak satu pun dari alat ini akurat atau andal, dengan bias bawaan untuk melabeli teks mesin sebagai manusia, bukan sebaliknya. Dua dari alat komersial yang disertakan dalam pengujian ini adalah Turnitin dan PlagiarismCheck. Semua alat dalam pengujian ini berkinerja lebih buruk ketika teks diparafrasekan.

Namun dua tahun kemudian, keadaan tidak stagnan. Sebuah working paper dari Booth School, University of Chicago, oleh Brian Jabarian dan Alex Imas, menguji tiga pendatang baru, Pangram, GPTZero dan Originality.ai, serta satu pesaing sumber terbuka, dengan hampir 2.000 tulisan yang dibuat manusia dari blog, berita, ulasan, dan fiksi. Dalam kondisi pengujian yang terkontrol, alat terbaik dalam kelompok itu tidak pernah turun di bawah akurasi 99.8 persen dan mempertahankan tingkat false positive pada level yang rendah. Model sumber terbuka itu berkinerja sebaik penebak acak. Keadaannya memang sudah jauh lebih baik. Semacam itu. Sedikit.

Namun, masalahnya adalah kata terkontrol. Petikan benchmark bersih, lengkap, dan dihasilkan dalam kondisi yang diketahui. Esai yang diserahkan tidak pernah secara andal memiliki ketiga hal itu. Hasil di dunia nyata mungkin tidak identik dengan hasil laboratorium, sebagaimana telah dikatakan secara publik oleh chief product officer Turnitin sendiri, meskipun itu merupakan pengakuan yang jarang dan berguna dari seorang vendor. Bagian berikut menempatkan angka vendor di samping angka independen agar kesenjangannya terlihat, bukan sekadar diklaim.

Klaim vendor versus pengujian independen

Tabel di bawah ini menyandingkan apa yang diklaim oleh empat detektor tentang diri mereka sendiri dengan apa yang diukur oleh peneliti independen ketika mereka menguji alat tersebut secara langsung. Bacalah dua kolom tengah bersama-sama, bukan kolom vendor saja.

Detector	Akurasi yang diklaim vendor	Diamati secara independen	Apa yang dikatakan vendor tentang false positive
Turnitin	Ambang keyakinan 98% sebelum menandai; false positive tingkat dokumen di bawah 1%	Sekitar 80% akurasi, yang terbaik dari 12 alat dalam perbandingan 2023, pada versi alat yang lebih awal	Di bawah 1% pada tingkat dokumen di atas ambang 20% ditulis AI; sekitar 4% pada tingkat kalimat
GPTZero	Deteksi teks AI 95.7% pada tingkat false positive 1% pada benchmark RAID independen	96% akurasi pada bagian teks pendek; tingkat false positive di bawah 1% dalam studi University of Chicago Booth 2025	Melaporkan tingkat false positive 1% pada benchmark RAID
Originality.ai	99% akurasi; tingkat false positive 0.5% (model Lite), 1.5% (model Turbo)	Tingkat false positive di bawah 1%, tetapi melewatkan 10% hingga 40% teks yang ditulis AI dalam studi Booth yang sama	Menerbitkan angka false positive terpisah berdasarkan tingkat model
Pangram	Tingkat kesalahan yang dikatakannya lebih rendah lebih dari 38 kali dibandingkan alat pesaing; menyatakan tidak ada bias terhadap penulis bahasa Inggris nonpenutur asli	Akurasi tidak pernah di bawah 99.8%, tingkat false positive mendekati nol, dalam studi Booth	Menyatakan tingkat false positive yang mendekati nol di seluruh 10 domain teks dan 8 model bahasa

Ada dua hal yang menonjol. Pertama, semua angka vendor berasal dari laboratorium yang dikendalikan oleh vendor, dan angka Booth berasal dari peneliti yang tidak memiliki apa pun untuk dijual. Kedua, Turnitin sama sekali tidak muncul dalam kolom tengah itu karena studi 2025 tidak mengujinya. Dalam tabel, angka independennya didasarkan pada perbandingan 2023 yang lebih awal tetapi dilakukan pada versi alat yang lebih lama, jadi ingatlah hal ini ketika melihat tabel sebagai perbandingan yang setara.

Seberapa akurat deteksi AI Turnitin?

Turnitin tidak menerbitkan satu angka akurasi. Sebaliknya, Turnitin menerbitkan sebuah ambang batas dan sebuah kompromi. Perusahaan tersebut telah menyatakan bahwa ia hanya menandai sebuah dokumen ketika ia 98 persen yakin bahwa bagian yang ditandai ditulis oleh AI, dan bahwa ambang batas inilah yang menjaga tingkat false positive pada tingkat dokumen tetap di bawah 1 persen. Turnitin telah memperkirakan bahwa ia menangkap sekitar 85 persen tulisan yang dibantu AI, dan membiarkan sisanya lolos secara sengaja daripada mengambil risiko tuduhan yang keliru.

Persentase aktual false positive yang dihasilkan Turnitin pada tingkat kalimat, ketika sebuah antarmuka menyoroti baris-baris tertentu alih-alih seluruh dokumen, sebenarnya lebih dekat ke 4 persen. Ini adalah angka yang penting untuk diketahui jika seorang profesor mengambil tangkapan layar satu paragraf yang ditandai alih-alih skor seluruh dokumen, karena sebuah kalimat yang disorot memiliki kemungkinan yang secara bermakna lebih tinggi untuk keliru daripada skor dokumen di sebelahnya.

Perlu juga dicatat bahwa Turnitin telah mengakui kesenjangan ini secara langsung. Mereka menemukan bahwa hasil dunia nyata pertama mereka, khususnya untuk dokumen yang lebih pendek, memiliki tingkat false positive yang lebih tinggi daripada yang diharapkan berdasarkan pengujian laboratorium mereka. Jadi mereka menyesuaikan panjang minimum dokumen agar dinilai dari 150 menjadi 300 kata. Itu adalah vendor yang menyesuaikan produknya sendiri karena angka yang dipublikasikan tidak bertahan di luar laboratorium, yang mengatakan banyak hal, sama seperti studi independen mana pun.

Apa yang sebenarnya harus dibayar seorang mahasiswa akibat false positive

Hal ini terjadi pada seorang mahasiswa MBA eksekutif di Yale's School of Management. Mahasiswa tersebut dituduh melakukan pelanggaran, dalam arti yang paling harfiah. Detektor yang terlibat adalah GPTZero. Ujian akhir mahasiswa itu dalam sebuah mata kuliah keuangan telah ditandai oleh seorang asisten pengajar yang mengira tulisannya panjang dan rumit dengan tanda baca dan tata bahasa yang nyaris sempurna. Dan profesor tertentu ini menjalankannya melalui GPTZero, yang menilai jawaban-jawaban tersebut kemungkinan dihasilkan oleh AI.

Dia gagal dalam mata kuliah tersebut dan diskors selama satu tahun. Gugatan hukumnya, yang diajukan di pengadilan federal pada Februari 2025, menyatakan bahwa kebijakan Yale sendiri membatasi penggunaan alat seperti GPTZero karena alasan ini, yaitu tingkat positif palsu yang terdokumentasi terhadap penutur bahasa Inggris non-asli, dan bahwa ia menggunakannya dengan melanggar kebijakan tersebut. Pengajuannya juga mengutip bahwa GPTZero memberikan skor 100 persen dihasilkan AI pada tulisan akademik milik mantan presiden universitas Yale sendiri dan dekan sekolah bisnis.

Hakim menolak untuk mengeluarkan perintah awal pada Mei 2025. Perkara ini belum juga diselesaikan, pada saat saya menulis ini. Penggugat, seorang warga negara Prancis, menyatakan bahwa bias yang sama yang telah diketahui terhadap penutur bahasa Inggris non-asli menyebabkan tulisannya tampil seperti itu. Itulah yang kami bahas pada bagian berikutnya. Yang tidak diperdebatkan adalah biayanya, satu tahun hilang dari program gelar, nilai gagal, biaya hukum, dan beberapa bulan berdebat tentang sebuah skor alih-alih meraih gelar. Tingkat positif palsu 1 persen terdengar kecil sampai populasi besar menjadikannya sesuatu yang spesifik bagi seseorang.

Karakteristik Tulisan Apa yang Membuat Teks Manusia Tampak Dibuat Mesin

Empat jenis tulisan biasa membawa risiko terbesar, dan tidak satu pun di antaranya melibatkan seseorang melakukan kesalahan. Dokumen pendek, tulisan yang sangat formulaik, materi yang dikutip atau berbasis templat, dan tulisan yang telah disunting secara ketat semuanya cenderung dinilai lebih dapat diprediksi daripada prosa yang disusun secara bebas, yang merupakan satu-satunya sifat yang sebenarnya diukur oleh setiap detektor. Sebuah free burstiness checker mengukur variasi yang sama itu secara langsung, yang merupakan cara lebih cepat untuk melihat polanya daripada membaca deskripsinya.

Beberapa genre secara sengaja bersifat formulaik. Bagian metode, laporan laboratorium, surat lamaran standar, dan tinjauan pustaka semuanya memberi penghargaan pada frasa konvensional daripada yang inventif, karena konvensi itulah yang membuat dokumen dapat digunakan oleh pembacanya. Para peneliti menguji hal ini secara langsung pada tulisan nyata: mereka menjalankan 14,400 abstrak jurnal yang diterbitkan antara 1980 dan 2023, tahun-tahun sebelum model bahasa besar apa pun ada, melalui sebuah detektor yang tersedia untuk umum. Hingga 8 persen ditandai sebagai dihasilkan AI tanpa memandang tahun publikasi, dan abstrak New England Journal of Medicine ditandai sebesar 10.24 persen, tingkat positif palsu tertinggi dari lima jurnal yang diuji.

Pengujian itu tidak mungkin mendeteksi apa pun tentang ChatGPT, karena ChatGPT tidak ada selama sebagian besar tahun yang dijadikan sampel. Pengujian itu mendeteksi genre. Secara lebih formal, sebagaimana analisis statistik tahun 2026 atas masalah deteksi akan menyatakannya, tidak ada cara untuk membangun detektor yang akan membedakan antara kalimat yang dapat diprediksi karena ditulis oleh perangkat lunak dan kalimat yang dapat diprediksi karena memang itulah jenis kalimat yang Anda tulis dalam genrenya. Keduanya tampak persis sama dari luar.

Penyuntingan berat mendorong ke arah yang serupa. Draf pertama membawa ketidakteraturan spesifik seorang penulis, urutan kata yang ganjil, kalimat yang menjadi panjang karena gagasannya memang panjang. Satu tahap penyuntingan naskah yang menyeluruh, terutama yang dijalankan melalui alat lain, cenderung merapikan tepat ketidakteraturan itu. Perbandingan independen terbesar sejauh ini terhadap alat deteksi menguji 14 alat dan menemukan bahwa akurasi turun lebih jauh, untuk setiap alat, setelah teks sampel diparaprase atau diterjemahkan mesin.

Karakteristik penulisan	Mengapa hal ini menurunkan ketidakpastian yang tampak pada sebuah dokumen	Apa yang ditunjukkan oleh bukti
Pengajuan singkat	Teks yang lebih sedikit memberi lebih sedikit ruang bagi variasi alami yang membedakan ritme manusia dari ritme mesin	Skor pada dokumen singkat lebih mudah berfluktuasi karena kekuatan beberapa kalimat yang tidak biasa
Penulisan yang formulaik atau spesifik disiplin	Konvensi genre memberi penghargaan pada frasa yang diharapkan daripada frasa yang inventif	14,400 abstrak jurnal sebelum ChatGPT (1980 to 2023) masih memicu hingga 8% positif palsu; abstrak satu jurnal mencapai 10.24%
Draf yang banyak disunting atau diparafrasekan	Tahap pemolesan meratakan ketidakteraturan individual yang dibaca oleh detektor sebagai ciri manusia	Perbandingan independen terhadap 14 alat menemukan bahwa akurasi turun lebih jauh setelah parafrase atau penerjemahan mesin
Materi yang dikutip atau berbasis templat	Bagian yang dikutip membawa tanda statistik dari sumbernya, bukan dari penulis yang mengutipnya	Detektor yang tidak mengecualikan kutipan menilai dokumen di sekitarnya berdasarkan teks pinjaman

Mengapa detektor AI salah mengklasifikasikan penutur bahasa Inggris non-asli?

Buruk, dan dengan selisih yang besar. Itulah kesimpulan dari studi yang pertama kali memberi angka pada hal ini. Peneliti Stanford menjalankan tujuh detektor GPT yang banyak digunakan terhadap 91 esai TOEFL oleh penutur bahasa Inggris non-asli dan 88 esai oleh siswa kelas delapan di AS. Detektor tersebut membaca esai kelas delapan dengan benar hampir setiap saat. Ketika berhadapan dengan esai TOEFL, yang ditulis oleh orang dewasa yang cukup fasih untuk mengikuti tes bahasa Inggris tingkat pascasarjana, detektor tersebut rata-rata menunjukkan tingkat positif palsu sebesar 61.3 percent. Delapan puluh sembilan dari 91 esai ditandai sebagai dihasilkan oleh GPT oleh setidaknya satu dari tujuh detektor; 18 dari esai tersebut ditandai oleh semua tujuh detektor.

Mekanismenya sama dengan yang mengatur bagian lain dari deteksi, kosakata yang dapat diprediksi dan konstruksi kalimat yang lebih sederhana terbaca sebagai perplexity yang rendah, dan perplexity yang rendah terbaca sebagai buatan mesin, terlepas dari siapa yang memegang pena. Penulis yang bekerja dalam bahasa kedua mengandalkan frasa yang sudah mapan karena itulah rupa sebenarnya dari kefasihan dalam bahasa tambahan, dan justru itulah profil yang dirancang untuk ditandai oleh detektor.

Penulis dalam posisi itu tidak banyak terbantu oleh saran untuk sekadar menulis lebih alami, karena yang alami justru itulah yang ditandai. Halaman TextPulse untuk penulis akademik ESL membahas pola frasa di balik risiko itu dengan lebih mendalam, termasuk apa yang mengubahnya tanpa mengubah makna kalimat.

Ini bukan kasus yang terisolasi. Pada Desember 2025, sebuah tolok ukur baru dirilis, yang secara eksplisit dirancang untuk mengevaluasi bias dalam detektor ini. Tolok ukur itu mencakup lebih dari 200,000 sampel lintas berbagai demografi dan bahasa. Meskipun terbit dua tahun setelah studi pertama Stanford dan mencakup banyak versi model yang berbeda dari detektor yang sama, tolok ukur ini mengungkap bahwa bias terhadap English language learners masih ada.

Hal ini tidak berlaku untuk semua vendor. Dokumentasi teknis Pangram sendiri menyatakan bahwa klasifikatornya tidak bias terhadap penutur bahasa Inggris non-asli. Para peneliti Chicago Booth tidak menguji klaim ini secara independen, tetapi hal itu menunjukkan bahwa generasi detektor yang lebih baru dibangun dengan mempertimbangkan masalah ini, bukan mengabaikannya.

Jika Anda ingin melihat posisi tulisan Anda sendiri sebelum orang lain menilainya, pemeriksa perplexity gratis memberi Anda angka dasar yang sama seperti yang akan dihitung oleh detektor, tanpa mengirimkan apa pun ke institusi terlebih dahulu.

Siapa lagi yang ditandai, dan mengapa

Penutur bahasa Inggris non-asli menanggung risiko terdokumentasi terbesar, tetapi logika statistik yang sama juga menangkap tulisan lain. Tim Weber-Wulff menemukan bahwa semua 14 alat yang mereka uji kurang akurat ketika digunakan pada teks yang diparafrasekan, ini menggambarkan sebagian bermakna dari tulisan akademik yang telah melalui pemeriksa naskah, penyunting, atau coretan merah pembimbing sebelum siapa pun menjalankan detektor padanya.

Tidak satu pun dari ini berarti bahwa angka tersebut tidak bermakna, hanya bahwa angka itu memerlukan penguatan sebelum berarti apa pun tentang orang tertentu. Jika Anda memiliki teks yang terbaca seragam, dengan panjang kalimat yang serupa, ritme yang serupa sepanjang teks, teks itu akan memperoleh skor yang lebih mirip buatan mesin, terlepas dari siapa yang menulisnya atau mengapa. Hal ini dapat diperiksa secara langsung menggunakan free burstiness checker alih-alih ditebak.

Kelompok kedua yang kurang banyak dibahas menghadapi masalah yang terkait. Para peneliti membandingkan sekitar 60,000 unggahan Reddit, dibagi antara subkelompok yang diidentifikasi kemungkinan ditulis oleh penulis autistik dan sampel umum, lalu menjalankan keduanya melalui detektor berbasis GPT-2. Kedua kelompok tetap di bawah 2 percent secara keseluruhan yang ditandai, tetapi subkelompok yang kemungkinan autistik ditandai pada tingkat yang secara signifikan lebih tinggi daripada sampel umum. Tulisan yang cenderung menggunakan frasa yang literal, repetitif, dan berpola ketat, suatu ciri yang terdokumentasi dari beberapa gaya komunikasi autistik, menghasilkan tepat teks dengan variasi rendah yang memang dirancang untuk ditangkap oleh detektor.

Mengapa Skor yang Yakin Bukan Tuduhan yang Yakin

Tingkat positif palsu terdengar seolah-olah merujuk pada kemungkinan bahwa satu mahasiswa yang ditandai sebagai masalah sebenarnya tidak bersalah. Tetapi tidak. Istilah itu menggambarkan bagaimana suatu tes bekerja bagi semua orang yang mengikutinya. Dan itu adalah pertanyaan yang berbeda dengan jawaban yang berbeda, sama seperti pada setiap tes skrining dalam kedokteran atau keamanan.

Analisis statistik Maret 2026 dari seorang peneliti Griffith University membuat matematika yang mendasarinya menjadi eksplisit. Perlakukan deteksi AI sebagai tes yang diterapkan pada populasi penulis mahasiswa, bukan pada satu dokumen yang terisolasi, dan sebuah trade-off muncul: setiap kali sebagian dari populasi itu menulis dengan cara yang secara alami tumpang tindih dengan keluaran AI yang khas, mendekati konvensi genre, mendekati rentang seorang pembelajar bahasa kedua, setiap detektor yang benar-benar mampu menangkap karya yang ditulis AI harus keliru pada sebagian dari kelompok yang tumpang tindih itu. Ini bukan klaim bahwa detektor tertentu dibangun dengan buruk. Ini adalah sifat dari pengujian terhadap populasi yang beragam dengan satu dokumen dan tanpa bukti lain.

Contoh ilustratif dalam makalah itu sendiri menunjukkan skala yang terlibat. Misalkan 10 persen dari suatu populasi mahasiswa menulis cukup dekat dengan keluaran AI yang khas, dan sebuah detektor disetel untuk menangkap 80 persen karya yang benar-benar ditulis AI. Matematika kemudian mensyaratkan tingkat positif palsu rata-rata setidaknya 7.5 persen di seluruh populasi itu. Itu bukan cacat dalam rekayasa detektor: itu adalah konsekuensi langsung dari seberapa besar tulisan kelompok itu secara statistik tumpang tindih dengan hal yang dideteksi.

Jika diskalakan ke sebuah universitas dengan 10,000 mahasiswa, batas bawah itu saja menyiratkan kira-kira 750 penandaan palsu di seluruh populasi, suatu konsekuensi matematis dari menguji populasi yang beragam terhadap satu dokumen tanpa bukti lain untuk dipertimbangkan. Penulis makalah itu secara eksplisit menyatakan bahwa angka-angka tertentu ini bersifat ilustratif, bukan hasil pengukuran di institusi nyata. Contoh tersebut menunjukkan bentuk masalahnya, bukan prediksi spesifik untuk satu kampus tertentu.

Seperti apa kebijakan deteksi AI yang dapat dipertahankan

Yale sudah memiliki kebijakan yang dilaporkan membatasi alat seperti GPTZero, karena alasan yang hampir sama dengan yang telah diuraikan artikel ini: tingkat positif palsu yang terdokumentasi dan bias yang terdokumentasi terhadap penulis bahasa Inggris non-asli. Jadi, ini bukan terutama kisah tentang satu mahasiswa yang kurang beruntung, melainkan tentang aturan yang sudah ada tetapi tidak dijalankan. Ketika suatu kebijakan benar-benar menegakkan perbedaan antara skor dan putusan, maka skor menjadi satu masukan, bukan putusan.

• Perlakukan skor sebagai satu masukan, jangan pernah sebagai satu-satunya dasar untuk temuan pelanggaran
• Ungkapkan tingkat positif palsu yang dipublikasikan oleh alat tersebut kepada mahasiswa sebelum menggunakannya terhadap mereka
• Terapkan kehati-hatian ekstra pada pengajuan yang pendek dan tulisan bahasa Inggris dari penutur non-asli, keduanya merupakan titik lemah yang terdokumentasi
• Jamin adanya jalur banding yang tidak mengharuskan pembuktian bahwa suatu statistik keliru

Semua ini bukanlah sesuatu yang luar biasa. Ini lebih dekat dengan cara seharusnya satu bukti forensik diperlakukan di tempat lain, berguna, dapat diperiksa, dan tidak pernah cukup dengan sendirinya.

Bagi penulis individu, prinsip yang sama berlaku sebelum suatu skor ada, bukan sesudahnya. Satu angka, dari alat apa pun, adalah estimasi, bukan putusan, dan memperlakukannya sebagai kepastian ke arah mana pun, aman atau tertangkap, menuntut lebih dari angka itu daripada yang dapat didukungnya.

Alat AI humanizer tool milik TextPulse sendiri melaporkan Human Score berdasarkan logika yang sama, yaitu estimasi yang dihitung dari teks Anda sendiri, bukan putusan detektor atas teks tersebut, berguna sebagai sinyal tentang bagaimana draf saat ini terbaca, bukan sebagai janji tentang apa yang akan dikatakan oleh detektor tertentu.

Pertanyaan tentang akurasi terbagi menjadi pertanyaan yang lebih sempit, masing-masing dengan halamannya sendiri. Bukti spesifik tentang tingkat positif palsu Turnitin dan tentang akurasi ZeroGPT dibahas secara terpisah. Jika skor sudah digunakan terhadap Anda, ada bagian praktis tentang apa yang harus dilakukan ketika Anda dituduh menggunakan AI, tentang bukti yang dapat Anda kumpulkan untuk membuktikan bahwa Anda tidak menggunakan AI, dan tentang menulis surat banding yang menanggapi skor itu berdasarkan ketentuannya sendiri.

Angka pada laporan apa pun akan terus berubah seiring vendor melatih ulang model mereka dan para peneliti terus mengujinya terhadap kasus yang lebih sulit. Namun, yang tidak boleh berubah adalah kebiasaan di baliknya, membaca skor sebagai satu pengukuran di antara beberapa pengukuran, menanyakan pada populasi mana skor itu divalidasi, dan menanyakan apa yang tidak dikatakan vendor tentang kasus-kasus yang masih salah mereka klasifikasikan.