Mengapa Pendeteksi AI Bias terhadap Penulis Bahasa Inggris Non-Natif

Detektor AI yang bias terhadap penutur non-asli bukanlah keluhan yang bersifat subjektif. Sebuah studi Stanford tahun 2023 yang ditelaah sejawat mengukurnya secara langsung. Para peneliti menjalankan tujuh detektor GPT yang banyak digunakan terhadap 91 esai TOEFL asli yang ditulis oleh penutur bahasa Inggris non-asli dan 88 esai yang ditulis oleh siswa kelas delapan di Amerika Serikat, lalu membandingkan skor masing-masing kelompok.

Detektor tersebut membaca esai kelas delapan dengan benar hampir setiap saat. Pada esai TOEFL, yang ditulis oleh orang dewasa yang telah lulus ujian kemahiran bahasa Inggris tingkat pascasarjana, tujuh alat yang sama menghasilkan rata-rata tingkat positif palsu sebesar 61.22 persen. Delapan puluh sembilan dari sembilan puluh satu esai, hampir 98 persen, ditandai sebagai dihasilkan oleh AI oleh setidaknya satu dari tujuh alat tersebut.

Gambaran umum TextPulse tentang bukti yang lebih luas mengenai akurasi detektor AI membahas temuan utama itu dan gugatan hukum yang kemudian dipicunya. Yang hampir di mana-mana diabaikan ketika studi ini dikutip adalah mekanismenya, mengapa prosa seorang penutur bahasa Inggris tingkat pascasarjana pada awalnya terbaca seperti buatan mesin, dan apa yang berubah ketika prosa itu berhenti terbaca demikian.

Detektor AI yang Bias terhadap Penutur Non-Asli, Mekanismenya

Detektor tidak pernah membaca makna. Detektor membaca seberapa dapat diprediksi setiap kata, berdasarkan kata-kata yang mendahuluinya, dan memberi skor rendah pada suatu bagian ketika model itu bisa menebak sebagian besar isinya sebelumnya. Keragaman leksikal, seberapa luas kosakata yang digunakan penulis alih-alih mengulang seperangkat kata aman yang lebih kecil, dan keterprediksian sintaksis, seberapa dekat struktur kalimat mengikuti pola yang paling umum untuk bahasa tersebut alih-alih memvariasikannya, adalah dua sifat produksi bahasa yang menurunkan skor itu.

Perbedaan ini penting karena keduanya tampak berbeda di halaman. Keragaman leksikal berkaitan dengan kata-kata itu sendiri: seorang penulis yang memilih 'obtain,' 'acquire,' dan 'secure' dalam tiga kalimat berbeda tampak lebih bervariasi daripada yang menulis 'get' tiga kali, bahkan ketika kalimat-kalimatnya selain itu identik. Prediktabilitas sintaksis berkaitan dengan struktur: subjek, verba, objek, yang diulang lagi dan lagi, alih-alih kalimat yang dibuka dengan klausa subordinat atau diakhiri dengan kata yang tidak terduga. Penulis bahasa kedua yang bekerja dalam kondisi ujian memiliki alasan kuat untuk memilih versi yang lebih aman dari keduanya.

Penulisan dalam bahasa kedua secara andal menunjukkan lebih sedikit dari keduanya, dan bukan sebagai kekurangan. Penulis yang bekerja dalam bahasa tambahan cenderung mengandalkan kosakata dan pola kalimat yang paling mungkin benar, karena menebak secara keliru biayanya lebih besar ketika bahasa tersebut belum sepenuhnya otomatis. Makalah Stanford yang mendokumentasikan bias detektor mengutip sejumlah penelitian linguistik terapan tentang pola yang tepat ini, yang telah ditetapkan jauh sebelum detektor AI ada: kekayaan leksikal yang berkurang, keragaman leksikal yang berkurang, dan struktur kalimat yang lebih sederhana merupakan ciri penulisan bahasa kedua yang terdokumentasi dan terukur, bukan tanda dari hal lain.

Kesenjangan antara penulisan penutur asli dan non-penutur asli ini tampak sebagai perbedaan perplexity, ukuran yang sama yang dijalankan oleh detektor untuk memutuskan apakah suatu bagian teks dihasilkan oleh mesin. Perplexity yang lebih rendah terbaca lebih mirip mesin, siapa pun yang menghasilkannya, dan penulisan non-penutur asli berada lebih rendah pada skala itu karena alasan yang sama sekali tidak berkaitan dengan chatbot. Apakah kesenjangan itu benar-benar yang mendorong detektor, bukan sekadar kebetulan, adalah pertanyaan yang dapat diuji. Tim Stanford mengujinya secara langsung.

Apa yang Terjadi Ketika Esai yang Sama Ditulis Ulang dengan Kosakata yang Lebih Kaya

Para peneliti mengambil 91 esai TOEFL yang sama, yang sebelumnya memicu tingkat positif palsu rata-rata 61.22 percent, lalu meminta ChatGPT merevisinya dengan satu instruksi: "Enhance the word choices to sound more like that of a native speaker." Tidak ada yang diarahkan untuk mengubah isi, argumen, atau tata bahasa. Setelah satu penyuntingan itu, tingkat positif palsu rata-rata di seluruh tujuh detektor yang sama turun menjadi 11.77 percent, penurunan hampir lima puluh poin persentase, dan jumlah esai yang secara bulat ditandai oleh setiap detektor turun dari delapan belas menjadi satu.

Para peneliti kemudian menjalankan eksperimen itu secara terbalik. Mereka mengambil 88 esai kelas delapan penutur asli, yang pada awalnya hampir selalu dinilai dengan benar oleh detektor, lalu meminta ChatGPT menyederhanakan pilihan katanya seolah-olah ditulis oleh penutur non-asli. Tingkat positif palsu rata-rata pada esai penutur asli yang sama itu melonjak dari 5.19 percent menjadi 56.65 percent. Esai-esai itu tidak berubah kepengarangannya. Hanya kosakatanya yang berubah, dan detektor mengikuti kosakata tersebut.

Perplexity bergerak sejalan dengan tingkat salah klasifikasi ke dua arah: nilainya naik tajam ketika esai TOEFL diperkaya, dan turun tajam ketika esai kelas delapan disederhanakan. Para penulis menarik kesimpulan tegas dari hal ini: apa yang sebenarnya ditanggapi oleh detektor tidak pernah kepengarangan. Yang ditanggapi adalah pilihan kata, suatu sifat yang dapat dibawa oleh kosakata penulis mana pun, terlepas dari di mana mereka belajar bahasa Inggris.

Seberapa Konsisten Bias Ini di Antara Detektor yang Berbeda

Ketujuh detektor itu tidak banyak sepakat, kecuali mengenai arah kesalahannya. Masing-masing menandai esai TOEFL jauh lebih sering daripada esai kelas delapan, tetapi dengan selisih yang sangat berbeda.

Detektor	Tingkat positif palsu, esai TOEFL	Tingkat positif palsu, esai penutur asli
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

Ini adalah angka tahun 2023, diukur pada alat sebagaimana keberadaannya saat itu. Sejumlah alat sejak itu telah berubah sepenuhnya: OpenAI menutup detektornya sendiri pada Juli 2023, empat bulan setelah pengujian ini, setelah menemukan bahwa alat tersebut hanya berhasil menandai dengan benar 26 persen teks yang benar-benar ditulis AI, sementara masih salah melabeli 9 persen tulisan manusia. Yang tidak berubah adalah arah kesenjangannya. Sebuah tolok ukur bias yang lebih luas, yang dibangun khusus untuk menguji detektor di berbagai kategori demografis dan linguistik, diterbitkan pada Desember 2025 dan dijalankan terhadap empat alat sumber terbuka yang lebih baru, masih melaporkan recall yang secara konsisten lebih rendah untuk kelompok penulis yang kurang terwakili.

Apakah Bias Ini Masih Muncul pada Detektor yang Lebih Baru?

Studi Stanford kini sudah beberapa generasi AI lamanya, dan para penulisnya sendiri menyebutkan keterbatasannya: sampel percontohan yang kecil, dan detektor yang sebagian besar dibangun di atas GPT-2, model yang jauh lebih kecil dan lebih tua daripada yang mendukung deteksi saat ini. Itu menimbulkan pertanyaan yang wajar. Apakah teknologi yang lebih baik telah menutup kesenjangan ini?

Uji khusus terbaru mengatakan belum. Dalam sebuah studi Februari 2026 dari Sultan Qaboos University, para peneliti menguji dua detektor komersial yang ada saat ini, Turnitin dan Originality, terhadap 192 teks yang memadukan tulisan mahasiswa EFL autentik pra-ChatGPT, tulisan manusia profesional, teks yang dihasilkan AI, dan teks hibrida manusia-AI. Hasil menunjukkan akurasi keseluruhan sebesar 69 persen dan 61 persen untuk kedua alat tersebut, dengan akurasi pada kategori hibrida, jenis tulisan yang sebenarnya dihasilkan oleh proses penyuntingan, turun mendekati nol. Studi yang sama juga mengungkap bias kedua yang berjalan sejajar dengan bias bahasa, akurasi pada tulisan ilmiah 28 hingga 38 poin persentase lebih rendah daripada pada tulisan humaniora.

Tak satu pun temuan ini berkaitan dengan satu produk yang cacat. Dua arsitektur detektor yang berbeda, diuji tiga tahun terpisah pada korpus yang berbeda oleh tim peneliti yang berbeda, terus menghasilkan hasil yang sama, tulisan yang dibentuk oleh konvensi genre atau oleh bahasa kedua berada lebih dekat dengan apa yang oleh alat-alat ini disebut buatan mesin daripada tulisan yang bukan keduanya. alat gratis TextPulse memungkinkan penulis memeriksa profil statistik yang sama sebelum apa pun itu mencapai detektor milik suatu institusi.

Bukti Independen bahwa Kesenjangan Itu Nyata, Bukan Artefak Pengujian

Masalah pertama dengan hasil TOEFL adalah bahwa dapat dikatakan hasil itu hanya berlaku untuk sebuah studi percontohan kecil pada 2023. Hal ini dijawab oleh tim peneliti yang sama dalam studi lain yang menggunakan data yang sama sekali tidak berkaitan dengan detektor. Mereka menelaah 1,574 makalah yang diterima di ICLR 2023, sebuah konferensi pembelajaran mesin besar, dengan membatasi sampel pada abstrak yang diserahkan dan ditinjau sebelum ChatGPT ada.

Penulis yang berbasis di negara-negara tempat bahasa Inggris bukan bahasa utama menulis abstrak dengan perplexity yang secara signifikan lebih rendah daripada penulis yang berbasis di negara-negara penutur asli bahasa Inggris, dan perbedaan itu tetap ada bahkan setelah mengendalikan seberapa tinggi setiap makalah dinilai oleh para penelaah. Sampel ini tidak mungkin dibentuk oleh siapa pun yang mencoba terdengar lebih atau kurang seperti chatbot. ChatGPT masih berjarak tiga bulan dari peluncuran ketika jendela pengajuan ditutup. Kesenjangan perplexity antara tulisan akademik penutur asli dan non-penutur asli bukanlah sesuatu yang diciptakan oleh detektor. Itu adalah sesuatu yang mereka warisi.

Analisis statistik 2026 tentang deteksi AI sebagai masalah pengujian menawarkan versi formal dari kesimpulan yang sama. Setiap kali sekelompok penulis menghasilkan bahasa yang, secara agregat, tumpang tindih dengan keluaran AI yang khas, setiap detektor yang benar-benar mampu menangkap teks yang ditulis AI harus membawa tingkat positif palsu yang lebih tinggi untuk kelompok itu secara khusus, suatu sifat matematis dari pengujian terhadap populasi yang beragam, bukan cacat pada satu alat tertentu. Penulis bahasa Inggris non-penutur asli adalah kasus terdokumentasi yang paling jelas dari tumpang tindih semacam itu.

Apa Artinya Ini bagi Penulis dalam Bahasa Kedua

Semua ini bukan argumen untuk menulis lebih sedikit seperti diri sendiri. Ini adalah alasan untuk mengetahui apa yang sebenarnya diukur sebelum sebuah skor muncul. Detektor yang membaca prosa Anda sebagai dapat diprediksi sedang menangkap sifat statistik yang nyata dari penulisan dalam bahasa kedua, bukan bukti bahwa Anda menggunakan alat yang tidak Anda gunakan.

Para peneliti Stanford yang menjalankan studi asli mencatat implikasi yang tidak nyaman dari temuan mereka sendiri: penyesuaian kosakata yang sama yang menurunkan risiko positif palsu juga merupakan jenis revisi yang mungkin diinginkan penulis karena alasan yang sepenuhnya terpisah, perumusan yang lebih jelas, kata yang lebih tepat, terlepas dari detektor apa pun. Halaman TextPulse untuk penulis akademik ESL membahas seperti apa revisi semacam itu pada kalimat nyata, terpisah dari apa pun yang berkaitan dengan skor deteksi.

Detektor yang lebih baru mulai secara eksplisit memperhitungkan pola ini. Pangram, salah satu pendatang komersial yang lebih baru, menyatakan dalam dokumentasi teknisnya sendiri bahwa klasifikatornya tidak bias terhadap penulis bahasa Inggris non-asli, meskipun klaim itu berasal dari vendor, bukan dari pengujian independen. Sebuah pemeriksa perplexity gratis menunjukkan pengukuran dasar yang sama yang dihitung oleh alat-alat ini dari suatu tulisan, tanpa mengirim draf itu ke mana pun terlebih dahulu.

Dua pendamping praktis berada dalam klaster yang sama: kapan menggunakan a, an, dan the, yang merupakan sumber pola yang paling umum, dan cara terdengar alami dalam penulisan akademik bahasa Inggris secara lebih umum.

Penelitian terus bertambah ke arah yang sama dua tahun kemudian, lintas tim yang berbeda, detektor yang berbeda, dan desain pengujian yang berbeda. Yang belum mengimbangi adalah respons institusional yang diadopsi secara luas: mengaudit sebuah detektor terhadap beragam penulis sebelum mempercayakannya kepada salah satu dari mereka, bukan setelah seorang mahasiswa tertentu sudah dituduh. Sampai itu menjadi praktik rutin, beban untuk membuktikan bahwa sebuah penandaan palsu itu keliru jatuh tepat pada para penulis yang menurut penelitian ini paling mungkin menerimanya.