False Positive Detektor AI: Mengapa Tulisan Manusia Ditandai

Pada tahun 1982, New England Journal of Medicine menerbitkan sebuah makalah tentang sitomegalovirus pada pasien transplantasi sumsum tulang. Makalah itu lolos penelaahan sejawat dan tersimpan di arsip selama empat dekade. Pada tahun 2023, para peneliti menjalankannya melalui sebuah detektor penulisan AI yang dirilis secara publik oleh OpenAI, dan alat itu menilainya 99.96 percent kemungkinan besar dihasilkan oleh AI, tiga puluh tujuh tahun sebelum model yang konon menulisnya ada. Itulah positif palsu detektor AI dalam bentuknya yang paling murni: sebuah dokumen yang ditandai sebagai ditulis mesin padahal sama sekali tidak mungkin ditulis mesin.

Contoh itu ekstrem hanya dalam hal waktunya. Pola dasarnya, sebuah detektor membaca prosa yang formulaik dan dapat diprediksi sebagai buatan mesin tanpa memedulikan siapa yang menulisnya atau kapan, muncul terus-menerus dalam pengajuan biasa: esai, surat lamaran, laporan laboratorium, pernyataan pribadi. Bagian ini membahas apa yang menyebabkan positif palsu, jenis tulisan apa yang paling rentan, dan mengapa satu skor yang ditandai bukanlah bukti seperti yang tampaknya.

Apa Itu Positif Palsu Detektor AI?

Positif palsu detektor AI adalah teks yang ditulis manusia tetapi diberi skor sebagai dihasilkan AI oleh alat deteksi. Tidak ada yang diukur dari proses, kejujuran, atau keterampilan penulis. Alat itu membandingkan bentuk statistik kalimat, seberapa dapat diprediksi pilihan kata dan strukturnya, dengan bentuk yang dipelajarinya untuk diasosiasikan dengan keluaran mesin.

Penyedia melaporkan tingkat positif palsu sebagai satu persentase kecil, biasanya di bawah satu atau dua percent. Angka itu menggambarkan uji terkontrol pada tolok ukur yang dibangun oleh penyedia, bukan jaminan tentang dokumen individual mana pun. Pertanyaan yang lebih luas tentang apakah detektor AI akurat sama sekali sudah diuji secara independen, dan hasilnya berada di tempat yang sama sekali berbeda, kadang jauh lebih tinggi daripada angka apa pun dari penyedia. Bagian ini tetap lebih sempit, yaitu jenis tulisan apa yang meningkatkan risiko itu, dan apa yang dapat dan tidak dapat diberitahukan oleh skor yang ditandai kepada siapa pun.

Karakteristik Tulisan Apa yang Membuat Teks Manusia Tampak Seperti Buatan Mesin

Ada empat jenis tulisan biasa yang membawa risiko paling besar, dan tidak satu pun melibatkan seseorang melakukan kesalahan apa pun. Dokumen pendek, tulisan yang sangat formulaik, materi yang dikutip atau berbasis templat, dan tulisan yang telah diedit dengan sangat teliti semuanya cenderung dinilai lebih dapat diprediksi daripada prosa yang disusun secara bebas, yang merupakan satu-satunya sifat yang sebenarnya diukur oleh setiap detektor. Sebuah free burstiness checker mengukur variasi yang sama itu secara langsung, yang merupakan cara yang lebih cepat untuk melihat polanya daripada membaca penjelasannya.

Beberapa genre memang formulaik secara desain. Bagian metode, laporan laboratorium, surat lamaran standar, dan tinjauan pustaka semuanya memberi penghargaan pada frasa konvensional daripada frasa yang inventif, karena konvensi itulah yang membuat dokumen tersebut berguna bagi pembacanya. Para peneliti menguji hal ini secara langsung pada tulisan nyata: mereka menjalankan 14,400 abstrak jurnal yang diterbitkan antara 1980 dan 2023, bertahun-tahun sebelum large language model apa pun ada, melalui sebuah detektor yang tersedia untuk umum. Hingga 8 persen ditandai sebagai dihasilkan oleh AI tanpa memandang tahun publikasi, dan abstrak New England Journal of Medicine ditandai sebesar 10.24 persen, tingkat positif palsu tertinggi dari lima jurnal yang diuji.

Uji tersebut tidak mungkin mendeteksi apa pun tentang ChatGPT, karena ChatGPT tidak ada selama sebagian besar tahun yang dijadikan sampel. Uji itu mendeteksi genre. Secara lebih formal, sebagaimana akan dinyatakan oleh analisis statistik tahun 2026 atas masalah deteksi ini, tidak ada cara untuk membangun detektor yang akan membedakan antara kalimat yang dapat diprediksi karena ditulis oleh perangkat lunak dan kalimat yang dapat diprediksi karena memang itulah jenis kalimat yang Anda tulis dalam genrenya. Dari luar, keduanya tampak persis sama.

Penyuntingan berat mendorong ke arah yang serupa. Draf pertama membawa ketidakteraturan khas seorang penulis, urutan kata yang tidak biasa, kalimat yang menjadi panjang karena gagasannya memang demikian. Satu tahap pemeriksaan akhir yang menyeluruh, terutama jika dijalankan melalui alat lain, cenderung merapikan tepat ketidakteraturan itu. Perbandingan independen terbesar atas alat deteksi hingga saat ini menguji 14 alat dan menemukan bahwa akurasi turun lebih jauh, untuk setiap alat, setelah teks sampel diparafrasekan atau diterjemahkan mesin.

Karakteristik penulisan	Mengapa ini menurunkan ketidakpastian yang tampak pada dokumen	Apa yang ditunjukkan oleh bukti
Pengajuan yang singkat	Teks yang lebih sedikit memberi ruang yang lebih kecil bagi variasi alami yang membedakan ritme manusia dari ritme mesin	Skor pada dokumen singkat lebih mudah berfluktuasi karena kekuatan beberapa kalimat yang tidak biasa
Penulisan yang formulaik atau spesifik disiplin	Konvensi genre memberi penghargaan pada frasa yang diharapkan, bukan yang inventif	14,400 abstrak jurnal sebelum ChatGPT (1980 to 2023) masih memicu hingga 8% positif palsu; abstrak satu jurnal mencapai 10.24%
Draf yang banyak disunting atau diparafrasekan	Tahap pemolesan meratakan ketidakteraturan individual yang dibaca detektor sebagai ciri manusia	Perbandingan independen terhadap 14 alat menemukan akurasi turun lebih jauh setelah parafrase atau terjemahan mesin
Materi yang dikutip atau berbentuk templat	Bagian yang dikutip membawa tanda statistik dari sumbernya, bukan dari penulis yang mengutip	Detektor yang tidak mengecualikan kutipan menilai dokumen di sekitarnya berdasarkan teks pinjaman

Mengapa Tingkat yang Dipublikasikan dan Tingkat di Dunia Nyata Tidak Sesuai

Setiap detektor utama memublikasikan tingkat positif palsu mendekati satu persen atau lebih rendah. Uji independen atas alat yang sama, yang dijalankan pada dokumen berbeda dalam kondisi berbeda, secara rutin melaporkan angka yang jauh lebih tinggi, kadang-kadang dengan faktor sepuluh atau lebih. Kedua angka itu dapat sama-sama akurat dan tetap menggambarkan hampir tidak ada kesamaan, karena keduanya tidak mengukur hal yang sama.

Turnitin adalah contoh yang berguna justru karena ia memublikasikan lebih banyak detail daripada kebanyakan pesaing: tingkat positif palsu di bawah 1 persen pada tingkat dokumen, dengan syarat lebih dari 20 persen suatu pengumpulan ditandai sebagai ditulis oleh AI, disertai pernyataan perusahaan bahwa hasil di dunia nyata berbeda dari pengujian laboratoriumnya sendiri. The Washington Post menjalankan 16 dokumen nyata melalui alat yang sama pada 2023 dan menemukan bahwa lebih dari separuhnya kembali dengan setidaknya sebagian salah diidentifikasi, termasuk satu esai yang sepenuhnya ditulis manusia yang ditandai sebagai sebagian dihasilkan oleh AI. Tidak satu pun angka itu dibuat-buat. Keduanya berasal dari sampel yang berbeda, ambang batas yang berbeda, dan definisi yang berbeda tentang apa yang dihitung sebagai penanda.

Kesenjangan yang sama muncul di seluruh industri, bukan hanya pada satu perusahaan. Perbandingan terhadap 14 alat itu menemukan bahwa semuanya berada di bawah 80 persen akurasi secara keseluruhan, dan bahwa enam dari empat belas menghasilkan positif palsu pada tulisan manusia yang tidak diubah sebelum parafrase apa pun masuk ke dalam gambar. Angka yang dipublikasikan menggambarkan sebuah tolok ukur. Angka itu tidak menggambarkan dokumen yang saat ini berada di hadapan seorang profesor.

Mengapa Skor yang Yakin Bukan Tuduhan yang Yakin

Tingkat positif palsu terdengar seolah-olah merujuk pada kemungkinan seorang mahasiswa yang ditandai sebagai bermasalah ternyata tidak bersalah. Namun tidak. Istilah itu menggambarkan bagaimana suatu tes bekerja bagi semua orang yang mengikutinya. Dan itu adalah pertanyaan yang berbeda dengan jawaban yang berbeda, sama seperti pada tes skrining apa pun dalam kedokteran atau keamanan.

Sebuah analisis statistik Maret 2026 dari seorang peneliti Griffith University membuat matematika yang mendasarinya menjadi eksplisit. Perlakukan deteksi AI sebagai tes yang diterapkan pada populasi penulis mahasiswa, bukan pada satu dokumen yang terisolasi, dan sebuah pertukaran muncul: kapan pun sebagian dari populasi itu menulis dengan cara yang secara alami tumpang tindih dengan keluaran AI yang khas, dekat dengan konvensi genre, dekat dengan rentang pembelajar bahasa kedua, detektor apa pun yang benar-benar mampu menangkap karya yang ditulis AI harus salah pada sebagian dari kelompok yang tumpang tindih itu. Ini bukan klaim bahwa detektor tertentu dibangun dengan buruk. Ini adalah sifat dari menguji populasi yang beragam dengan satu dokumen dan tanpa bukti lain.

Contoh ilustratif dari makalah itu sendiri menunjukkan skala yang terlibat. Misalkan 10 persen dari suatu populasi mahasiswa menulis cukup dekat dengan keluaran AI yang lazim, dan sebuah detektor disetel untuk menangkap 80 persen karya yang benar-benar ditulis oleh AI. Secara matematis, hal ini kemudian menuntut tingkat positif palsu rata-rata setidaknya 7.5 persen di seluruh populasi tersebut. Itu bukan cacat dalam rekayasa detektor, melainkan konsekuensi langsung dari seberapa besar tulisan kelompok itu secara statistik tumpang tindih dengan hal yang dideteksi.

Jika diskalakan ke universitas dengan 10,000 mahasiswa, batas bawah itu saja menyiratkan kira-kira 750 penandaan palsu di seluruh populasi, suatu konsekuensi matematis dari menguji populasi yang beragam terhadap satu dokumen tanpa bukti lain untuk dipertimbangkan. Penulis makalah itu secara eksplisit menyatakan bahwa angka-angka khusus ini bersifat ilustratif, bukan hasil pengukuran di institusi nyata. Contoh tersebut menunjukkan bentuk masalahnya, bukan prediksi spesifik untuk satu kampus tertentu.

Semua ini tidak berarti skor yang ditandai menjadi tidak bermakna. Artinya, skor itu hanyalah satu sinyal yang lemah pada tingkat populasi yang diminta menjawab pertanyaan tentang satu individu, suatu ketidaksesuaian yang tidak dapat sepenuhnya diatasi hanya oleh seberapa baik penyempurnaan dari vendor. Pembacaan yang bertanggung jawab memperlakukan angka itu sebagai dorongan untuk mengumpulkan bukti yang lebih baik: draf, riwayat versi, jejak dokumen biasa dari seseorang yang benar-benar menulis sesuatu. alat gratis TextPulse memungkinkan penulis memeriksa posisi draf saat ini pada pengukuran yang sama sebelum orang lain melakukannya, yang merupakan penggunaan teknologi yang berbeda dari upaya untuk mengalahkan detektor tertentu.

Penulis Mana yang Menghadapi Risiko Tertinggi

Penelitian menunjukkan dua kelompok yang menonjol lebih daripada yang lain: orang yang menulis dalam bahasa kedua dan orang yang secara alami sangat terstruktur atau repetitif dalam menulis karena alasan yang tidak berkaitan dengan cara mereka menulis esai mereka. Kedua jenis penulis ini muncul pada ciri statistik yang sama yang dirancang untuk ditangkap oleh detektor.

Penutur bahasa Inggris non-asli menanggung risiko terdokumentasi terbesar. Pengujian independen berulang kali menemukan bahwa detektor salah membaca tulisan akademik berbahasa kedua yang fasih sebagai hasil mesin pada tingkat yang jauh lebih tinggi daripada tulisan penutur asli. Halaman TextPulse untuk penulis akademik ESL menjelaskan mekanisme di balik risiko itu dengan lebih rinci, termasuk pola frasa mana yang menjadi penyebabnya.

Kelompok kedua, yang lebih jarang dibahas, menghadapi masalah yang terkait. Para peneliti membandingkan sekitar 60.000 kiriman Reddit, yang dibagi antara subkelompok yang diidentifikasi sebagai kemungkinan ditulis oleh penulis autistik dan sampel umum, lalu menjalankan keduanya melalui detektor berbasis GPT-2. Kedua kelompok tetap berada di bawah 2 persen yang ditandai secara keseluruhan, tetapi subkelompok yang kemungkinan autistik ditandai pada tingkat yang secara signifikan lebih tinggi daripada sampel umum. Tulisan yang cenderung literal, repetitif, dan berpola ketat, sebuah ciri yang terdokumentasi dari beberapa gaya komunikasi autistik, menghasilkan teks dengan variasi rendah yang justru dirancang untuk ditangkap oleh detektor.

Dua vendor menerbitkan cukup banyak informasi untuk memeriksa klaim tersebut. Tingkat false positive Turnitin sendiri diuraikan secara terpisah, dan akurasi ZeroGPT dibahas pada halamannya sendiri. Pihak yang paling terdampak oleh kesalahan ini adalah pertanyaan yang berbeda lagi, dan mengapa penulis bahasa Inggris non-asli lebih sering ditandai memiliki jawabannya sendiri.

Semua ini tampaknya tidak akan menjadi lebih sederhana dalam waktu dekat. Detektor akan terus membaik dalam menangkap teks yang benar-benar ditulis mesin, dan keberagaman populasi akan terus menghasilkan sejumlah false accusation yang tidak dapat sepenuhnya dihilangkan hanya dengan rekayasa yang lebih baik. Perubahan yang lebih berguna sudah terjadi di beberapa institusi, yaitu memperlakukan skor sebagai awal percakapan, bukan akhir percakapan, dan menanyakan pada populasi mana tingkat yang dipublikasikan itu sebenarnya diuji sebelum mempercayai bahwa hasilnya berlaku untuk dokumen yang sedang mereka hadapi.