Apakah Turnitin Dapat Mendeteksi Teks AI yang Dihumanisasi?

Turnitin menjawab pertanyaan ini di situs dukungannya sendiri, dan jawabannya lebih spesifik daripada kedua sisi argumen yang biasa. Indikator penulisan AI-nya, kata Turnitin, sudah mencakup deteksi konten yang dihasilkan AI yang mungkin telah dihumanisasi atau dilewatkan melalui bypasser untuk menghindari deteksi. Itu adalah pernyataan vendor tentang produknya sendiri. Itu juga tempat yang tepat untuk memulai, karena hal itu memberi tahu Anda apa yang diklaim oleh model tersebut untuk dicakup.

Jadi, apakah Turnitin dapat mendeteksi teks yang dihumanisasi? Pertanyaan itu memiliki bentuk yang lebih sempit dan lebih berguna. Model Turnitin tidak mencari sidik jari humanizer dan tidak menyimpan daftar alat. Model ini memberi skor pada prosa kalimat demi kalimat berdasarkan seberapa dekat tulisan tersebut cocok dengan pola statistik teks yang dihasilkan mesin, lalu merata-ratakan skor itu di seluruh dokumen. Apakah suatu bagian yang dihumanisasi masih mendapat skor tinggi bergantung pada seberapa banyak pola itu diubah oleh penulisan ulang, dan pada seberapa banyak dokumen yang benar-benar ditulis ulang.

Apakah Turnitin Dapat Mendeteksi Teks yang Dihumanisasi? Apa yang Diklaim Turnitin

Posisi yang mereka publikasikan adalah ya, secara tegas. Menjawab apakah ia dapat mendeteksi konten yang telah dijalankan melalui humanizer, panduan mereka menyatakan: "Yes, Turnitin's AI indicator includes detection of AI-generated content that may have been humanized or passed through a bypasser to avoid detection." Halaman yang sama memberikan jawaban yang sama untuk alat parafrase AI.

Klaim itu tidak muncul sebagai angka kedua di suatu tempat dalam laporan. Turnitin memasukkannya ke dalam satu persentase penulisan AI, dan definisi yang dipublikasikan untuk persentase itu menyatakannya secara langsung: persentase itu mencakup teks yang menurut model kemungkinan dihasilkan oleh AI, atau kemungkinan dihasilkan lalu dimodifikasi oleh parafrase AI atau bypasser. Hanya ada satu skor, dan skor itu sudah memperhitungkan penulisan ulang sejauh yang mampu dilakukan oleh model.

Baca dengan cermat, itu adalah pernyataan tentang cakupan, bukan pernyataan tentang akurasi. Turnitin mengatakan bahwa teks yang dihumanisasi berada dalam cakupan ketika model itu dibangun. Pernyataan itu jauh dari mengatakan bahwa setiap dokumen yang dihumanisasi memperoleh skor tinggi, dan angka yang dipublikasikan sendiri, lebih lanjut di bawah, menggambarkan model yang memperlakukan kalimat individual sebagai tidak pasti.

Apa yang Sebenarnya Dinilai oleh AI Writing Indicator

Itu bukan persentase. Itu adalah fraksi teks, jadi itu bukan tingkat keyakinan. Itu adalah ukuran seberapa banyak teks dalam dokumen Anda yang menurut model kami kemungkinan dihasilkan oleh AI. Kami menyebutnya teks berkualifikasi, yang berarti kalimat prosa dalam format penulisan panjang. Itu tidak mencakup daftar berpoin atau kode atau tabel atau fragmen pendek. Dan itulah sebabnya Anda mungkin melihat angka yang berbeda untuk makalah yang sama berdasarkan seberapa banyak darinya yang berupa prosa berkelanjutan.

Mekanisme di bawahnya cukup sederhana untuk dibayangkan. Turnitin membagi dokumen menjadi segmen-segmen yang saling tumpang tindih dengan panjang kira-kira beberapa ratus kata, sekitar lima hingga sepuluh kalimat setiap segmen, saling tumpang tindih sehingga setiap kalimat mendapat skor dalam konteks. Setiap kalimat menerima nilai antara 0 dan 1. Skor segmen kemudian dirata-ratakan di seluruh dokumen untuk menghasilkan satu angka yang dilihat pengajar. Uraian langkah demi langkah tentang bagaimana Turnitin mendeteksi AI menjelaskan setiap tahap dengan lebih rinci.

Langkah perataan itu lebih penting bagi teks yang dihumanisasi daripada apa pun dalam alur kerja, dan itulah bagian yang hampir tidak diperhitungkan siapa pun. Angka yang dibaca pengajar adalah rata-rata aritmetika dari penilaian tingkat segmen. Sebuah dokumen dapat ditulis ulang setengahnya dan berakhir di titik tengah karena alasan yang sedikit berkaitan dengan seberapa baik penulisan ulang itu dilakukan.

Mengapa Keluaran yang Dihumanisasi Terkadang Tetap Memperoleh Skor Tinggi

Alasan yang paling umum adalah cakupan. Sebuah humanizer yang diterapkan pada pendahuluan dan kesimpulan membiarkan tinjauan pustaka dan pembahasan tidak tersentuh, dan segmen-segmen itu membawa skor asli mereka langsung ke dalam rata-rata. Pada bab yang panjang, menulis ulang halaman-halaman pembuka mengubah beberapa segmen dan membiarkan sisanya persis seperti semula, yang menghasilkan pergeseran yang lebih kecil daripada yang diharapkan penulis dari pekerjaan yang terasa substansial.

Alasan kedua adalah kedalaman penulisan ulang. Sebuah proses yang mengganti kosakata sambil mempertahankan panjang kalimat, urutan klausa, dan pilihan transisi tetap pada tempatnya membiarkan pola yang digunakan untuk melatih classifier sebagian besar tetap utuh. Model menilai bentuk prosa, jadi mengubah kata-kata yang mengisi bentuk itu memberi dampak yang lebih kecil daripada yang diasumsikan kebanyakan orang. Sebuah free perplexity checker akan menunjukkan seberapa dapat diprediksi sebuah bagian masih terbaca setelah penulisan ulang, yang merupakan sinyal yang lebih informatif daripada perbandingan tingkat kata antara sebelum dan sesudah.

Alasan ketiga adalah bahwa penulisan ulang dapat memasang keteraturannya sendiri. Sebuah perangkat lunak yang menerapkan transformasi yang sama pada setiap paragraf akan menghasilkan pola baru yang sama teraturnya dengan pola lama. Jika setiap kalimat memiliki jenis pemotongan gabungan yang sama di dalamnya, atau jika setiap kalimat memiliki jenis klausa pengurang kepastian yang sama ditambahkan pada tempat yang sama, kalimat-kalimat itu akan dilihat secara merata oleh classifier sebagaimana jadinya jika sejak awal semuanya memiliki panjang yang sama.

Situasi	Apa yang dilakukan skor AI	Mengapa
Hanya sebagian dokumen yang ditulis ulang	Turun lebih sedikit daripada yang diharapkan	Segmen yang tidak tersentuh membawa skor aslinya ke dalam rata-rata
Kosakata diubah, struktur kalimat dipertahankan	Berubah sangat sedikit	Klasifikator memberi skor pada pola tingkat kalimat yang dibiarkan tetap oleh penggantian itu
Kalimat benar-benar disusun ulang di seluruh bagian	Berubah lebih banyak	Irama seragam yang dilatih untuk dikenali oleh model itu terputus
Kurang dari 300 kata prosa diserahkan	Tidak ada skor yang dihasilkan sama sekali	Turnitin memerlukan 300 kata prosa yang memenuhi syarat sebelum menampilkan persentase
Hasil berada di bawah 20 persen	Tanda bintang alih-alih angka	Turnitin menandai hasil dalam rentang itu sebagai kurang andal

Mengapa Penulisan Ulang yang Sama Kadang Menghasilkan Skor Rendah

Dokumen yang dibuat lebih manusiawi dapat kembali dengan skor rendah karena alasan yang sama sekali tidak berkaitan dengan penulisan ulang. Turnitin memerlukan setidaknya 300 kata prosa yang memenuhi syarat sebelum akan menghasilkan persentase AI sama sekali, suatu batas minimum yang dinaikkannya dari 150 kata semula dengan alasan yang dinyatakan bahwa akurasi meningkat dengan sedikit lebih banyak teks. Sebuah bagian reflektif yang pendek tidak menghasilkan angka, dan skor yang tidak ada bukanlah hal yang sama dengan skor yang bersih.

Turnitin menandai rentang di bawah 20 persen dengan tanda bintang alih-alih memberikan persentase yang tepat, karena ada insiden positif palsu yang lebih besar dalam rentang ini. Pada saat peluncuran, pelaporan pendidikan juga merujuk pada perilaku ini, dengan menyatakan bahwa hasil yang dilaporkan sebagai kurang dari 20 persen ditulis oleh AI memiliki insiden positif palsu yang lebih tinggi dan karena itu Turnitin menambahkan penafian. Sebuah dokumen yang berada dalam rentang itu telah ditandai sebagai rentang yang ditolak oleh Turnitin untuk dilaporkan secara tepat, yang merupakan hal yang berbeda dari dinyatakan bersih.

Ada juga gerbang institusional di atas semuanya. Turnitin memproses suatu pengiriman untuk deteksi penulisan AI hanya jika institusi telah mengaktifkan fitur tersebut, dan administrator dapat menonaktifkannya untuk seluruh akun. Vanderbilt University melakukan hal itu pada Agustus 2023, dengan menyebutkan tingkat positif palsu 1 percent yang saat itu dipublikasikan oleh Turnitin terhadap sekitar 75,000 pengiriman tahunan, bias terhadap penulis bahasa Inggris non-asli, dan kurangnya transparansi mengenai cara kerja model tersebut. Seorang mahasiswa di institusi dengan fitur yang dimatikan tidak memiliki skor AI pada pengiriman apa pun, baik yang dihumanisasi maupun tidak.

Dan ketika penulisan ulang itu benar-benar bersifat struktural, skornya dapat turun karena pola yang diukur berubah. Turnitin melaporkan suatu estimasi yang dihitung dari pola penulisan, sehingga teks dengan pola yang berbeda memperoleh skor yang berbeda. Mekanisme ini bekerja ke dua arah, dan itulah bagian yang tidak nyaman, karena penulisan manusia yang asli kadang-kadang memperoleh skor tinggi karena alasan yang persis sama.

Apa yang Diklaim Setiap Vendor Humanizer, dan Apa yang Terdokumentasi

Satu aturan mengatur tabel ini. Kolom tengah adalah bahasa pemasaran milik vendor sendiri, diambil dari situsnya sendiri sejauh situs itu menyediakan satu. Kolom kanan mencatat apa yang sebenarnya mendasari setiap klaim, yang dalam sebagian besar kasus sama sekali bukan dataset, tanggal, atau metode. Tidak ada uji publik langsung antarproduk untuk merek-merek ini.

Merek	Apa yang diklaim vendor	Apa yang terdokumentasi
Undetectable.ai	Mencantumkan lolos dari detektor AI sebagai fitur produk tanpa angka yang menyertainya, dan menawarkan pengembalian biaya humanisasi jika keluaran ditandai sebagai bukan manusia	Pengembalian dana adalah ketentuan komersial, tidak ada dataset, tanggal, atau hasil per detektor yang mendukung klaim tersebut
QuillBot	Tidak membuat klaim deteksi atau bypass untuk fitur humanizer pada halamannya sendiri. Detektor AI terpisahnya hanya dideskripsikan sebagai pendeteksi konten yang dihasilkan AI	QuillBot menjual humanizer di dalam rangkaian penulisan umum dan tidak membuat klaim khusus Turnitin untuk fitur itu
WriteHuman	Diperingkat nomor satu pada Humanizer Leaderboard, dan dideskripsikan sebagai humanizer AI premium untuk penulisan serius	Leaderboard tersebut tidak mencantumkan metodologi atau sampel, dan WriteHuman tidak menambahkan angka akurasi apa pun pada peringkat itu
Walter Writes AI	Memasarkan humanisasi luas di lebih dari 80 bahasa tanpa klaim khusus Turnitin	Tidak ada data uji dalam kedua arah
HIX Bypass	Memasarkan halaman bypass per detektor tanpa angka khusus Turnitin	HIX Bypass dan BypassGPT adalah produk yang terpisah pada domain yang terpisah, jadi pastikan mana yang dideskripsikan oleh suatu klaim
StealthGPT	Rata-rata 98% manusia pada Turnitin dan 95% pada GPTZero, masing-masing dari run yang dinyatakan sebanyak 30 sampel dengan nol deteksi, ditambah jaminan uang kembali jika pelanggan terdeteksi	Dilaporkan sendiri. Tidak ada dataset, pemilihan sampel, tanggal, atau metode yang dipublikasikan di samping angka-angka tersebut, dan 30 dokumen adalah run yang kecil untuk klaim tentang model yang menilai jutaan pengiriman
Phrasly	Memposisikan diri sebagai penghapus deteksi AI, tidak mempublikasikan data uji	Tidak ada klaim publik dalam kedua arah. Angka yang beredar dalam ulasan adalah informasi dari pihak kedua dan dikecualikan di sini berdasarkan prinsip
Grammarly	Tidak memasarkan penulisannya ulang sebagai bypass deteksi sama sekali. Halaman detektor AI-nya mengklaim akurasi deteksi 99% dan peringkat nomor satu pada tolok ukur independen RAID	Halaman Grammarly yang sama menyatakan bahwa tidak ada detektor AI yang 100% akurat. Fitur Authorship-nya memberi label teks sebagai diketik oleh manusia, dibuat dengan AI, atau diedit dengan Grammarly
TextPulse	Tingkat lolos 92.33% pada Turnitin AI, 89.12% pada Originality.ai dan 87.91% pada GPTZero, diukur pada korpus akademik 2,000 dokumen	Diukur dan dipublikasikan oleh TextPulse, jadi dilaporkan sendiri seperti setiap angka di atasnya. Ukuran korpus dan detektornya disebutkan, tidak ada hasil detektor yang dijanjikan untuk dokumen individual mana pun

Tiga hal muncul dari tabel itu. Sebagian besar alat ini tidak mempublikasikan klaim detektor apa pun untuk diperiksa. Beberapa mencantumkan ukuran sampel bersama sebuah angka, yang lebih baik daripada yang mampu dilakukan oleh kategori lainnya. Dan tidak satu pun dari mereka mempublikasikan dataset yang dapat dijalankan sendiri oleh siapa pun di luar perusahaan. Namun, apresiasi layak diberikan kepada masing-masing merek yang memang pantas menerimanya. Undetectable.ai menempatkan pengembalian dana di balik klaimnya, yang merupakan komitmen konkret, bukan sekadar kata sifat. WriteHuman mempublikasikan batas permintaan dan batas kata yang tepat per tingkat, sehingga pembeli mengetahui apa yang mereka dapatkan. Grammarly memberi kualifikasi pada angka akurasinya sendiri di halaman yang sama yang memuat angka itu, yang lebih baik daripada yang dilakukan sebagian besar vendor detektor. Dan QuillBot yang memilih untuk tidak membuat klaim bypass sama sekali adalah posisi yang paling dapat dipertahankan dalam daftar ini.

Mengapa Tidak Ada Pihak di Luar Vendor yang Dapat Memeriksa Angka-angka Ini

Vendor humanizer yang mengklaim tingkat lolos Turnitin sedang menggambarkan eksekusi yang dilakukan melalui akun yang mereka kendalikan, pada dokumen yang mereka pilih, pada tanggal yang biasanya tidak mereka sebutkan, terhadap sebuah pengklasifikasi yang direvisi Turnitin ketika model bahasa baru dirilis. Hal itu berlaku untuk angka tiga puluh sampel milik StealthGPT dan juga berlaku untuk angka 2,000 dokumen yang dipublikasikan situs ini. Ukuran korpus mengubah seberapa banyak gangguan yang terkandung dalam sebuah angka. Itu tidak mengubah laporan diri menjadi audit.

Separuh masalah lainnya adalah bahwa daftar model yang menurut Turnitin dapat dideteksi juga diedit seiring dengan hadirnya rilis baru. Tingkat lolos yang diukur terhadap pengklasifikasi kuartal lalu hanya menggambarkan pengklasifikasi kuartal lalu dan tidak lebih. Mengapa hal itu berarti tidak ada seorang pun yang dapat menyebutkan sebuah AI humanizer terbaik untuk bypass Turnitin dijelaskan secara terpisah. Setiap angka pada setiap beranda humanizer, termasuk situs ini, adalah cuplikan yang membawa tanggal yang mungkin tidak pernah dipublikasikan oleh vendor.

Cara Membaca Klaim Bypass Sebelum Anda Membayar untuk Salah Satunya

Empat pertanyaan memisahkan klaim yang layak dipertimbangkan dari klaim yang layak diabaikan, dan pertanyaan-pertanyaan itu berlaku untuk setiap baris dalam tabel di atas, termasuk baris terakhir.

• Berapa banyak dokumen yang diuji, dan siapa yang memilihnya? Persentase tanpa ukuran sampel di belakangnya adalah slogan yang mengenakan angka.
• Pada tanggal berapa, dan terhadap versi detektor yang mana? Model deteksi direvisi seiring model bahasa baru dirilis, dan tingkat keberhasilan tanpa tanggal cepat menjadi usang.
• Apakah jaminannya berupa pengembalian dana atau hasil? Janji uang kembali memindahkan risiko finansial kecil dan sama sekali tidak melakukan apa pun terhadap panel integritas akademik.
• Apa yang dikatakan vendor terjadi pada sitasi, istilah teknis, atau kutipan blok? Sebagian besar halaman humanizer tidak mengatakan apa pun, dan itu sendiri merupakan jawaban.

Pertanyaan terakhir itu menentukan lebih banyak daripada aritmetika detektor bagi siapa pun yang menyerahkan karya akademik. Sebuah penulisan ulang yang memperoleh skor baik dan diam-diam menggeneralisasi kalimat metode telah mengorbankan hal yang sedang dinilai dari Anda. humanizer akademik TextPulse mendokumentasikan pelestarian sitasi di seluruh APA, MLA, IEEE, Chicago, Harvard, dan Vancouver, freeze terms untuk mengunci kosakata yang tepat sebelum proses pass dijalankan, serta pelatihan pada teks akademik yang telah ditelaah sejawat dengan keluaran dipertahankan pada Flesch-Kincaid grade 13 hingga 18. Itu adalah klaim tentang apa yang terjadi pada teks, yang merupakan jenis klaim yang berbeda dari persentase tentang detektor, dan pembaca dapat memverifikasinya pada keluaran dalam waktu satu menit.

Apa Arti Skor Itu bagi Mahasiswa dalam Kedua Hal

Turnitin jelas menyatakan bahwa indikator penulisan AI bukanlah temuan pelanggaran. Halaman produk Turnitin secara eksplisit menyatakan bahwa Turnitin Originality "does not make a determination of misconduct through our AI writing detection (or similarity checking) technology." Halaman itu juga menjelaskan dengan jelas bahwa Turnitin menyediakan informasi untuk memungkinkan dosen membuat keputusan yang terinformasi berdasarkan kebijakan institusi mereka. Hal ini ditegaskan kembali dengan peringatan bahwa model tersebut "may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."

Siswa tidak melihat skor secara default. Turnitin menyatakan dengan jelas bahwa indikator dan laporan deteksi tulisan AI tidak terlihat oleh siswa, dan satu-satunya cara untuk melihatnya adalah jika pengajar mengunduh laporan sebagai PDF dan menyerahkannya. Seorang siswa yang memeriksa drafnya sendiri sedang memeriksa alat yang berbeda, yang dilatih pada data yang berbeda, dan kedua angka itu tidak berkewajiban untuk sama.

Hal ini menyisakan bagian yang tidak diselesaikan oleh skor. Apakah bantuan AI diizinkan sama sekali adalah pertanyaan untuk mata kuliah dan institusi, dan sebuah kebijakan penggunaan AI menjawabnya dengan cara yang tidak pernah dilakukan oleh persentase. Skor tinggi pada penggunaan yang diizinkan dan diungkapkan adalah percakapan dengan bukti di belakangnya. Skor rendah pada penggunaan yang tidak diungkapkan yang dilarang oleh kebijakan tetaplah penggunaan yang tidak diungkapkan.

Bagi penulis yang mengedit drafnya sendiri, pembacaan praktis dari semua ini adalah bahwa skor mengikuti tulisan. Model Turnitin mengukur pola pada tingkat kalimat di seluruh dokumen, sehingga penulisan ulang sebagian menghasilkan pergeseran sebagian dan penggantian kosakata menghasilkan pergeseran yang sangat kecil, bahkan hampir tidak ada. Panduan lengkap cara memanusiakan teks AI membahas penyuntingan struktural yang mengubah pola itu, dalam urutan yang paling banyak menggesernya.

AI humanizer milik TextPulse menerapkan penyuntingan struktural itu ke seluruh dokumen sekaligus dan melaporkan perkiraan Human Score yang dihitung dari teks itu sendiri, bukan prediksi tentang apa yang akan dikatakan oleh detektor bernama apa pun. Tidak ada alat yang dapat menjanjikan hasil Turnitin, karena tidak ada alat yang dapat melihat ke dalam model Turnitin. Produk apa pun yang mengklaim sebaliknya sedang menggambarkan hasil yang tidak memiliki cara untuk diamati.

Perbedaan antara humanizer dan paraphraser penting di sini, demikian pula alasan teks yang diparaprase tetap ditandai.

Angka adalah bagian yang paling tidak menarik dari ini. Yang menentukan hasil adalah dua puluh menit setelah seorang penilai melihatnya: apakah makalah itu dapat menunjukkan proses kerjanya, riwayat draf, serangkaian catatan, sumber yang dapat dibicarakan penulis tanpa membukanya. Bukti itu tersedia bagi siapa pun yang mengerjakan tugas tersebut, dan bukti itu tetap ada meskipun sebuah skor gagal diubah oleh penulisan ulang.