Universiti yang Menghentikan Penggunaan Pengesan AI Turnitin

Senarai universiti yang berhenti menggunakan ciri pengesanan AI Turnitin adalah lebih pendek, dan lebih didokumentasikan, daripada yang kelihatan melalui hasil carian. Tiga institusi di AS, Vanderbilt University, Michigan State University dan University of Texas at Austin, masing-masing telah menerbitkan halaman mereka sendiri yang mengesahkan bahawa mereka mematikan ciri tersebut, dengan menyatakan sebab mereka dalam kata-kata mereka sendiri. Tiada satu pun daripada tiga institusi itu menghentikan Turnitin itu sendiri.

Ayat terakhir itu ialah bahagian yang paling kerap diabaikan oleh kebanyakan ringkasan. Turnitin menawarkan dua produk dalam satu antara muka, pemeriksa keserupaan yang membandingkan kertas pelajar dengan pangkalan data teks, satu perkhidmatan yang telah tersedia sejak lama sebelum AI generatif dicipta, dan penunjuk penulisan AI, iaitu pengelas yang menilai prosa sesuatu kertas berdasarkan sejauh mana ia menyerupai output mesin. Ciri baharu ini mula beroperasi pada April 2023. Hanya produk kedua yang dimatikan oleh setiap institusi di bawah.

Perkara berikut ialah alasan yang diberikan oleh tiga universiti itu dalam kata-kata mereka sendiri, dua lagi nama yang sering diulang oleh liputan media tanpa halaman milik institusi untuk mengesahkannya, dan apa sebenarnya yang diubah oleh pentadbir apabila mereka membuat keputusan ini.

Adakah Mana-mana Universiti Berhenti Menggunakan Turnitin Sepenuhnya?

Tiada kes yang disahkan bagi perkara itu. Setiap contoh yang didokumenkan ialah universiti yang menyahaktifkan satu tetapan khusus dalam produk yang masih mereka gunakan. Panduan Turnitin sendiri menjelaskan mengapa perbezaan itu boleh wujud: pentadbir "have the option to enable/disable the AI writing feature from their admin settings page," dan tindakan itu "will remove the AI writing indicator and report from the Similarity report," sambil mengekalkan laporan keserupaan itu sendiri.

Similarity Score dan AI Score ialah dua laporan yang berasingan dan bebas, menurut kata-kata Turnitin sendiri, dibina atas model yang berbeza dan dipaparkan pada tab yang berbeza dalam antara muka yang sama. TextPulse telah membincangkan bagaimana similarity score dan AI score sebenarnya berbeza dengan lebih terperinci di tempat lain. Sesebuah universiti boleh mematikan yang kedua tanpa menyentuh yang pertama, dan setiap kes di bawah memang berbuat demikian.

Vanderbilt University: Penjelasan Awam yang Paling Terperinci

Vanderbilt menyahaktifkan pengesan AI Turnitin pada 16 Ogos 2023, dan menerbitkan rasionalnya pada hari yang sama, bukannya membiarkan wartawan menyusunnya sendiri. Pengiraan universiti itu sendiri ialah versi paling jelas bagi hujah yang telah diumumkan oleh mana-mana institusi: Turnitin telah mendakwa kadar positif palsu 1 peratus, dan terhadap kira-kira 75,000 kertas yang dihantar Vanderbilt kepada Turnitin pada 2022, universiti itu mengira bahawa kadar tersebut bermaksud "sekitar 750 kertas pelajar mungkin telah dilabel secara salah sebagai mempunyai sebahagian daripadanya ditulis oleh AI."

Vanderbilt memberikan dua sebab tambahan bersama pengiraan itu: bias yang didokumenkan terhadap penulis bahasa Inggeris bukan penutur asli, dan ketelusan yang tidak mencukupi tentang bagaimana model asas sebenarnya mencapai skornya. Tiga benang ini, bilangan positif palsu yang terlalu besar untuk diketepikan, masalah bias, dan model yang legap, muncul semula dalam beberapa bentuk di hampir setiap institusi yang telah menjelaskan pengecualian penggunaan secara umum sejak itu.

Institusi	Tindakan	Tarikh	Sebab yang dinyatakan, dalam kata-kata institusi itu sendiri
Vanderbilt University	Menyahaktifkan penunjuk penulisan AI pada seluruh akaun	16 Ogos 2023	Kadar positif palsu 1% yang didakwa, apabila digunakan pada jumlah penghantaran sendiri; bias terhadap penulis bahasa Inggeris bukan penutur asli; kekurangan ketelusan model
Michigan State University	Pengesanan penulisan AI tidak disediakan kepada pengajar	Panduan bertarikh Ogos 2023	Alat pengesanan AI tidak sepatutnya digunakan sebagai asas tunggal bagi tindakan buruk terhadap pelajar
University of Texas at Austin	Melarang penggunaan perisian pengesanan AI pada kerja pelajar	Tiada tarikh dinyatakan pada halaman UT Austin sendiri; disenaraikan antara institusi yang mengecualikan penggunaan menjelang Februari 2024	Mengklasifikasikan perisian pengesanan AI sebagai Risiko Tinggi; memetik kebimbangan hak cipta, harta intelek dan FERPA

Michigan State dan UT Austin: Dua Lagi Pengecualian Penggunaan yang Disahkan

Dokumentasi bantuan Michigan State sendiri menyatakan dengan jelas: "Turnitin AI Detection is not currently available at MSU." Panduannya menambah satu amaran yang terpakai tanpa mengira pengesan mana yang digunakan oleh sesuatu kursus: alat pengesanan AI "should not be used as the sole basis for adverse actions against a student." Halaman ini terletak dalam panduan AI generatif MSU yang lebih luas, bertarikh Ogos 2023, iaitu bulan yang sama Vanderbilt membuat keputusannya sendiri secara umum.

UT Austin mengambil pendirian yang lebih menyeluruh daripada ketiga-tiganya. Pejabat Provost universiti itu menyatakan secara terus bahawa ia "does not endorse the use of AI Detection Software and does not have any central contracts or purchase orders with active AI Detection Software features." Halaman itu melangkaui sekadar tidak menggunakan perkhidmatan tersebut, ia mengelaskan perisian pengesanan AI sebagai "High Risk," yang bermaksud sesebuah jabatan tidak boleh membelinya walaupun dengan kad perolehan, dan ia memberi amaran bahawa menjalankan kerja pelajar melalui perisian sedemikian "may be a violation of that student's copyright and intellectual property rights," di samping kebimbangan FERPA yang berasingan. Halaman UT Austin sendiri tidak menyatakan tarikh keputusan yang khusus, liputan akhbar pendidikan telah pun meletakkan universiti itu dalam senarai institusi yang tidak menggunakannya menjelang Februari 2024.

Universiti Lain Yang Berhenti Menggunakan Turnitin, Menurut Akhbar

Ada dua lagi yang sering muncul apabila merumuskan liputan tentang cerita ini: Northwestern University dan Montclair State University. Kedua-duanya wujud, tetapi kedua-duanya tidak disebut oleh tahap sumber yang boleh dipercayai yang sama seperti tiga yang lain. Pada Februari 2024, Inside Higher Ed melaporkan bahawa Montclair "announced in November [2023]... that academics should not use the AI-detector feature in a tool from Turnitin," susulan "similar moves from institutions including Vanderbilt University, the University of Texas at Austin and Northwestern University.".

Itu ialah sumberan akhbar perdagangan yang kukuh, tetapi ia merupakan piawaian yang berbeza daripada halaman institusi sendiri yang menyatakan sesuatu keputusan dengan kata-kata sendiri, dan tiada halaman sedemikian ditemui bagi kedua-dua universiti semasa penyelidikan untuk bahagian ini. Jurang itu wajar dinyatakan secara jelas, bukannya diratakan. Senarai yang dibina daripada setiap sebutan dalam akhbar akan menjadi lebih panjang daripada tiga nama, manakala senarai yang dibina daripada apa yang sebenarnya telah diterbitkan oleh sesuatu institusi untuk dirinya sendiri pada masa ini berhenti pada tiga, dan itulah piawaian yang lebih ketat yang dipatuhi oleh bahagian ini sepanjang teks.

Mengapa Universiti Mematikan Pengesan AI?

Beberapa sebab yang sama berulang dalam setiap kenyataan awam di atas, iaitu kadar positif palsu yang tidak lagi kelihatan kecil apabila didarab dengan populasi pelajar yang sebenar, bias yang didokumenkan terhadap penulis bahasa Inggeris bukan penutur asli, dan pengelas yang mekanisme dalamannya tidak didedahkan sepenuhnya oleh vendor. Rasional ini selaras dengan bukti yang lebih luas tentang sama ada pengesan AI benar-benar tepat, bukan hanya di Turnitin. Tiada satu pun daripada tiga institusi di atas mempertikaikan bahawa penyemak kesamaan Turnitin masih menjalankan tugas asalnya, bantahan itu khusus kepada satu ciri tambahan.

Tiada satu pun daripada ini bermaksud bahawa universiti yang mengekalkan ciri itu dalam keadaan aktif bertindak cuai, dan tiada satu pun daripadanya bermaksud bahawa universiti yang mematikannya telah menyelesaikan masalah asas. Ini bermaksud dua kumpulan pentadbir meneliti angka yang diterbitkan yang sama dan membuat pertimbangan yang berbeza, dan pengalaman seorang pelajar terhadap teknologi ini kini sebahagiannya bergantung pada universiti mana yang mereka hadiri, bukannya pada apa-apa tentang kertas yang mereka serahkan.

Seorang penulis yang tertanya-tanya sama ada draf mereka sendiri mempunyai profil statistik yang diterangkan oleh bantahan bias Vanderbilt boleh menyemaknya secara langsung dengan penyemak perplexity percuma daripada menunggu untuk mengetahui dasar yang dipilih oleh universiti mereka sendiri.

Bukti di sebalik keputusan itu dihuraikan secara berasingan: apa sebenarnya yang dimaksudkan dengan positif palsu, dan kadar positif palsu yang diterbitkan sendiri oleh Turnitin.

alat percuma TextPulse meliputi bidang yang sama sebelum apa-apa pun sampai ke pengesan. Turnitin akan terus melaraskan ambang nilainya sendiri apabila ia melatih semula model tersebut; sama ada sesuatu universiti sedang menjalankan ciri itu pada masa ini ialah satu tetapan, bukan fakta tentang kertas itu sendiri, dan wajar untuk menyemak draf berdasarkan keadaannya sendiri tanpa mengira tetapan itu kebetulan dihidupkan atau dimatikan pada semester ini.