Які університети припинили використовувати AI detector Turnitin

Список університетів, які припинили використовувати функцію виявлення AI від Turnitin, коротший і краще задокументований, ніж це може здаватися за результатами пошуку. Три установи США, Vanderbilt University, Michigan State University і University of Texas at Austin, кожна опублікувала власну сторінку, що підтверджує вимкнення цієї функції, і навела свої причини власними словами. Жодна з цих трьох не відмовилася від самого Turnitin.

Саме останнє речення найчастіше пропускають у більшості оглядів. Turnitin пропонує два продукти в одному інтерфейсі: перевірку на подібність, яка порівнює студентські роботи з текстовою базою даних, сервіс, що існує ще задовго до винайдення generative AI, і індикатор AI writing, класифікатор, який оцінює прозу роботи за тим, наскільки вона схожа на машинний вивід. Ця нова функція стала доступною у квітні 2023. Лише другий продукт було вимкнено кожною установою нижче.

Далі наведено обґрунтування, яке три університети подали власними словами, ще два назви, які преса повторює без сторінки, що належить самій установі, для їх підтвердження, а також те, що фактично змінює адміністратор, коли ухвалює це рішення.

Чи припинив якийсь університет повністю використовувати Turnitin?

Підтвердженого випадку цього не існує. Кожен задокументований приклад, це університет, який вимикає один конкретний параметр усередині продукту, який він і далі використовує. Власні рекомендації Turnitin пояснюють, чому таке розрізнення взагалі можливе: адміністратори "have the option to enable/disable the AI writing feature from their admin settings page," і це "will remove the AI writing indicator and report from the Similarity report," залишаючи сам звіт про подібність активним.

Similarity Score і AI Score, це два окремі, незалежні звіти, за власними словами Turnitin, побудовані на різних моделях і показані на різних вкладках того самого інтерфейсу. TextPulse уже докладніше розглядав чим саме відрізняються similarity score і AI score в іншому матеріалі. Університет може вимкнути другий, не зачіпаючи перший, і кожен випадок нижче саме так і було зроблено.

Vanderbilt University: Найдетальніше публічне пояснення

Vanderbilt вимкнув AI-детектор Turnitin 16 серпня 2023 року і того самого дня оприлюднив свої міркування, а не залишив журналістів збирати їх по частинах. Власні розрахунки університету є найчіткішою версією аргументу, який будь-яка установа зробила публічним: Turnitin стверджував 1 percent хибнопозитивного показника, і щодо приблизно 75,000 робіт, які Vanderbilt подав до Turnitin у 2022 році, університет обчислив, що цей показник означав, що "around 750 student papers could have been incorrectly labeled as having some of it written by AI."

Vanderbilt навів ще дві причини поряд із цими розрахунками: задокументовану упередженість проти non-native English writers і недостатню прозорість щодо того, як базова модель фактично доходить до свого результату. Ці три лінії, занадто великий, щоб ним можна було знехтувати, хибнопозитивний показник, проблема упередженості та непрозора модель, у тій чи іншій формі знову з'являються майже в кожній установі, яка відтоді публічно пояснила відмову від використання.

Institution	Action	Date	Stated reason, in the institution's own words
Vanderbilt University	Disabled the AI writing indicator account-wide	August 16, 2023	A claimed 1% false positive rate applied to its own submission volume; bias against non-native English writers; lack of model transparency
Michigan State University	AI writing detection not made available to instructors	Guidance dated August 2023	AI detection tools should not be used as the sole basis for adverse action against a student
University of Texas at Austin	Bans use of AI detection software on student work	No date stated on UT Austin's own page; listed among opted-out institutions by February 2024	Classifies AI detection software as High Risk; cites copyright, intellectual property and FERPA concerns

Michigan State and UT Austin: Two More Confirmed Opt-Outs

Власна довідкова документація Michigan State прямо стверджує: "Turnitin AI Detection наразі недоступний у MSU." У ній також міститься застереження, яке застосовується незалежно від того, який саме детектор використовує курс: інструменти виявлення AI "не слід використовувати як єдину підставу для несприятливих заходів проти студента." Ця сторінка входить до ширшого керівництва MSU щодо генеративного AI, датованого серпнем 2023 року, тим самим місяцем, коли Vanderbilt оприлюднив власне рішення.

UT Austin зайняв із трьох більш всеосяжну позицію. Офіс провостa університету прямо заявляє, що він "does not endorse the use of AI Detection Software and does not have any central contracts or purchase orders with active AI Detection Software features." Сторінка йде далі, ніж просте відмовлення від використання: вона класифікує програмне забезпечення для виявлення AI як "High Risk", тобто департамент не може придбати його навіть за допомогою закупівельної картки, і попереджає, що пропускання роботи студента через таке програмне забезпечення "may be a violation of that student's copyright and intellectual property rights," поряд із окремими застереженнями щодо FERPA. На власній сторінці UT Austin не вказано конкретної дати рішення, однак у матеріалах освітньої преси університет уже був у списку закладів, що відмовилися від цього, до лютого 2024 року.

Інші університети, які припинили використовувати Turnitin, згідно з пресою

Є ще два заклади, які часто згадують, коли підсумовують висвітлення цієї історії: Northwestern University і Montclair State University. Обидва існують, але жоден із них не підтверджується тим самим рівнем надійних джерел, що й інші три. У лютому 2024 року Inside Higher Ed повідомив, що Montclair "announced in November [2023]... that academics should not use the AI-detector feature in a tool from Turnitin," після "similar moves from institutions including Vanderbilt University, the University of Texas at Austin and Northwestern University.".

Це надійне джерело з галузевої преси, але це інший стандарт, ніж власна сторінка установи, яка формулює рішення своїми словами, і під час дослідження для цієї статті такої сторінки не знайшлося ні для одного університету. Цю прогалину варто назвати прямо, а не згладжувати. Перелік, складений з усіх згадок у пресі, був би довшим за три назви, а перелік, складений із того, що установа фактично опублікувала для себе, наразі зупиняється на трьох, і саме цього суворішого стандарту ця стаття дотримується в усьому тексті.

Чому університети вимикають AI Detector?

Ті самі кілька причин повторюються в кожній наведеній вище публічній заяві: рівень хибнопозитивних результатів, який перестає здаватися низьким, коли його помножити на реальну студентську популяцію, задокументована упередженість проти авторів, для яких англійська не є рідною, і класифікатор, внутрішню роботу якого постачальник не розкрив повністю. Це міркування узгоджується з ширшими доказами щодо того, чи AI detectors взагалі є точними, і не лише в Turnitin. Жодна з трьох наведених вище установ не заперечує, що перевірка подібності в Turnitin і далі виконує свою початкову функцію, заперечення стосується лише однієї доданої можливості.

Усе це не означає, що університет, який залишає цю функцію увімкненою, діє недбало, і не означає, що університет, який її вимкнув, розв'язав основну проблему. Це означає, що дві групи адміністраторів подивилися на ті самі опубліковані цифри й дійшли різних оціночних висновків, а досвід студента з цією технологією тепер частково залежить від того, до якого університету він або вона навчається, а не від чогось у роботі, яку було подано.

Автор, який замислюється, чи має його власний чернетковий текст статистичний профіль, описаний у запереченні Vanderbilt щодо упередженості, може перевірити це безпосередньо за допомогою free perplexity checker, а не чекати, щоб дізнатися, яку політику обрав його власний університет.

Докази, що лежать в основі цих рішень, викладено окремо: що таке хибнопозитивний результат насправді і рівень хибнопозитивних результатів, який сам Turnitin публікує.

Безкоштовні інструменти TextPulse охоплюють ту саму сферу ще до того, як будь-що з цього взагалі потрапляє до детектора. Turnitin і надалі коригуватиме власні порогові значення під час повторного навчання моделі; чи використовує певний університет цю функцію зараз, є параметром налаштування, а не властивістю самого тексту, і варто перевіряти чернетку саму по собі, незалежно від того, у який бік цей параметр цього семестру випадково встановлено.