Какие университеты перестали использовать детектор ИИ Turnitin

Список университетов, которые перестали использовать функцию Turnitin для обнаружения AI, короче, и документирован лучше, чем это выглядит по результатам поиска. Три американских учреждения, Vanderbilt University, Michigan State University и University of Texas at Austin, опубликовали собственные страницы, подтверждающие, что они отключили эту функцию, и изложили свои причины своими словами. Ни одно из этих трёх учреждений не отказалось от самого Turnitin.

Именно последнее предложение чаще всего опускают в обзорах. Turnitin предлагает два продукта в одном интерфейсе: проверку на сходство, которая сравнивает студенческие работы с текстовой базой данных, сервис, доступный задолго до появления генеративного AI, и индикатор AI writing, классификатор, который оценивает прозу работы по степени её сходства с машинным выводом. Эта новая функция была запущена в апреле 2023. Ниже каждое учреждение отключило только второй продукт.

Далее приведены объяснения, которые три университета дали своими словами, ещё два названия, которые повторяются в прессе без страницы, принадлежащей самому учреждению, для их подтверждения, и то, что на самом деле меняет администратор, принимая такое решение.

Отключал ли какой-либо университет Turnitin полностью?

Подтверждённого случая этого не существует. Во всех задокументированных примерах университет отключал одну конкретную настройку внутри продукта, который в остальном продолжал использоваться. Собственные рекомендации Turnitin объясняют, почему такое различие вообще возможно: администраторы "have the option to enable/disable the AI writing feature from their admin settings page," и это "will remove the AI writing indicator and report from the Similarity report," при этом сам Similarity report продолжит работать.

Similarity Score и AI Score, по собственным словам Turnitin, это два отдельных, независимых отчёта, основанных на разных моделях и отображаемых на разных вкладках одного и того же интерфейса. TextPulse уже подробно рассматривал чем на самом деле отличаются similarity score и AI score в другом материале. Университет может отключить второй, не затрагивая первый, и каждый случай ниже именно так и был устроен.

Vanderbilt University: Самое подробное публичное объяснение

Vanderbilt отключил детектор ИИ Turnitin 16 августа 2023 года и в тот же день опубликовал обоснование, а не оставил журналистам собирать его по частям. Собственные расчёты университета представляют собой наиболее ясную формулировку аргумента, который когда-либо публично выдвигало какое-либо учреждение: Turnitin утверждал, что уровень ложноположительных срабатываний составляет 1 процент, и, исходя примерно из 75,000 работ, которые Vanderbilt направил в Turnitin в 2022 году, университет подсчитал, что этот показатель означал, что "around 750 student papers could have been incorrectly labeled as having some of it written by AI."

Vanderbilt привёл ещё две причины наряду с этими расчётами: задокументированную предвзятость против авторов, для которых английский не является родным, а также недостаточную прозрачность того, как лежащая в основе модель фактически приходит к своему результату. Эти три линии аргумента, слишком большое число ложноположительных срабатываний, чтобы его можно было отмахнуться, проблема предвзятости и непрозрачная модель, в той или иной форме вновь появляются почти в каждом учреждении, которое с тех пор публично объясняло отказ от использования.

Учреждение	Действие	Дата	Указанная причина, в собственных словах учреждения
Vanderbilt University	Отключил индикатор написания с помощью ИИ для всей учётной записи	16 августа 2023 года	Заявленный уровень ложноположительных срабатываний 1% применительно к собственному объёму отправок; предвзятость против авторов, для которых английский не является родным; отсутствие прозрачности модели
Michigan State University	Обнаружение написания с помощью ИИ не предоставляется преподавателям	Руководство от августа 2023 года	Инструменты обнаружения ИИ не следует использовать как единственное основание для неблагоприятных мер в отношении студента
University of Texas at Austin	Запрещает использование программного обеспечения для обнаружения ИИ в студенческих работах	На собственной странице UT Austin дата не указана; к февралю 2024 года включён в число учреждений, отказавшихся от использования	Классифицирует программное обеспечение для обнаружения ИИ как High Risk; ссылается на опасения, связанные с авторским правом, интеллектуальной собственностью и FERPA

Michigan State и UT Austin: ещё два подтверждённых отказа от использования

Собственная справочная документация Michigan State прямо указывает: "Turnitin AI Detection is not currently available at MSU." В ней также содержится предостережение, которое применимо независимо от того, какой детектор использует курс: инструменты обнаружения AI "should not be used as the sole basis for adverse actions against a student." Эта страница входит в более широкие рекомендации MSU по генеративному AI, датированные августом 2023 года, тем же месяцем, когда Vanderbilt публично объявил о своём решении.

UT Austin занял более широкую позицию из трёх. Офис провоста университета прямо заявляет, что он "does not endorse the use of AI Detection Software and does not have any central contracts or purchase orders with active AI Detection Software features." На странице идёт дальше, чем простой отказ от использования: она классифицирует программное обеспечение для обнаружения AI как "High Risk", то есть факультет или подразделение не может приобрести его даже с помощью закупочной карты, и предупреждает, что пропуск работы студента через такое программное обеспечение "may be a violation of that student's copyright and intellectual property rights," наряду с отдельными опасениями по поводу FERPA. На собственной странице UT Austin не указана конкретная дата решения, однако к февралю 2024 года университет уже фигурировал в освещении образовательной прессы как учреждение, отказавшееся от использования.

Другие университеты, которые перестали использовать Turnitin, согласно прессе

Есть ещё два университета, которые часто упоминаются при обзоре освещения этой истории: Northwestern University и Montclair State University. Оба существуют, но ни один из них не подтверждён источниками того же уровня надёжности, что и остальные три. В феврале 2024 года Inside Higher Ed сообщило, что Montclair "announced in November [2023]... that academics should not use the AI-detector feature in a tool from Turnitin," following "similar moves from institutions including Vanderbilt University, the University of Texas at Austin and Northwestern University.".

Это надежный источник из отраслевой прессы, однако это иной стандарт, чем собственная страница учреждения, где решение изложено его собственными словами, и при исследовании этого материала такая страница не нашлась ни для одного из университетов. Этот разрыв стоит назвать прямо, а не сглаживать. Список, составленный по всем упоминаниям в прессе, был бы длиннее трех названий, а список, составленный по тому, что учреждение действительно опубликовало само о себе, в настоящее время ограничивается тремя, и именно этого более строгого стандарта данный материал придерживается на всем протяжении.

Почему университеты отключают AI Detector?

Одна и та же группа причин повторяется во всех приведенных выше публичных заявлениях: доля ложноположительных срабатываний, которая перестает казаться небольшой, когда ее умножают на реальную численность студентов, документированная предвзятость против авторов, для которых английский не является родным, и классификатор, внутреннее устройство которого поставщик не раскрыл полностью. Эта логика согласуется с более широкими данными о том, насколько AI detectors вообще точны, и не только в случае Turnitin. Ни одно из трех указанных выше учреждений не оспаривает, что проверка сходства Turnitin по-прежнему выполняет свою первоначальную задачу, возражение относится только к одной добавленной функции.

Все это не означает, что университет, который оставляет эту функцию включенной, действует небрежно, и не означает, что университет, который ее отключил, решил основную проблему. Это означает, что две группы администраторов посмотрели на одни и те же опубликованные данные и пришли к разным оценочным выводам, а опыт студента при использовании этой технологии теперь частично зависит от того, в какой университет он поступил, а не от чего-либо, связанного с работой, которую он сдал.

Автор, который хочет понять, несет ли его собственный черновик статистический профиль, описанный в возражении Vanderbilt о предвзятости, может проверить это напрямую с помощью free perplexity checker, а не ждать, чтобы узнать, какую политику выбрал его собственный университет.

Доказательства, лежащие в основе этих решений, изложены отдельно: что такое ложноположительное срабатывание на самом деле и доля ложноположительных срабатываний, которую публикует сам Turnitin.

Бесплатные инструменты TextPulse охватывают ту же область ещё до того, как что-либо вообще попадает в детектор. Turnitin будет продолжать настраивать собственные пороги по мере повторного обучения модели, работает ли данная функция в конкретном университете в данный момент, зависит от настройки, а не от самого текста работы, и стоит проверять черновик сам по себе, независимо от того, в какую сторону эта настройка оказалась переключена в этом семестре.