TurnitinのAI検出機能の使用を停止した大学はどこか

TurnitinのAI検出機能の使用を停止した大学の一覧は、検索結果が示すほど長くはなく、また、より十分に文書化されている。米国の3つの機関、Vanderbilt University、Michigan State University、University of Texas at Austinは、それぞれ独自のページを公開し、機能をオフにしたことを確認し、その理由を自らの言葉で述べている。この3校のいずれもTurnitin自体は停止していない。

最後の文が、多くの要約で省かれている部分である。Turnitinは1つのインターフェースで2つの製品を提供している。学生の論文をテキストデータベースと照合する類似性チェック機能は、生成AIが発明されるはるか以前から利用可能であったサービスであり、もう1つはAI writing indicatorで、論文の散文が機械生成の出力にどの程度似ているかを評価する分類器である。この新機能は2023年4月に提供開始された。以下の各機関がオフにしたのは、2つ目の製品だけである。

以下では、3つの大学が自らの言葉で示した理由、機関所有のページで確認できないまま報道で繰り返されているさらに2つの名称、そして管理者がこの判断を下す際に実際に何を変更しているのかを示す。

どの大学もTurnitinの使用を完全に停止したのか?

そのような確認済みの事例は存在しない。文書化されている例はすべて、大学がそれ以外では使い続けている製品の中の特定の設定を無効化したものである。Turnitin自身のガイダンスは、この区別がなぜ可能なのかを説明している。管理者は「have the option to enable/disable the AI writing feature from their admin settings page」であり、そうすると「will remove the AI writing indicator and report from the Similarity report」となり、Similarity report自体は引き続き動作する。

Similarity ScoreとAI Scoreは、Turnitin自身の言葉によれば、2つの別個で独立したレポートであり、異なるモデルに基づき、同じインターフェースの異なるタブに表示される。TextPulseは、類似性スコアとAIスコアが実際にどのように異なるかを別の箇所でより詳しく扱っている。大学は前者に手を加えずに後者をオフにでき、以下の各事例はまさにそれを行った。

Vanderbilt University, 最も詳細な公開説明

Vanderbiltは、2023年8月16日にTurnitinのAI検出機能を無効化し、その理由を同日に公表した。これは、記者に推測させるのではなく、大学自らが説明したものである。同大学自身の計算は、いかなる機関が公表した議論の中でも最も明確なものである。Turnitinは1 percentの偽陽性率を主張していたが、Vanderbiltが2022年にTurnitinへ提出したおよそ75,000本の論文にその率を当てはめると、大学は、その率により「around 750 student papers could have been incorrectly labeled as having some of it written by AI」と算出した。

Vanderbiltは、その計算に加えてさらに2つの理由を示した。英語を母語としない書き手に対する文書化された偏りと、基礎となるモデルが実際にどのようにしてそのスコアに到達するのかについての透明性の不足である。この3つの論点, すなわち、見過ごせないほど大きい偽陽性件数、偏りの問題、そして不透明なモデルは、その後、公開の場でオプトアウトを説明したほぼすべての機関において、何らかの形で再び現れている。

機関	措置	日付	機関自身の言葉による理由
Vanderbilt University	AI writing indicatorを全学的に無効化した	2023年8月16日	自校の提出件数に適用すると1%の偽陽性率が主張されていたこと, 英語を母語としない書き手に対する偏り, モデルの透明性の欠如
Michigan State University	AI writing detectionを教員に提供しなかった	2023年8月付のガイダンス	AI検出ツールは, 学生に対する不利益処分の唯一の根拠として用いるべきではない
University of Texas at Austin	学生の課題に対するAI検出ソフトウェアの使用を禁止した	UT Austin自身のページには日付の記載なし, 2024年2月までにオプトアウトした機関の一覧に掲載	AI検出ソフトウェアをHigh Riskに分類し, 著作権, 知的財産, FERPAに関する懸念を挙げている

Michigan StateとUT Austin, さらに2件の確認済みオプトアウト

Michigan State独自のヘルプ文書は、明確に次のように述べている。「Turnitin AI Detection は、現在 MSU では利用できない。」そのガイダンスは、どの検出器を授業で用いる場合でも当てはまる注意として、AI 検出ツールは「学生に対する不利益な措置の唯一の根拠として用いるべきではない」と付け加えている。このページは、MSU のより広範な生成AIに関するガイダンスの一部であり、日付は 2023年8月で、Vanderbilt が自らの判断を公表したのと同じ月である。

UT Austin は、3校の中でより包括的な立場を取った。同大学の Provost Office は、同大学が「AI Detection Software の使用を支持せず、稼働中の AI Detection Software 機能を備えた中央契約や発注書を一切有していない」と明言している。このページは単なる不使用表明にとどまらず、AI detection software を「High Risk」と分類しており、これは部局が調達カードを使ってもそれを購入できないことを意味する。また、学生の成果物をそのような software に通すことは、別途の FERPA 上の懸念に加えて、「その学生の著作権および知的財産権の侵害となる可能性がある」と警告している。UT Austin 自身のページには具体的な決定日は示されていないが、教育報道では 2024年2月の時点で、同大学は不使用を選択した機関の一覧に含まれていた。

報道によれば Turnitin の使用を停止した他の大学

この話題の報道を整理する際にしばしば挙がる大学は、ほかに 2校ある。Northwestern University と Montclair State University である。いずれも実在するが、前の 3校と同程度に信頼できる情報源から言及されているわけではない。2024年2月、Inside Higher Ed は、Montclair が「2023年11月に... 学術関係者は Turnitin のツールにある AI-detector 機能を使用すべきではないと発表した」と報じ、これは「Vanderbilt University, the University of Texas at Austin and Northwestern University を含む機関による同様の動き」に続くものだとしていた。

それは十分に確かな業界紙の報道に基づく情報であるが、機関自身のページがその機関の言葉で判断を示している場合とは異なる基準であり、この原稿を調査した際には、どちらの大学についてもそのようなページは見つからなかった。この差は、曖昧にせず明示する価値がある。あらゆる報道での言及を集めて作った一覧は3件を超えるが、機関が自ら公表した内容だけで作った一覧は現時点で3件で止まる。これが、本稿全体で採用しているより厳格な基準である。

なぜ大学はAI detectorをオフにしているのか?

上のすべての公的声明に共通して繰り返し現れる理由は、同じ少数のものに集約される。すなわち、実際の学生集団に掛けると小さいとは言えなくなる false positive rate、英語を母語としない書き手に対する偏りが文書化されていること、そしてベンダーが内部の仕組みを十分には開示していない分類器であることだ。この判断は、Turnitin に限らず、AI detectors がそもそも正確かどうかに関するより広い証拠とも整合している。上記3機関のいずれも、Turnitin の similarity checker が本来の役割をなお果たしていること自体は争っていない。異議は、追加された1つの機能に限定されている。

これらは、機能をオンのままにしている大学が不注意に行動していることを意味しないし、オフにした大学が根本問題を解決したことも意味しない。これは、2つの管理部門が同じ公表数値を見て異なる判断を下したということであり、この技術を学生がどう経験するかは、提出した論文の内容ではなく、どの大学に通っているかによって一部左右されるようになっている。

自分の下書きが Vanderbilt の偏りに関する異議で述べられているような統計的特徴を持つのかを知りたい書き手は、自分の大学がたまたまどの方針を採用しているかを待つのではなく、free perplexity checker で直接確認できる。

それらの判断の根拠は別に示されている。false positive とは実際に何か、そして Turnitin 自身が公表している false positive rate である。

TextPulseの無料ツールは、いずれも検出器に到達する前の同じ領域をカバーします。Turnitinは、モデルを再学習させるたびに独自の閾値を調整し続けます。ある大学が現在その機能を有効にしているかどうかは設定であって、その論文自体に関する事実ではありません。また、その設定が今学期にどちらに切り替わっているかにかかわらず、草稿をそれ自体の条件に照らして確認する価値があります。