AI検出器は正確か, 偽陽性とバイアス

Turnitinは、偽陽性率が1%未満であると主張している。独立した研究者のグループは、英語を母語としない話者による、より広い範囲の文章サンプルに対して、複数の検出器を検証した。その結果、同じ種類の文章における平均偽陽性率は60%を超えていた。これら2つの数値はいずれも実在し、いずれも公表されており、しかも同じ市場に販売される検出器に関するものである。AI検出器は正確なのか。それは、どの集団を検証したのか、どの検出器を用いたのか、そしてそもそも提供元がそれをどのように定義したのかによる。

本稿では、検出器がそのスコアをどのように算出するかを改めて説明しない。その仕組み、perplexity、トークン確率、分類器がどのように訓練されるかについては、別の箇所で詳しく扱っているので、まだ読んでいない場合は先に読む価値がある。ここで重要なのは、スコアが一度得られた後に何が起こるかである。すなわち、どの程度の頻度で誤るのか、どのような文章について最も誤りやすいのか、そして、何も悪いことをしていない人に対する誤った非難が実際にはどれほどの負担をもたらすのか、という点である。

AI検出器は正確なのか?

一貫して正確ではなく、宣伝上の主張と独立した検証との間の隔たりは十分に文書化されている。Debora Weber-Wulffが率いる研究者グループは、2023年に、人間の文章とChatGPTの文章を混ぜたものに対して検証された14の検出ツール, そのうち12は無料、2つは商用, に関する調査結果を公表した。その結果、これらのツールはいずれも正確でも信頼できるものでもなく、機械生成の文章を人間の文章としてではなく、その逆に分類する方向の組み込みの偏りがあることが分かった。この検証に含まれた商用ツールのうち2つはTurnitinとPlagiarismCheckであった。この検証におけるすべてのツールは、文章が言い換えられている場合に性能が低下した。

しかし、2年後の今も、状況は停滞していない。Chicago大学のBooth Schoolによるワーキングペーパーで、Brian JabarianとAlex Imasは、Pangram、GPTZero、Originality.aiという3つの新参者と、1つのオープンソースの競合を、ブログ、ニュース、レビュー、フィクションから集めた約2,000件の人間が書いた文章で検証した。管理された試験条件下では、この組み合わせの中で最良のツールは精度が99.8%を下回ることがなく、偽陽性率も低い水準に保った。オープンソースモデルは、無作為に推測する者と同程度の成績だった。状況は確かに改善している。ある程度は。少しだけ。

しかし、問題はcontrolledという語にある。ベンチマークの文章は、整っており、完全で、既知の条件下で作成されている。提出されたエッセイが、そのいずれにも確実に当てはまることはない。Turnitinの最高製品責任者自身が公に述べているように、現実世界の結果は実験室の結果と同一ではないかもしれないが、これはベンダーからのまれで有用な認め方である。次の節では、ベンダーの数値と独立した数値を並べ、差が主張ではなく可視化されるようにする。

ベンダーの主張と独立したテスト

以下の表は、4つの検出器が自らについて主張している内容と、独立した研究者がそれらのツールを直接テストした際に測定した内容を並べて示している。ベンダーの列だけでなく、中央の2列を合わせて読むべきである。

検出器	ベンダーが主張する精度	独立に観察された結果	偽陽性についてベンダーが述べていること
Turnitin	フラグ付け前の98%の信頼しきい値, 文書レベルの偽陽性は1%未満	約80%の精度, 2023年の比較において12のツール中で最良, ただしこれはツールの旧版での結果	20%のAI生成しきい値を超える場合, 文書レベルでは1%未満, 文レベルでは約4%
GPTZero	独立したRAIDベンチマークで, 1%の偽陽性率において95.7%のAIテキスト検出	短い文章では96%の精度, 2025年のUniversity of Chicago Boothの研究では偽陽性率は1%未満	RAIDベンチマークで1%の偽陽性率を報告している
Originality.ai	99%の精度, 0.5%の偽陽性率, Liteモデル, 1.5%, Turboモデル	偽陽性率は1%未満だが, 同じBoothの研究ではAI生成テキストの10%から40%を見逃した	モデル階層ごとに別個の偽陽性指標を公表している
Pangram	競合ツールより38倍以上低いと同社が述べるエラー率, 非母語英語話者に対する偏りはないと主張している	Boothの研究では, 精度は99.8%を下回らず, 偽陽性率はほぼゼロ	10のテキスト領域と8つの言語モデルにわたり, 偽陽性率はほぼゼロであると述べている

2つの点が際立っている。第1に, ベンダーの数値はすべてベンダーが管理する研究室から得られたものであり, Boothの数値は何も販売していない研究者によるものである。第2に, 2025年の研究ではTurnitinを検証していないため, 中央の列にはTurnitinがまったく含まれていない。表では, その独立指標は2023年のより早い比較に基づいているが, これはツールの旧版で行われたものであるため, 表を同条件の比較として見る際にはこの点を忘れないでほしい。

TurnitinのAI検出はどの程度正確か?

Turnitinは、単一の精度指標を公表していない。代わりに、しきい値とそのトレードオフを公表している。同社は、問題の箇所がAIによって書かれたものであると98%の確信がある場合にのみ文書をフラグ付けすると述べており、このしきい値こそが文書全体の偽陽性率を1%未満に抑えているとしている。Turnitinは、AIの助けを借りた文章の約85%を検出し、誤った告発のリスクを避けるために、残りは意図的に見逃していると推定している。

Turnitinが文レベルで返す偽陽性の実際の割合, つまりインターフェースが文書全体ではなく特定の行を強調表示する場合の割合は, 実際には4%に近い。教授が文書全体のスコアではなく、フラグが付いた一つの段落だけをスクリーンショットに収めるのであれば、知っておく価値があるのはこの数値である。強調表示された文は、その隣に示される文書スコアよりも、誤りである可能性が有意に高いからである。

また、Turnitinがこの差を直接認めていることも注目に値する。同社は、最初の実地結果, とりわけ短い文書では、実験室でのテストに基づいて予想されていたよりも偽陽性率が高かったと確認した。そのため、採点対象とする最小文書長を150 wordsから300 wordsへと調整した。これは、公表された数値が実験室の外では成り立たなかったために、ベンダーが自社製品を調整したということであり、独立研究と同じくらい多くを示している。

偽陽性が学生に実際に及ぼすコスト

これは、YaleのSchool of Managementに在籍するエグゼクティブMBAの学生に起きたことである。最も文字どおりの意味で、その学生は違反を問われた。関与した検出器はGPTZeroであった。その学生の金融科目の期末試験は、教員補助が、文章が長く精緻で、句読点と文法がほぼ完璧だと考えたためにフラグが付けられていた。そして、この特定の教授はそれをGPTZeroに通しており、その結果、回答はAI生成の可能性が高いと判定された。

彼はその科目に不合格となり、1年間の停学処分を受けた。2025年2月に連邦裁判所へ提起された彼の訴訟は、Yale自身の方針がまさにこの理由からGPTZeroのようなツールの使用を制限していること、すなわち非英語母語話者に対する誤検出率が文書化されていること、そして彼はその方針に反してそれを使用したと主張している。提出書類ではさらに、GPTZeroがYaleの元学長とビジネススクール学部長による学術的文章に対して、100% AI-generatedのスコアを返したことも引用している。

裁判官は2025年5月に早期差止命令の発令を拒否した。この事件はまだ解決していない, これを書いている時点では。原告はフランス国籍であり、非英語母語話者に対する同じ既知の偏りが、彼の文章がそのような結果になった原因だと主張している。次の節で見るのはその点である。争いの余地がないのは、その代償である。学位課程から1年を失い、不合格の成績を受け、法的費用を負担し、学位を取得する代わりにスコアをめぐって数か月争ったのである。1%の誤検出率は、規模の大きい集団がそれを特定の個人の問題にするまでは、さほど大きくは聞こえない。

なぜAI検出器は非英語母語話者を誤分類するのか?

ひどく、しかも大きな差でそうである。これが、それを初めて数値化した研究の結論である。Stanfordの研究者たちは、広く使われている7つのGPT検出器を、非英語母語話者による91本のTOEFLエッセイと、米国の8年生による88本のエッセイに対して実行した。検出器は8年生のエッセイをほぼ毎回正しく読み取った。TOEFLエッセイについては、これらは大学院レベルの英語試験を受けられるほど流暢な成人によって書かれたものであったが、検出器の平均誤検出率は61.3%だった。91本のエッセイのうち89本が、7つの検出器の少なくとも1つによってGPTが生成したものだと判定され、そのうち18本は7つすべての検出器によって判定された。

その仕組みは、検出の他の部分を支配するものと同じである。予測可能な語彙とより単純な文構造は低い perplexity として読まれ、低い perplexity は、書き手が誰であっても機械生成であると読まれる。第二言語で書く書き手は、十分に確立された言い回しに頼るが、それは追加の言語における流暢さが実際にはそのように見えるからであり、まさにその特徴こそ、検出器が警告対象として作られたものである。

その立場にある書き手に対して、より自然に書けばよいという助言はあまり役に立たない。なぜなら、自然であることこそが、まさに警告されたものだからである。TextPulseのESLの学術ライター向けページでは、そのリスクの背後にある言い回しのパターンをより詳しく扱っており、文の意味を変えずにそれらを変える方法も含めて説明している。

これは孤立した事例ではなかった。2025年12月には、これらの検出器における偏りを評価するために明示的に設計された新しいベンチマークが公開された。そこには、複数の人口統計学的属性と言語にわたる200,000を超えるサンプルが含まれていた。Stanfordの最初の研究から2年が経過しており、同じ検出器の多くの異なるモデル版を含んでいたにもかかわらず、このベンチマークは、英語学習者に対する偏りが依然として存在することを明らかにした。

これはすべてのベンダーに当てはまるわけではない。Pangramの技術文書には、その分類器が非ネイティブの英語話者に対して偏っていないと明記されている。Chicago Boothの研究者たちはこの主張を独自に検証してはいないが、新しい世代の検出器が、この問題を無視するのではなく、問題を念頭に置いて構築されていることは示している。

他の誰かに採点される前に自分の文章がどの位置にあるのかを見たいなら、無料の perplexity checkerを使えば、機関に何かを提出する前に、検出器が計算するのと同じ基礎数値を得られる。

誰がほかに警告対象となるのか、そしてその理由

英語を母語としない話者は、記録されているリスクが最も大きいが、同じ統計的論理は他の文章にも当てはまる。Weber-Wulffのチームは、試した14のツールすべてが、言い換えられたテキストに適用したときには精度が低下したことを見いだした。これは、誰かが検出器をかける前に、校正者、編集者、あるいは指導教員の赤ペンを通った学術文のかなりの部分を指している。

これらは、数値が無意味だということを意味しない。ただし、特定の人物について何かを意味する前に、裏付けが必要だということである。もし、文体が均一で、文の長さが似ており、全体を通じてリズムも似ているテキストがあれば、それを書いたのが誰であれ、また理由が何であれ、より機械的だと評価される。これは推測ではなく、無料の burstiness checker を使って直接確認できる。

擁護可能な AI 検出ポリシーとはどのようなものか

Yale にはすでに、GPTZero のようなツールを制限する方針があったとされているが、その理由は本稿で述べてきたものとほぼ同じである。すなわち、記録された偽陽性率と、英語を母語としない書き手に対する記録された偏りである。したがって、これは不運な一人の学生の話というより、既存の規則が守られていなかった話である。方針が実際に、スコアと判定の違いを強制するなら、スコアは判定ではなく、一つの入力になる。

• スコアは一つの入力として扱い、懲戒認定の唯一の根拠にしない
• ツールの公表された偽陽性率を、学生に対して使用する前に開示する
• 短い提出物と英語を母語としない文章には、記録された弱点があるため、追加の注意を払う
• 統計を反証することを求めない異議申立ての手段を保証する

これらは特異なことではない。むしろ、他の場所で単一の法医学的証拠がどう扱われるべきかに近い。すなわち、有用であり、検証可能であり、単独では決して十分ではない。

個々の書き手にとっても、同じ原則は、スコアが存在した後ではなく、存在する前に当てはまる。どのツールから得られたものであっても、単一の数値は判定ではなく推定である。それを、どちらの方向であれ、すなわち安全だとか、摘発されたとかいう確実性として扱うことは、その数値が支えられる以上のことを求めている。

TextPulse自身のAI humanizer toolは、同じ論理に基づくHuman Scoreを示します。これは、検出器の判定ではなく、あなた自身のテキストから算出された推定値であり、特定の検出器が何を示すかという約束ではなく、下書きが現時点でどのように読まれるかを示す指標として有用です。

精度の問題は、より狭い論点に分かれ、それぞれに個別のページがあります。検出器が人間の文章を誤ってフラグ付けする割合は別途扱われており、Turnitinの偽陽性率とZeroGPTの精度に関する具体的な証拠も同様です。すでにスコアが不利に用いられた場合には、AIを使用したと आरोपされたときに何をすべきか、AIを使用していないことを証明する方法のために集められる証拠、そしてスコアにその基準で応答する異議申立書の書き方についての実用的な記事があります。

いかなる報告書の数値も、提供元がモデルを再学習させ、研究者がより難しい事例に対して検証を続けるにつれて変動し続けます。しかし、変動すべきでないのは、その背後にある習慣です。スコアを複数ある測定のうちの一つとして読み、その検証に用いられた母集団は何かを問い、提供元がなお誤判定している事例について何を述べていないのかを問うことです。