TurnitinがAIを検出する仕組み, ステップごとに

Turnitinのレポートは、たとえば42%という単一の数値を返し、それがどのように算出されたのかについては、仕組みを調べる人がいなければほとんど何も示しません。その数値は文書全体から直接読み取られるものでも、推測でもありません。それは、すべての提出物に対して同じように実行される、特定の文書化されたパイプラインの最終結果です。

では、TurnitinはどのようにAIを検出するのでしょうか。提出物を部分に分割し、それぞれをAI generatedである可能性が高いか、あるいはAI generatedで、その後に言い換えられたものかに基づいて個別に採点し、そのスコアを平均して、レポートに表示される全体の割合スコアを決定します。このパイプラインの各段階は、外部から逆解析されたものではなく、Turnitin自身の文書で説明されています。

これは特にTurnitinのAI writing detection機能について述べており、提出物を他の文書と比較する従来の類似性チェックや盗用チェックとは別のシステムです。以下の仕組みは、AI detectorsは実際にどのように機能するのかというより広い問題の中に位置づけられます。Turnitinが有用な具体例であるのは、多くのベンダーよりも自社の方法を詳しく公開しているからです。以下では、まずパイプラインを示し、次に実際に何を検出するのか、独立した検証で何を見逃すと分かったのか、そして機関内の誰が実際に結果を見るのかを述べます。

TurnitinはどのようにAIを検出するのか, パイプラインの概要

TurnitinのAI執筆検出器は、固定された順序で4つの段階を実行する。第一に、文書に、そもそも採点可能な適格な散文テキストが十分にあるかを確認する。第二に、そのテキストを数百語ずつのセグメントに分割する。第三に、モデルが各セグメントを個別に採点する。第四に、セグメントの得点を平均化し、読者が実際に目にする文書全体の単一の割合にする。

AI執筆レポートは類似性レポートではない

TurnitinのAI執筆レポートは、盗用を確認する類似性レポートとは別の製品である。両者は異なるモデルで動作し、同じインターフェース内の異なるタブに表示される。類似性スコアは、提出物を、以前に公開された資料や他の学生の論文のデータベースと照合し、一致する割合を返す。AIスコアはまったく別のことを行う。分類器が散文を読み、採点された各セグメントにAI生成である可能性を割り当て、それらの得点を単一の文書割合に集約する。測定しているものが異なるため、提出物は類似性スコアが2 percentでAIスコアが60 percentであることも、その逆であることもありうる。

AIの割合は、見た目よりも限定的でもある。これは、モデルがAIによって書かれたと予測する適格な散文の割合を示すものであり、文書全体を示すものではない。コードブロック、箇条書き、見出し、短文形式の文章は、スコアが計算される前に除外されるためである。執筆時点では、この検出器は英語、スペイン語、日本語のテキストでのみ動作する。

第一段階, 文書をチャンクに分割する

何かを採点する前に、Turnitinのモデルは提出物を数百語ずつのチャンクに分割し、1チャンクあたりおおむね5から10文とする。セグメンテーションが最初に行われるのは、モデルがその大きさのチャンクを採点するように構築されており、1文だけや、論文全体を一度に採点するようには作られていないからである。

プローズテキストのみがチャンクの対象となる。モデルは長文の文章を読むように設計されている。プローズと表やコードの両方を含む文書は、プローズテキストの一部の割合を含むものとして採点されるが、文書内のプローズテキストのすべてを記述するとは限らない。これは、検出器がコードブロック、箇条書き、または短文テキストを含まないデータのプールを採点しているためである。このため、文書は提出された内容の一部のみを記述する割合を返すことがある。

チャンク単位の採点には、名指しする価値のある、より静かな帰結がある。数百語からなる、ほぼ人間が書いたチャンクの中に置かれた1文のAI下書き文は、そのチャンク内の他のすべてと平均化されるため、そのチャンク自体のスコアへの影響は、同じチャンクを共有する周囲の人間が書いたテキストの量によって薄められる。短いAI下書きの挿入であっても、モデルには到達する。ただし、最初の語から最後の語までAI下書きであるチャンクよりも重みは小さい。

ステップ2, 各セグメントの採点

各チャンクは、それぞれ独立して、文書内の他のすべてのチャンクとは無関係に採点される。モデルは、その特定のテキスト区間が人間が書いたものか、AI生成か、あるいはAI生成の後に言い換えられたものかを予測する。これは単純なはいかいいえではなく、3分類である。

これは別のカテゴリであり、AI生成の単なる延長ではない。これは、言い換えが検出を弱めることに実際の問題があることを示唆している。これは2023年の研究によって裏づけられており、その研究では、AI生成テキストを専用の言い換えモデルに通すと、DetectGPTと呼ばれる研究用検出器の精度が70.3%から4.6%に低下し、偽陽性率は1%で一定だった。Turnitinが、自社の3分類分類器が同じ手法にどの程度耐性があるかについて何かを公表した形跡はない。このカテゴリは、記録された理由に基づいて存在している。

チャンク単位で採点し、文書全体単位で採点しないことは、意図的な設計上の選択である。二つのAI下書き段落を含む90ページの論文と、全体がAI下書きである5ページのエッセイは異なる問題であり、チャンクごとに平均を取ることで、文書全体の単一の数値がその違いを反映し、平坦化しないようにしている。

Turnitinは、そのチャンクごとのモデルの内部アーキテクチャを、パイプラインの各段階ほどの詳細では公表していない。これはラベル付き例で訓練された教師あり分類器であり、TextPulseのAI検出におけるperplexityが実際に何を測定するのかに関する解説で扱われているような、生の次トークン得点に対する単純な閾値ではない。ただし、同じ基礎的な考え方である、異常に予測可能なテキストは、そのような分類器が検出すべきものとして学習する内容の一部であることは、ほぼ確実である。

ステップ3, 文書レベルのパーセンテージへ平均化する

チャンクの得点は、レポートに表示される単一のパーセンテージへ平均化される。そのパーセンテージは、適格な散文テキスト、すなわち長文の文章のみについて、モデルがAI生成、またはAI生成後に言い換えられたものと予測する割合を表す。これは、採点されたセグメントの割合であって、文書の語数の正確な何割かが文字通り機械によって টাইピングされたという主張ではない。

レポート上のパーセンテージは平均値である。これが、どちらも40%を返す二つの文書が、細部では異なって見えうる理由である。一方は、そのチャンクの40%が完全にAI生成として採点されているかもしれない。別の文書では、すべてのチャンクが部分的に可能性ありと採点され、結果として同じ見出し数値に平均化されるかもしれない。どのパターンがそれを生んだのかは示されない。

TurnitinはChatGPT、Claude、またはGeminiを検出できるか

通常は可能である。文書にかなりの量のAIによる文章が含まれている場合、分類器はそれをどのベンダーが生成したかを気にしない。Turnitinによれば、そのモデルはブランド名ではなく文章パターンを探しており、その対象範囲は2023年の当初のGPT-3.5およびGPT-4の公開以来、繰り返し拡大してきた。現在の案内では、GPT-5シリーズ、Gemini、Claudeが、学習対象としているシステムの中に挙げられており、新しいモデルの公開は継続的に追加されている。代わりにGemini、Claude、またはDeepSeekを使った学生も、単に別の会社を選んだだけで検出器を回避しているわけではない。

この影響を受ける提出物の割合は増加している。Turnitinが2025年10月から2026年2月の間にスキャンしたエッセイの約15パーセントは、80パーセント以上がAI生成の文章であり、これはこのツールが2023年4月に公開された当初の約3パーセントから増加している。

AIによる言い換えテキストは、無条件に見逃されるのではなく、独自のカテゴリに入る。これが上で述べた3分類である。Turnitinの文書では、AI生成と判断したテキストのみと、AI生成であり、その後AIによって言い換えられたと判断したテキストとを区別している。また2025年8月には、検出器をすり抜けるように機械出力を書き換えるために作られたAI回避ツールに特化した検出を追加した。これは、言い換えが無意味であることや、書き換えられたすべての箇所が検出されることを意味しない。つまり、言い換えはデフォルトではTurnitinに見えないという前提が、すでにかなり前から時代遅れになっているということである。このツールが言い換えテキストそのものやDeepSeekの出力をどう扱うかは、別に扱っている。

最小語数要件とアスタリスクのしきい値

TurnitinのAI検出器がスコアを生成するには、提出物に少なくとも300語の対象となる散文テキストが必要であり、この下限は以前の150語から引き上げられている。それより短い場合、セグメント化して平均化する処理を実行するのに十分なテキストがない。

この300語の下限は、前に述べた単一のスコア算出区分の大きさ、すなわち数百語、5から10文と一致している。最小値ちょうどの文書は、実際には平均化のために、複数ではなく、せいぜい1区分分の適格なテキストしかパイプラインに渡していない。そのため、この下限付近にある報告書は、次の閾値が示すべき、より信頼性の低い範囲に入る可能性が高い。

Turnitinも、20%の閾値を下回る割合は表示しない。2024年7月以降、報告書は数値の代わりに、パーセント記号の横にアスタリスクを表示する。この報告書の挙動の1点だけで、パイプラインの他のどの部分よりも多くの混乱が生じるため、以下に独立した節を設ける。

条件	報告書に表示される内容	理由
適格な散文が300語未満	AIスコアは一切表示されない	区分化と平均化のパイプラインを信頼性高く実行するには、テキストが不足しているため
スコアが20%を下回る	数値ではなく、パーセント記号の横にアスタリスクが表示される	Turnitin自身の文書では、その範囲において偽陽性率が測定可能なほど高いと報告されているため
スコアが20%以上	特定の割合	Turnitinが数値として表示しても十分に信頼できると見なしているため

Turnitinにおけるアスタリスクのスコアは何を意味するのか?

TurnitinのAI執筆報告書におけるアスタリスクは、モデルがAIによる執筆をいくらか検出したが、文書全体の20%未満であり、Turnitinはその範囲の数値を公表しないことを意味する。通常であれば割合が表示される位置に、報告書は数値の代わりにパーセント記号の横にアスタリスクを表示する。Turnitinの製品文書はこれを明示している。「報告書でAIが20%の閾値を下回って検出された場合、現在はアスタリスク(*%)で示され、割合は付与されない。」

したがって、アスタリスクはエラーでも、スコアの欠落でも、アップロードで何かがうまくいかなかった兆候でもない。それは、ベンダーが信頼性が十分に高く印字する価値があるとは考えない数値を、意図的に差し控える判断である。

Turnitinが20 percent未満の数値を隠す理由

その帯域こそ、このツールが最も誤りやすい範囲であり、Turnitin自身の精度に関する約束もそこを除外するように設定されているからである。同社は、"under 1% for documents with over 20% of AI writing" について、偽陽性率を1%未満に保つことを約束している。適用範囲を注意深く読むべきである。この約束には下限が組み込まれており、その下限は同じく20 percentである。その線より下では、同社は同じ信頼性を主張していない。したがって、読者が必然的に正確な値として扱ってしまうような小さな数値を印字する代わりに、何も印字しないのである。アスタリスクは偽陽性を避けるために存在する。言い換えれば、人間が書いた文書を誤って表現してしまう数値を教員に渡さないために存在する。

この理由づけは、先に述べた仕組みに沿っている。文書レベルのスコアは、数百語ごとの断片の平均である。それらの断片のうちAIと判定される割合が小さい場合、得られる平均はごくわずかな信号に依存することになり、処理系は真の8 percentと見せかけの8 percentを信頼性高く区別できない。それに対する誠実な対応が数値を表示しないことであり、それは300語の最小要件の背後にあるのと同じ発想である。

大学においてアスタリスクが実際に意味するもの

実際には、ほとんどの機関はアスタリスクを対応すべきものではないと扱い、人間が書いた作業と整合的な低スコアとして読む。その理由は明快である。検出器を作ったベンダー自身がその範囲の数値を保証しないのであれば、教員には学生に対して持ち出すべき実質的な材料がなく、ましてや不正行為委員会に持ち込むべき材料もない。大半の学術的誠実性の手続において、アスタリスクを示す報告書は、実質的には問題のない報告書と同等である。

これは、その結果がどのように用いられるかを述べたものであり、目の前にそれが表示されているなら知っておく価値がある。しかし、それは文書が実際に何であるかについての判断と同じではなく、その区別は両方向において重要である。

アスタリスクが意味しないこと

• それは人間による著作の証明書ではない。Turnitin は文書の採点を確信をもって行うことを控えており、これは書き手についてではなく検出器についての記述である。
• それはゼロと同じではない。AI による執筆がまったくない文書と、AI の支援を受けた段落が 1 つある文書は、同一のアスタリスクを示すことがあり、まさにそのために数値は伏せられている。
• それは提出物間で比較可能ではない。2 つのアスタリスクは、両方の文書が同じ閾値を下回ったことを示すだけであり、互いにどのように比較されるかについては何も示さない。
• それは類似度スコアではない。盗用照合は別のタブにある別個の報告であり、AI 指標がどうであれ、それ自体の割合を表示する。

実務上、持ち帰るべき重要な帰結は、軽い AI 支援の編集, つまり 1 段落を支援を受けて書き換え、残りを支援なしで書いた場合, 多くの場合、小さな割合ではなくアスタリスクが表示されるということである。数値の有無のいずれも、それ自体ではこの問題を決着させないが、以下の精度指標は別の方向から同じ結論に至っている。

Turnitin が精度について主張すること, そしてその数値が誰のものか

Turnitin は自社の精度指標を公表しており、それはまさにそのようなものとして読む価値がある。すなわち、独立した監査ではなく、ベンダー自身の検証数値である。公表資料は、モデルが 20% を超える AI 執筆と判定した文書について 1% 未満の偽陽性率を示している。この閾値は、上で述べたアスタリスクの基準と一致する。その後、検出器のバイアスに関する研究を受けて、同じプログラムは English Language Learner の執筆サンプルにも拡張された。

Turnitinは、その数値が、ChatGPTが存在する以前に提出された人間が書いた論文の大規模な基準値に対して検証されたと述べている。Turnitinの資料は、その基準値の正確な規模について一貫していない。FAQページでは700,000本の論文が挙げられている一方で、TurnitinのChief Product Officerによるブログ投稿では800,000が挙げられており、いずれにも同じ1%未満という主張が付されている。Turnitinの資料はまた、会社自身の説明によれば、トレードオフも示している。AI生成コンテンツをより積極的に検出しようとすると、その約15%を見逃すことになる。

同社は公の場で自らの主張も修正してきた。2023年、公開直後に、Turnitinのchief product officerは、実験室でのテストでは実運用でどれほど多くの偽陽性が生じるかを予測できていなかったことを認め、とりわけ短い提出物でその傾向が強かったと述べ、文レベルの偽陽性率は約4 percentであったと報告した。この差に対する対応が、採点可能な最小長を150語から300語へ引き上げることだった。

これらの数値を合わせて読むと、単一の正確性の数値ではなく、特定のトレードオフが示されている。1%未満の偽陽性率は、システムを通過する提出物の数に照らして拡大されるまでは、ほとんど無視できるように聞こえる。一方、15%の見逃し率は、AI生成コンテンツのかなりの部分が、故障によってではなく設計上、人間として採点されることを意味する。Turnitin自身の資料は、これら両方の数値を、ツールが単に正しい、あるいは単に誤っていることの証拠ではなく、システムの意図された均衡として示している。

独立した検証で何が分かったか

独立した検証は、ベンダーの数値にはない詳細を加える。これは、実験室条件と実際の提出物との間にある隔たりを繰り返し示しているAI検出器の独立検証というより広い流れと同じ趣旨である。Temple UniversityのCenter for the Advancement of Teachingは、利用可能な中でもより慎重な検証の一つを実施した。研究者は120件の執筆サンプルを提出し、完全に人間が書いたもの、完全にAI生成されたもの、言い換えツールを通したAI生成文、そして人間とAIの寄与を組み合わせたハイブリッド文に均等に分け、それぞれについてTurnitinが返した結果を記録した。

このツールは、純粋に人間が作成したサンプルの93 percentと、純粋にAI生成されたサンプルの77 percentを正しく識別した。より難しい質問では、精度はさらに低下した。Turnitinは、言い換えられたAIサンプルのうちAI生成と正しく識別したのは63 percentにすぎず、ハイブリッドサンプルのうち完全に人間でも完全にAIでもないものとして正しく識別したのは43 percentだけだった。これらは、AIの支援を受けた文章が実際にどのように作成されるかに最も近い分類であり、研究者は特にハイブリッドテキストが、より多くの授業で課題の一部にAIを用いるようになるにつれて、実際の提出物の大きく増加する割合を占める可能性が高いと指摘した。

What was tested	Turnitin's result
100% human-written samples	93% correctly identified as human
100% AI-generated samples	77% correctly identified as AI
AI text run through a paraphrasing tool	63% correctly identified as AI
Hybrid samples, part human and part AI	43% correctly identified as neither 0% nor 100%
Documents with over 20% flagged (Turnitin's own figure)	Under 1% false positive rate

これらはいずれも、Turnitin側の独立した知見ではない。Turnitin自身のバイアス研究に関する報道で引用された、同社外の研究者は、とりわけ非母語の英語話者と大幅に編集された草稿について、さらに複雑な状況を示している。

文レベルのハイライトがどこで破綻するか

文書全体のスコアは、教員が開くことのできる唯一の表示ではなく、もう一方は信頼性が低い。いくつかのインターフェースでは、特定の文をAIによって書かれた可能性が高いものとして強調表示するフラグ報告が示される。Templeの研究者は、その強調表示を、ハイブリッドサンプルのどの文が実際にAIによって書かれたかと照合し、両者の間に関係がないことを見いだした。これは、教員が要約パーセンテージではなく、強調表示された段落のスクリーンショットを転送する場合に重要である。文書全体のスコアは、文レベルの強調表示よりもかなり良好に機能した。

誰が実際にスコアを見るのか

AIスコアは、既定では学生向けレポートの一部ではない。それは独立したタブにあり、教員と管理者には表示されるが、学生が見るのは、教員がレポートを共有するか、直接提示することを選んだ場合に限られる。これは、類似性スコアとは実質的に異なる構造上の違いである。類似性スコアは、提出物が処理されると、通常、学生自身が同じシステム内で閲覧できる。

同じことは、特定の授業に対してその機能がそもそも存在するかどうかにも当てはまる。これは教員を超えた、機関レベルの判断である。アカウントレベルの管理者は、TurnitinのAI検出を組織全体で有効にも無効にもできる。ある講師は、自分の大学がそれを無効にしていれば有効化できない場合があり、その逆もある。異なる大学の2人の学生が同程度の課題を提出しても、このツールに関して非常に異なる経験をすることがあり、それはどちらが何を書いたかとは無関係である。

なぜ一部の大学はこれを無効にしたのか

Waterloo大学は、2025年9月にTurnitinのAI検出機能を廃止し、その公表された理由はきわめて直接的である。同大学は、このツールの文書化された信頼性の低さ、第一言語が英語ではない学生に対する偏り、そして少なくとも1件、完全に人間が書いた文章が100 percent AI-generatedと判定された事例を含む独自の内部テストを挙げた。ツールの費用と比較した結果、同大学は費用が利益を上回ると結論づけ、代わりにその取り組みを評価設計の再構築とAIリテラシー研修へ振り向けた。

Waterlooは、例外というより、より広い分断の一つの目に見える例である。機能を有効のままにしている大学は、一般に、スコアをそれ自体での判断として扱うのではなく、保護措置を追加してきた。すなわち、正式な手続きが始まる前に学生との対話を求め、その数値を、その対話を閉じる理由ではなく、開く理由として扱っている。大学がAI方針をどのように扱っているかをより広く読むと、この傾向はより明確になる。スコアがそもそも示されるかどうかは、技術そのものの固定的な性質ではなく、講義室よりはるか上位で下された判断に依存しているのである。

高いスコアが証明することと、証明しないこと

高いAIスコアは証拠であって、判断ではない。Turnitin自身は、その割合を不正行為の認定ではなく、教員の判断のための一つのデータ点として位置づけている。上の精度指標が、その位置づけが重要である理由を説明している。すなわち、文書全体のスコアであっても、かなり良好に機能するものですら、大幅に編集された文章、言い換えられた文章、あるいは混成的な文章のかなりの部分を誤読し、文単位のハイライトは要約数値よりも著しく信頼性が低い。とはいえ、これらのどれも、個々のスコアが誤りであることを保証するものではない。つまり、1つの割合は、そのまま受け入れるべき認定ではなく、問いを立てる理由なのである。

文書全体の単一の割合は、4つの別個の段階を1つの数値に圧縮しており、そのどの段階も意味を読み取ったり、議論が妥当かどうかを確認したりはしない。このようなパイプラインがどのような基礎的な統計的信号から構成されているかに照らして、短い一節がどのように採点されるかを見るほうが、割合を判断として扱うよりも、報告を理解する直接的な方法である。TextPulseの無料perplexity checkerは、そうした語単位の採点の簡略版を、いかなる制度的パイプラインにも属さない形で、自分の下書きに対して実行する。また、その無料burstiness checkerは、同じ測定のうち文のリズムに関わる半分を扱う。どちらも、自分の文章についての読み取りを与えるのであって、Turnitinがそれについて何と言うかの予測ではない。いかなるツールも、自ら制御していないシステムについて、そのようなことを責任をもって約束することはできない。

Turnitinは2つの数値を報告し、それらは無関係な事柄を測定する。どちらがどちらかは別に示しているほか、割合が何を指すのかが分かった後での実際に良いTurnitinスコアと見なされるものもある。関連するいくつかの問いには、それぞれ独立したページがある。教授がChatGPTを使ったことを見抜けるかどうかを検出器なしで扱うページ、そのより直接的な表現である見つかるかどうか、さらに特定の状況については看護学プログラムにおけるAI検出と大学入学審査部門がこれらのチェックを行うかどうかである。より広い枠組みは、別稿の学術的誠実性とAIにある。

これらはいずれも、最終版になる可能性は低い。Turnitinは2023年以降、閾値、表示ルール、モデルの対象範囲を何度も書き換えており、2026年8月が最後の決定版になるわけでもない。それはTextPulseの無料ツール集のほかの項目と並んでおり、ある機関の割合を最終的な判断として扱う前に、別の指標を求めたい人向けである。

私たち自身の研究でわかったこと

TextPulse Research の検出器一致性研究では、9つの商用AI検出器が同じ90本の学術テキストを評価しました。そのひとつが455語のハイブリッドテキストで、人間が書いた冒頭と結びの間に168語のAI生成部分を挟んだものです。Turnitin はこのテキストを 26.8% AI と判定しましたが、同じ文章に対する他のツールの判定は 0% から 95.7% までばらつきました。論文全文、コーパス、ツール別スコア行列は TextPulse Research で公開されています。