Turnitinは人間化されたAIテキストを検出できるか?

Turnitin は、この質問に自社のサポートサイト上で回答しており、その答えは通常の議論のどちらの立場よりも具体的である。その AI writing indicator, Turnitin says, には、すでに、人間化された可能性のある、または検出を回避するために bypasser を通過した AI 生成コンテンツの検出が含まれている。これは、ベンダーが自社製品について述べている説明である。また、モデルが何を対象としていると主張しているのかを示すため、出発点として適切である。

では、Turnitin は humanized text を検出できるのか。この問いは、より狭く、より有用な形にするとよい。Turnitin のモデルは humanizer の指紋を探すわけではなく、ツールの一覧も保持していない。文章を文ごとに採点し、その書き方が機械生成テキストの統計的パターンにどれほど近いかを評価し、その後、文書全体でそれらのスコアを平均する。humanized された一節がなお高いスコアを示すかどうかは、その書き換えによってそのパターンがどれだけ変わったか、また文書のどれだけが実際に書き換えられたかに依存する。

Turnitin は humanized text を検出できるのか, Turnitin の主張

公表されている立場は、明確に yes である。humanizer を通したコンテンツを検出できるかという問いに答える形で、そのガイダンスは次のように述べている, "Yes, Turnitin's AI indicator includes detection of AI-generated content that may have been humanized or passed through a bypasser to avoid detection." 同じページでは、AI paraphrasing tools についても同じ答えが示されている。

その主張は、レポートのどこかに別の数値として現れるわけではない。Turnitin はそれを単一の AI writing percentage に組み込み、その割合の公表された定義はそれを直接示している, すなわち、モデルが AI によって生成された可能性が高いと判断したテキスト、または AI paraphraser あるいは bypasser によって生成後に修正された可能性が高いテキストを含む。スコアは 1 つであり、モデルが可能な範囲で、その書き換えをすでに考慮している。

注意深く読むと、これは精度についての記述ではなく、対象範囲についての記述である。Turnitin は、モデルが構築された時点で humanized text が対象に含まれていたと言っているにすぎない。すべての humanized document が高いスコアを取ると言っているわけではまったくなく、その下に示されている公表済みの数値自体も、個々の文を不確実なものとして扱うモデルを示している。

AI Writing Indicator が実際に採点しているもの

それは割合ではない。テキストの一部であり、信頼度ではない。これは、文書内のテキストのうち、モデルが AI generated である可能性が高いと考える量の尺度である。これを qualified text と呼ぶが、これは長文形式の文章における散文の文を意味する。箇条書き、コード、表、短い断片は含まれない。そのため、同じ論文でも、連続した散文がどれだけ含まれているかによって、異なる数値が表示されることがある。

その背後にある仕組みは、思い描くのが十分に容易である。Turnitin は文書を、数百語程度、各 5 から 10 文ほどの重なり合う区間に分割し、すべての文が文脈の中で採点されるように重複させる。各文には 0 から 1 の間の値が与えられる。次に、区間ごとのスコアが文書全体で平均化され、教員が目にする 1 つの数値が生成される。Turnitin が AI を検出する仕組みを段階的に説明した記事では、各段階がより詳しく説明されている。

この平均化の段階は、処理全体の中で humanized text にとって何よりも重要であり、ほとんど誰も考慮していない部分である。教員が読む数値は、区間レベルの判断の算術平均である。文書の半分を書き換えたとしても、その書き換えの質とはほとんど関係のない理由で、中間的な値に落ち着くことがある。

Humanized Output が時にそれでも高くスコアされる理由

最も一般的な理由は、対象範囲です。導入部と結論部にのみ humanizer を適用すると、文献レビューと考察はそのまま残り、それらの部分は元のスコアをそのまま平均に持ち込みます。長い章では、冒頭の数ページを書き換えても変わるのは少数のセグメントだけで、残りは元のままです。そのため、著者が大きな作業だと感じたものに対して期待するほどの変化は生じません。

第二の理由は、書き換えの深さです。語彙を置き換えつつ、文の長さ、節の順序、接続表現の選択を維持する処理では、分類器が学習したパターンの大部分がそのまま残ります。モデルは散文の形を評価するため、その形を構成する語だけを変えても、多くの人が想定するほどの差にはなりません。free perplexity checker を使えば、書き換え後の文章がどれほど予測可能に読めるかを確認できます。これは、書き換え前後を語レベルで比較するよりも、より有益な संकेतです。

第三の理由は、書き換え自体が独自の規則性を導入しうることです。すべての段落に同じ変換を適用するソフトウェアは、古いものと同じくらい規則的な新しいパターンを生みます。すべての文に同じ種類の結合部の切断が入る場合、あるいはすべての文に同じ種類の緩和的な節が同じ位置に追加される場合、それらの文は、最初からすべて同じ長さだった場合と同様に、分類器によって均一に見なされます。

状況	AIスコアが示すもの	理由
文書の一部だけが書き換えられた	予想よりも小さく下がる	手を加えていない部分の元のスコアが平均に持ち込まれる
語彙は変えたが、文構造は維持した	ほとんど動かない	分類器は、置き換えで残された文レベルのパターンにスコアを付ける
文全体が実際に再構成されている	より大きく動く	モデルが認識するよう訓練された均一なリズムが崩れる
提出された散文が300語未満である	スコアはまったく生成されない	Turnitinは、割合を報告する前に、300語の適格な散文を必要とする
結果が20 percent未満に収まる	数値の代わりにアスタリスクが表示される	Turnitinは、この範囲の結果を信頼性が低いものとして扱う

同じ書き換えが時に低いスコアを生む理由

人間らしくした文書が低いスコアで返ってくることがあるが、その理由は書き換えとは無関係である。Turnitinは、AIの割合を生成する前に、少なくとも300語の適格な散文を必要とする。この下限は、精度はもう少し長いテキストで向上するという明示された理由に基づき、当初の150語から引き上げられた。短い省察的な文章では数値は出ず、スコアがないことは、きれいであることと同じではない。

Turnitinは、20 percent未満の範囲を正確な割合ではなくアスタリスクで示す。これは、この範囲では偽陽性の発生率が高いためである。公開時点の教育報道でもこの挙動に言及し、20 percent未満のAI生成と報告された結果は偽陽性の発生率が高く、そのためTurnitinは注意書きを追加したと述べていた。この帯域に入った文書は、Turnitinが正確には報告しない範囲として扱われており、これは除外されたこととは異なる。

さらに、その上位には制度上のゲートが存在する。Turnitin は、機関がこの機能を有効にしている場合にのみ AI 執筆検出のための提出物を処理し、管理者はアカウント全体でこれを無効化できる。Vanderbilt University は 2023年8月にまさにそれを行い、その時点で公表されていた約 75,000 件の年間提出物に対する 1 percent の偽陽性率、英語を母語としない書き手に対するバイアス、そしてモデルがどのように機能するかについての透明性の欠如を理由に挙げた。この機能がオフの機関にいる学生は、humanized であるかどうかにかかわらず、いかなる提出物についても AI スコアを持たない。

また、書き換えが本当に構造的であった場合、測定されるパターンが変化するため、スコアは下がりうる。Turnitin は執筆パターンから算出された推定値を報告しているので、パターンが異なるテキストは異なるスコアになる。この仕組みは両方向に働くが、そこが不快な点である。というのも、元の人間の文章が、まったく同じ理由で高いスコアを示すことがあるからである。

各 Humanizer ベンダーが主張する内容と、文書化されている内容

表には一つの規則が適用される。中央の列は、ベンダー自身のマーケティング文言であり、そのサイトがそれを提供している場合には、そのサイトからそのまま採用している。右の列は、各主張の背後に実際に何があるのかを記録しており、ほとんどの場合、それはデータセットでも日付でも方法でもない。これらのブランドについて、公的な直接比較テストは存在しない。

Brand	What the vendor claims	What is documented
Undetectable.ai	AI検出器を通過することを製品機能として数値なしで掲げ、出力が人間によるものではないと判定された場合には人間化の費用を返金すると申し出ている	返金は商業条件であり、この主張を裏付けるデータセット、日付、検出器別の結果は示されていない
QuillBot	自社ページ上では、humanizer 機能について検出回避の主張をしていない。別個の AI detector は、AI生成コンテンツを検出するものとしてのみ説明されている	QuillBot は humanizer を一般的なライティングスイートの中で販売しており、Turnitin に特化した主張は行っていない
WriteHuman	Humanizer Leaderboard で第1位とされ、重要な執筆のためのプレミアム AI humanizer と説明されている	その leaderboard には方法論もサンプルも示されておらず、WriteHuman は順位に数値の正確性指標を付していない
Walter Writes AI	Turnitin に特化した主張なしに、80以上の言語にわたる広範な humanization を宣伝している	いずれの方向についても試験データはない
HIX Bypass	Turnitin に特化した数値を示さずに、検出器別の bypass ページを宣伝している	HIX Bypass と BypassGPT は別ドメイン上の別製品であるため、主張がどちらを指すのか確認する必要がある
StealthGPT	Turnitin で平均98%が人間と判定され、GPTZero で95%が人間と判定されたとし、それぞれ30件のサンプルを用いた明示的な実行で検出ゼロであったと述べ、さらに購読者が検出された場合には返金保証を付している	自己申告である。数値の横にデータセット、サンプル選定、日付、方法は公表されておらず、30文書という規模は、数百万件の提出物を評価するモデルについての主張としては小さい
Phrasly	AI detection remover と位置づけているが、試験データは公表していない	どちらの方向についても公的な主張はない。レビューで流通している数値は伝聞であり、ここでは原則として除外する
Grammarly	書き換え機能を検出回避としては一切宣伝していない。AI detector のページでは、99%の検出精度と、RAID の独立ベンチマークで第1位であることを主張している	同じ Grammarly のページには、どの AI detector も100%正確ではないと記されている。Authorship 機能は、テキストを人間が入力したもの、AIで作成されたもの、または Grammarly で編集されたものとしてラベル付けする
TextPulse	Turnitin AI で92.33%の通過率、Originality.ai で89.12%、GPTZero で87.91%を、2,000文書の学術コーパスで測定したもの	TextPulse により測定・公表されたものであり、上のすべての数値と同様に自己申告である。コーパスの規模と検出器は明示されているが、個々の文書について検出結果は約束されていない

その表から分かることは3つある。これらのツールの大半は、そもそも検証対象とする検出器の主張を公表していない。いくつかは数値にサンプルサイズを付しているが、それでもこのカテゴリの他の製品よりはましである。そして、会社の外部にいる誰も自分で実行できるデータセットを公表しているものは一つもない。もっとも、各ブランドが評価に値する点は評価すべきである。Undetectable.aiは自社の主張に返金保証を付けており、これは形容詞ではなく具体的な約束である。WriteHumanは階層ごとの正確なリクエスト上限と語数上限を公表しているため、購入者は何を得るのかを把握できる。Grammarlyは、自ら示した正確性の数値に同じページ上で条件を付しており、これは多くの検出器ベンダーよりも誠実である。そして、QuillBotがそもそも回避の主張をしないことは、この一覧の中で最も防御可能な立場である。

ベンダーの外部にいる者がこれらの数値を確認できない理由

Turnitinの通過率を主張するヒューマナイザーのベンダーは、自社が管理するアカウントを通じて実行した処理、自社が選んだ文書、通常は明示しない日付、そして新しい言語モデルが公開されるたびにTurnitinが改訂する分類器に対する結果を述べているのである。これはStealthGPTの30サンプルの数値にも当てはまり、このサイトが公表している2,000文書の数値にも同様に当てはまる。コーパスの大きさは、数値の中にどれだけのノイズが含まれるかを左右する。しかし、それによって自己申告が監査になるわけではない。

問題のもう半分は、Turnitin自身が検出対象と主張するモデルの一覧を、新しいリリースが出るたびに編集していることである。前四半期の分類器に対して測定されたその通過率は、前四半期の分類器について述べているにすぎず、それ以外のことは何も述べていない。なぜそれが、Turnitinを回避する最良のAIヒューマナイザーを誰も名指しできないことを意味するのかは、別途説明している。ここにあるサイトを含め、すべてのヒューマナイザーのホームページ上のすべての数値は、ベンダーが公表していない可能性のある日付を伴うスナップショットである。

支払う前に回避の主張をどう読むか

検討に値する主張と無視すべき主張を分ける4つの問いがあり、それらは上の表のすべての行に当てはまる。最後の行も例外ではない。

• 何件の文書が検査されたのか、またそれらを選んだのは誰か。サンプルサイズを伴わない割合は、数字をまとったスローガンにすぎない。
• いつの時点で、どの検出器の版に対してか。検出モデルは新しい言語モデルが公開されるたびに改訂されるため、日付のない通過率はすぐに古くなる。
• 保証は返金なのか、それとも結果なのか。返金保証は小さな金銭的リスクを移すだけで、学術的不正行為審査に対しては何の効果もない。
• ベンダーは、引用、専門用語、またはブロック引用がどうなると言っているのか。多くの humanizer のページは何も述べておらず、それ自体が答えである。

その最後の問いは、検出器の算術よりも、学術的な課題を提出する者にとってはるかに多くを決定する。高得点を取り、方法の一文を静かに一般化する書き換えは、採点対象であったものを失わせる。TextPulse's academic humanizer は、APA、MLA、IEEE、Chicago、Harvard、Vancouver にわたる引用保持、通過を実行する前に正確な語彙を固定するための freeze terms、ならびに査読済み学術テキストでの学習と、出力を Flesch-Kincaid grade 13 to 18 に保つことを文書化している。これらはテキストに何が起こるかについての主張であり、検出器に関する割合とは異なる種類の主張である。そして読者は、1分以内に出力の中でそれらを検証できる。

いずれにせよ、スコアが学生にとって意味するもの

Turnitin は、AI writing indicator が不正行為の認定ではないと明確に述べている。Turnitin の製品ページは、Turnitin Originality が「AI writing detection (or similarity checking) technology によって misconduct の判定を行わない」と明示している。また、Turnitin は、各機関の方針に基づいて教師が十分な情報に基づく判断を下せるよう情報を提供すると明確にしている。これはさらに、モデルが「常に正確であるとは限らず, human-written, AI-generated, and AI-paraphrased text を誤って識別する可能性があるため, 学生に対する不利益な措置の唯一の根拠として用いるべきではない」と警告することで繰り返されている。

学生は既定ではスコアを確認できない。Turnitinは、AI writing detectionの指標とレポートは学生には表示されず、学生がそれを確認する唯一の方法は、教員がレポートをPDFとしてダウンロードして渡すことであると明言している。自分の下書きを確認する学生は、異なるデータで訓練された別のツールを確認しているのであり、2つの数値が一致する義務はない。

そのため、スコアだけでは決着しない部分が残る。AI支援がそもそも許可されていたかどうかは、授業と機関の問題であり、AI use policyは、それに対して百分率では決して示せない形で答える。許可され、開示された使用に対する高いスコアは、証拠を伴う議論である。ポリシーが禁じる未開示の使用に対する低いスコアも、なお未開示の使用である。

自分の下書きを編集する書き手にとって、これらすべての実際的な読み取りは、スコアは文章に従うということである。Turnitinのモデルは文書全体にわたる文レベルのパターンを測定するため、部分的な書き換えは部分的な変化しか生まず、語彙の置換はほとんど変化を生まない。how to humanize AI textの完全な手順では、パターンを変える構造的な編集を、最も変化を生む順にたどっている。

TextPulseのAI humanizerは、これらの構造的な編集を文書全体に一度に適用し、テキスト自体から算出した推定Human Scoreを報告するのであって、特定の検出器が何を示すかの予測ではない。どのツールもTurnitinの結果を約束することはできない。なぜなら、どのツールもTurnitinのモデルの内部を見ることはできないからである。そう主張する製品があれば、それは観測する手段のない結果を述べているにすぎない。

humanizerとparaphraserの違いはここで重要であり、paraphrased textがなおもフラグされる理由も同様に重要である。

この中で最も興味深くないのは数値である。結果を決めるのは、採点者がそれを見てからの20分である。すなわち、論文がその作業過程、下書きの履歴、メモの一式、書き手が開かずに語れる出典を示せるかどうかである。その証拠は、実際に作業を行った者なら誰でも利用でき、書き直しでは動かせなかった評価をなおも残す。