AI検出器は今もPerplexityとBurstinessに依拠しているのか？

GPTZero が今日どのように AI 生成文を検出しているかを調べると、返ってくる情報の大半はいまでも 2 つの統計量、perplexity と burstiness に集中している。この 2 つは、2023年1月の公開から数週間でこのツールを有名にした組み合わせである。しかし、GPTZero 自身のサポート文書は現在、別のことを述べている。すなわち、同年秋にこの 2 つの使用をやめたということである。

では、burstiness は今でも AI 検出器で使われているのか。学術界でこの用語を一般化したツールでは、使われていない。GPTZero のサポートセンターは、perplexity も burstiness ももはや使用しておらず、代わりに deep-learning アーキテクチャへ移行したと明言している。実際に多くの学生が遭遇するツールである Turnitin は、そもそもその方法の一部としていずれの用語も公表したことがない。これらの概念が会話から消えたわけではない。実際に検出を行っている製品から消えたのである。

Burstiness は今でも AI 検出器で使われているのか

いいえ、GPTZero では使われておらず、名称としても使われていない。GPTZero のサポート文書はこれを直接述べている。「2023年秋の時点で、GPTZero は AI 検出に perplexity と burstiness をもはや使用していない。deep-learning ベースのアーキテクチャへ移行したためである。」Turnitin の公式ガイドは、さらに別の方法を説明している。それは、訓練済み分類器を用いて提出物の断片を採点する仕組みを中心に構成されており、その文書のどこにもこの 2 つの用語は現れない。AI 検出の第一波を特徴づけた 2 つの統計量は、現在の主要ツールが実際に動かしているものではない。これは、それらが捨てられたと言うよりは限定的な表現である。GPTZero 自身の解説では、なおそれらをモデルに入力される 7 つの指標の 1 つとして数えている。方法としては使われなくなったが、測定値としては使われなくなっていないのであり、この 2 つの主張の差異こそが、この問いの大部分を左右している。

2023年秋に何が変わったのか

この2つの用語は、もともと決して曖昧ではなかった。GPTZero自身の初期の解説では、perplexityは「AIモデルが文書に含まれるのとまったく同じ語の集合を選んだ可能性の高さを測る指標」と定義され、burstinessは「文書全体にわたって書き方のパターンとテキストの perplexities がどの程度変動するかを測る指標」と定義されていた。これは文書レベルの統計量であり、単純な文長の数え上げではない。これら2つの定義はいまもGPTZeroのサイトに掲載されている。変わったのは、検出器が実際にどちらを実行しているかである。

「Migrated to a deep-learning based architecture」は特定の主張であり、宣伝文句ではない。そしてそれは、種類としての実質的な変化を述べている。perplexity スコアは式から直接計算される。すなわち、テキストを参照言語モデルに通し、対数確率を平均し、その結果を指数化する。これに対して、deep-learning 分類器は別に訓練される。大量の人間作成文と AI 作成文の例を示し、訓練データの2つの集合を分ける特徴の組合せを、それ自体で学習するまで与えるのである。後者の方法では、規則を人手で書く者はいない。モデルがそれを見つける。

このサイトの別の箇所では、廃止された2つの用語について完全な説明を行っている。perplexity が実際に何を測るのかとburstiness が実際に何を測るのかは、それぞれの仕組みを数式を含めて詳しく扱っている。ここでは、いずれかが現在も検出器が実行しているものなのかという点に限定して論じる。

GPTZero と Turnitin が現在実際に文書化している内容

製品に実装されている内容を説明する現在のGPTZeroの技術ページでは、同社が「web、教育、そしてさまざまな LLMs からの AI-generated テキストデータセットで訓練された、end-to-end の deep learning アプローチ」を採用しており、その中で「文ごとの分類モデルが、あるテキストが AI によって作成された確率と信頼度を決定する」と述べている。perplexity と burstiness は、そのページのどこにも現れない。構成要素としても、旧機能としても、脚注としても記載されていない。

Turnitinの文書は、そもそもいずれの用語を中心に構築されたものでもなかった。そのガイドでは、提出物を数百語ずつの断片に分割し、各断片を訓練済みモデルで採点し、その断片の得点を平均して、レポートに表示される単一の割合を算出する仕組みが説明されている。これはテキストの区分に対して働く教師あり分類器であり、GPTZeroが移行してきたのと同じ系統の手法であって、別名の perplexity 計算でも burstiness 計算でもない。

この移行は、並べて見ると最も分かりやすい。

	初期の解説が説明していた内容（2023）	現在の文書が説明している内容
GPTZero	参照モデルに対して採点される perplexity と burstiness	確率と信頼度スコアを出力する、文ごとの深層学習分類器
Turnitin	公表されていない, これらの用語はTurnitin自身の資料のどこにも一度も現れない	数百語の断片を訓練済み分類器で採点し, それを1つの割合に平均化する

なぜこれらの概念がなお検出可能性を説明するのか

このことは、perplexity と burstiness が誤りであることを意味しない。ただし、現在の仕組みの説明としては時代遅れである。両概念は、常に実在する何かを説明していた。すなわち、モデル自身の最も確率の高い継続に向けてサンプリングして生成されたテキストは、人が一から書くテキストよりも、語ごとに見て一般に予測しやすくなる傾向があり、また文から文へと変動しにくい傾向がある。基礎にある規則性は、ベンダーが検出器のアーキテクチャを変更したからといって変わっていない。変わったのは、検出器がそれをどのように探しに行くかである。

訓練された分類器は、perplexity や burstiness を明示的に探すようには指示されていない。むしろ、それは、これら二つの統計量が捉えるよう設計された、人間のテキストと機械生成テキストの間の同じ基本的な区別について訓練されている。そして、その二つの山を区別するよう訓練された分類器が、まさにその規則性, すなわち二つの間で最も信頼できる差異の一つ, に着目しないとは考えにくい。この点は、分類器がなぜ機能する可能性が高いのかについての推論であって、公表された特徴一覧についての主張ではないので、両者は区別しておくべきである。

独立した研究は、基礎となる統計量が、単一のベンダーの製品の外でもなお有効であるという考えを裏づけている。DetectGPTは、2023年に公表された学術的な zero-shot 手法であり、perplexity の近縁概念である、モデルの対数確率関数がある文章の周囲でどれほど急峻に曲がるかを調べ、ラベル付き例で分類器を一切訓練することなく、あるベンチマークで 0.95 AUROC を達成し、これは最良の従来の zero-shot ベースラインの 0.81 を上回る。機械生成テキストが、モデル自身の確率空間の中で統計的に異なる領域に位置するという中心的な考えは、現在も活発な研究対象である。ただし、それは GPTZero が利用者に提供しているものではない。

なぜインターネットのこれほど多くが今なおこれを誤解しているのか

AI検出がどのように機能するかについて公表された説明の大半は、GPTZero が2023年1月に公開された時期、またはその直後に書かれたものであり、その時点で company 自身が提示していた公開上の枠組みは perplexity と burstiness だけであった。これらの最初の解説ページは、今日でもなお公開されている。2023年秋の廃止通知は、それらに組み込まれているのではなく、別個のサポートページに置かれている。そのため、最初のページを読んで調査をやめた書き手には、手法が1年も経たないうちに変わったことを知る理由がなかったであろう。

2026年に流通している第三者の検出器レビューは、GPTZeroが依然として、より大きなシステムの中の複数の層の一つとして perplexity と burstiness を用いていると主張している。その主張は、GPTZero自身の現在の技術ページおよびサポート文書と直接矛盾しており、GPTZero自身のサイト上にはそれを裏づけるものは何もない。自社が出荷した製品について説明する企業の記述は、たとえベンダーの文書も誤りうるとしても、同じ製品に関する裏づけのない第三者の主張より依然として優先される。本稿は、その古い説明を繰り返すレビューではなく、GPTZero自身のページに従う。

これがあなたの書き方にとって意味すること

burstiness をめぐる実践的な指針は、GPTZero自身の資料からその語が消えたからといって、無用になったわけではない。文の長さを意図的に変えることは、機械的には、分類器が高い確率で検出するよう訓練されているのと同じ統計的な均一性を避けることについての議論であり続ける。その信号を内部で何と呼ぶかにかかわらずである。語彙が変わらなかったとしても、その背後にある助言は、ベンダーのアーキテクチャ変更を経ても残った。

これらのいずれも、この投稿自身を含め、誰かの言葉をそのまま受け入れることを必要としない。TextPulseの無料 perplexity チェッカーと、より広い無料ツール集を使えば、どの世代の検出器であれ、それが働く前に自分の下書きがどこに位置するかを確認できる。

その答えが自分の文章へとあなたを戻すなら、実践上の次の対応はburstiness を意図的に高めることと学術的な段落全体で文の長さを変えることであり、これは指標を用いずに述べた同じ作業である。

検出器が用いる仕組みは今後も変わり続けるだろう。GPTZeroはすでに一度それを変更している。変わらないのは、実際の問いである。このサイトのAI検出器が実際にどのように機能するかについてのガイドで詳しく扱っているとおり、それは、予測可能な文章が機械生成の文章と同じものなのかどうかであり、ある年にどの式が流行しているかには左右されない。