AI検出器は今もPerplexityとBurstinessに依拠しているのか?

GPTZero が今日どのように AI 生成文を検出しているかを検索すると、返ってくる情報の大半はいまでも 2 つの統計量、perplexity と burstiness に集中している。この 2 つは、2023年1月の公開から数週間でこのツールを有名にした組み合わせである。だが、GPTZero の公式サポート文書は現在、別のことを述べている。それによれば、同年秋にこの 2 つの使用をやめたという。

では、burstiness は今も AI 検出器で使われているのか。学術界でこの用語を一般化させたツールでは、使われていない。GPTZero のサポートセンターは、perplexity と burstiness をもはや使用せず、代わりに deep-learning アーキテクチャへ移行したと明言している。学生が実際に最もよく接するツールである Turnitin は、そもそも方法の一部としてこの 2 つの用語を公表したことがない。これらの概念が議論から消えたわけではない。実際に検出を行う製品から消えたのである。

burstiness は今も AI 検出器で使われているのか

いいえ、GPTZero では使われておらず、名称としても使われていない。GPTZero の公式サポート文書はこれを直接述べている。「2023年秋の時点で、GPTZero は AI 検出のために perplexity と burstiness をもはや使用していません。deep-learning ベースのアーキテクチャへ移行したためです。」Turnitin の公式ガイドも、別の方法を説明している。それは、訓練済み分類器を用いて提出物の断片ごとにスコアを付ける仕組みであり、その文書のどこにもこの 2 つの用語は現れない。AI 検出の第一波を特徴づけた 2 つの統計量は、現在の主要ツールが実際に動かしているものではない。とはいえ、完全に捨てられたと言うのは正確ではない。GPTZero の解説文では、今でもそれらはモデルに入力される 7 つの指標の 1 つに数えられている。方法としては使われなくなったが、測定値としては消えていないのであり、この 2 つの主張の違いこそが、この問いの大部分を左右している。

2023年秋に何が変わったのか

この2つの用語は、もともと不明瞭ではなかった。GPTZero自身の初期の解説では、perplexityを「AIモデルが文書に見られるのとまったく同じ語の組み合わせを選んだ可能性の高さを測る指標」と定義し、burstinessを「文書全体にわたって書き方のパターンとテキストのperplexityがどれほど変動するかを測る指標」と定義していた。これは文書レベルの統計量であり、単純な文の長さの数え上げではない。これら2つの定義は、現在もGPTZeroのサイトに掲載されている。変わったのは、検出器が実際にどちらを動かしているかである。

「深層学習ベースのアーキテクチャへ移行した」というのは、特定の主張であり、宣伝文句ではない。そしてそれは、種類としての実際の変化を説明している。perplexityスコアは、式から直接計算される。すなわち、テキストを参照言語モデルに通し、対数確率を平均し、その結果を指数化する。これに対して、深層学習分類器は別に訓練され、大量の人間作成文とAI作成文の例を示されることで、学習データの中で2つの集団を分ける特徴の組み合わせを自力で学ぶ。後者の方法では、規則を人が手で書くことはない。モデルがそれを見つける。

この2つの廃止された用語については、このサイトの別の箇所で十分に説明している。perplexityが実際に何を測るのかとburstinessが実際に何を測るのかでは、それぞれの仕組みを、背後にある式を含めて詳しく扱っている。この部分では、今日の検出器が実際に動かしているのがそのどちらかであるかどうかに、限定して論じる。

GPTZeroとTurnitinが今日実際に文書化している内容

現在のGPTZeroの技術ページは、製品に搭載されている内容を説明しており、同社の検出器は「end-to-end deep learning approach」であり、「sentence-by-sentence classification model」によって、信頼度スコア付きの確率出力を生成すると述べている。perplexityとburstinessは、そのページのどこにも現れない。構成要素としても、旧機能としても、脚注としても記載されていない。

Turnitinの文書は、そもそもどちらの用語を中心に構成されていたわけでもない。そのガイドでは、数百語ごとの断片に分割された提出物を説明しており、各断片は訓練済みモデルによって採点され、その断片ごとの得点が平均化されて、レポートに表示される単一の割合になる。これは、テキストの区分に対して動作する教師あり分類器であり、GPTZeroが移行してきたのと同じ系統の手法であって、perplexity の計算でもなければ、別名の burstiness の計算でもない。

この移行は、並べて見ると最も分かりやすい。

	初期の解説が説明していた内容（2023）	現在の文書が説明している内容
GPTZero	参照モデルに対して採点される perplexity と burstiness	文ごとの深層学習分類器が出力する確率と信頼度スコア
Turnitin	公表されたことはなく、これらの用語はTurnitin自身の資料のどこにも現れない	数百語の断片を訓練済み分類器で採点し、それを1つの割合に平均化する

それでも概念が検出可能性を説明する理由

このことは、perplexity と burstiness が誤りだという意味ではない。ただし、現在の仕組みの説明としては時代遅れだというだけである。両方の概念は、常に実在するものを説明していた。すなわち、モデル自身の最も高確率な継続へ向けてサンプリングして生成されたテキストは、人がゼロから書いたテキストよりも、語ごとに見て予測しやすい傾向がある。また、文から文へと変動が少ない傾向がある。基礎にある規則性は、提供者が検出器のアーキテクチャを変更したからといって変わってはいない。変わったのは、検出器がそれを探しに行く方法である。

訓練済み分類器は、perplexity や burstiness を明示的に探すようには求められていない。むしろ、それは人間のテキストと機械生成テキストの間にある同じ基本的な区別に基づいて訓練されており、その2つの統計量はまさにその区別を捉えるために設計されたのである。そして、その2つの集合を区別するよう訓練された分類器が、その規則性のまさにその点, つまり両者の間で最も信頼できる差異の1つ, に注目しないとは考えにくい。これは、分類器がなぜ機能する可能性が高いのかについての推論であって、公表された特徴一覧についての主張ではない。この2つは区別しておくべきである。

独立した研究は、基礎となる統計量が、単一のベンダーの製品の外側においてもなお有効であるという考えを裏づけている。DetectGPTは、2023年に公表された学術的な zero-shot 手法であり、perplexity の近縁にあたる指標, すなわちモデルの対数確率関数がある一節の周囲でどれほど急峻に曲がるか, を調べ、ラベル付き例で分類器を一切訓練することなく、あるベンチマークで0.95 AUROCを達成し、従来の最良の zero-shot ベースラインの0.81を上回っている。機械生成テキストがモデル自身の確率空間の統計的に異なる領域に位置するという中核的な考え方は、今なお活発な研究対象である。ただし、それは GPTZero が利用者に提供しているものではない。

なぜインターネットの多くはいまだにこれを誤解するのか

AI検出がどのように機能するかについて公表された説明の大半は、GPTZero が2023年1月に公開された時期、またはその直後に書かれたものであり、その当時、perplexity と burstiness は同社自身が提示していた唯一の公開上の説明枠組みであった。それらの当初の解説ページは、今日でもなお公開されている。2023年秋の廃止通知は、それらに組み込まれるのではなく別のサポートページに置かれているため、最初のページを読んで調査をやめた書き手には、1年も経たないうちに手法が変わったことを知る理由がなかったはずである。

2026年に流通している第三者の検出器レビューは、GPTZeroが依然として、より大きなシステム内の複数の層の一つとしてperplexityとburstinessを用いていると主張している。その主張は、GPTZero自身の現在の技術ページおよびサポート文書と直接矛盾しており、GPTZero自身のサイト上にはそれを裏づけるものは何もない。自社が出荷した製品について説明する企業の記述は、その同じ製品に関する未検証の第三者の主張よりも依然として優先されるが、ベンダーの文書も誤っていることはある。本稿は、レビューが繰り返している古い説明ではなく、GPTZero自身のページに従う。

これがあなたの書き方にとって意味すること

burstinessをめぐる実践的な指針は、GPTZero自身の資料からその語が消えたというだけで無意味になったわけではない。文の長さを意図的に変えることは、機械的には、分類器が高い確率で検出するよう訓練されているのと同じ統計的な均一性を避けることについての議論であり続ける。その信号を内部で何と呼ぶかにかかわらずである。これを説明する語彙は変わっても、基礎にある助言はベンダーのアーキテクチャ変更を生き延びた。

これらの点は、この投稿を含め、誰かの言葉をそのまま受け入れることを必要としない。TextPulseの無料perplexityチェッカーと、より広い無料ツール集を使えば、どの世代の検出器であっても、それが働く前に自分の下書きがどこに位置するかを確認できる。

その答えが自分の文章へと戻るなら、実践上の次の対応はburstinessを意図的に高めることと学術的な段落全体で文の長さを変えることである。これは、指標を使わずに同じ作業を述べたものである。

検出器が実行する仕組みは今後も変わり続けるだろう。GPTZeroはすでに一度それを変更している。変わらないのは、本文サイトのAI検出器が実際にどのように機能するかについてのガイドで完全に扱われている実際の問いである。すなわち、予測可能な文章が機械生成の文章と同じものなのかどうかであり、ある年にどの数式が流行しているかには左右されない。