AI検出におけるパープレキシティとは何か?

perplexity と AI detection を一緒に検索すると、上位結果のいくつかは無関係な製品についてのものだと分かる。その製品とは、AI を用いた検索エンジンで、たまたま Perplexity という名前を持つものである。detector が実際に報告する指標は、その会社とは語以外に何の関係もない。この指標は、GPTZero やその検索エンジンより何十年も古い音声認識研究に由来し、両者よりも狭いものを測定する。つまり、言語モデルが、ページ上にすでにある語にどれほど驚いているかである。

では、AI detection における perplexity とは何か。perplexity は、言語モデルがある文章中の正確な語をどれだけうまく予測したかを示す score であり、モデル自身の確率を平均し、その結果を単一の数値に変換して得られる。低い score は、モデルが正しく推測し続けたことを意味する。高い score は、モデルが驚かされ続けたことを意味する。

この考え方は、市場にあるどの AI detector よりも古く、それ自体では文書の執筆者について何も示さない。その数値の背後にある計算が見えるようになると、report 上の score は判定のようには見えなくなり、実際に何であるか、つまり語の選択の記述として見えるようになる。

AI detection における perplexity とは何か?

perplexity は、language modeling から借用された測定である。これは、モデルが文章中に現れる特定の語をどれだけうまく予測したかを score 化し、その score を単一の数値として報告する。detector は、この同じ測定を提出された文書に適用する。つまり、モデルの推測が実際の語とかなり一致していれば低い数値となり、機械による執筆の印として読まれる。一方、高い数値は人間による執筆の印として読まれる。この計算のどこにも、文書の主張、引用、主題は読まれない。読まれるのは、各語がどれほど予想されやすかったかだけであり、それを一語ずつ見るのである。

detector がこの測定を発明したわけではない。speech recognition と machine translation の systems は、モデルが通常の言語をどれだけうまく予測したかを判断するために、この道具を何十年も前から使っており、detector はそれを著者性の proxy として転用したのである。しかし、それは本来その目的のために作られたものではなかった。

これらのいずれも、先に言及した無関係な検索エンジンとは何の関係もない。検出器が報告する perplexity は会社ではなく、また大文字で始まることもない。それは語列の単純な統計的性質であり、与えられたテキストからその都度新たに計算される。

perplexity は実際にはどのように計算されるか

この計算は、どの AI 製品よりもさらに以前にさかのぼる。Frederick Jelinek, Robert Mercer, Lalit Bahl, James Baker は、1977年に perplexity を導入し、統計モデルにとって音声認識課題がどれほど難しいかを測定した。これは、誰かがこの用語をエッセイや実験報告書に適用する何十年も前のことである。定義はそれ以来変わっていない。

文書の各位置で、モデルは実際に次に来る語についての確率を出力する。たとえば、一般的な遷移なら 0.72、珍しいものなら 0.03 といった具合である。perplexity は、これらの確率の対数を全文にわたって平均し、その平均を指数で逆変換する。

there's の中の指数は、見た目以上の働きをしている。対数確率を平均することは、まさにクロスエントロピーを計算するときに行うことであり、これはモデルが行った予測を与えられたときに、ある系列を符号化するのに何ビット必要かを情報理論的に表したものである。しかし perplexity は、そのビット数を、より理解しやすいもの、つまり抽象的なビット数の数え上げではなく、実効的な選択肢の数へと変換する。

その算術の結果として残るものには、明快で、ほとんど物理的ともいえる解釈がある。毎回完全に確実なモデルは perplexity 1 を生み出し、これは尺度の下限である。各位置を、同程度に起こりやすい 80 語の間の均等な五分五分の選択として扱うモデルは、perplexity 80 を生み出す。

実際の文書の大半は、この二つの極端のどこかに位置し、その正確な位置は、書き手、主題、そしてどのモデルが読んでいるかによって決まる。

なぜ人間の文章は異なるスコアになりやすいのか

モデルの期待は、それ以前に現れたものだけから、一語ずつ構築される。'the treatment group showed a statistically' という句の後では、整った継続の大多数は 'significant' であり、大量の科学論文を学習したモデルは、その語にためらいなく高い確率を割り当てる。人間の著者が同じ句に到達した場合も、やはり 'significant' を選ぶかもしれない。というのも、その句自体がこのジャンルの定型だからである。差が生じるのは別の箇所である。2文後に選ばれる名詞、括弧内に付される補足、丸めた値ではなく奇妙な小数位まで報告される数値である。

そのどれもが仕掛けではない。実データについて書く人が正確な数値、厳密な修飾語、やや限定的な語を求めるとき、その人はジャンルにとって真であるものではなく、その研究にとって真であるものを求めている。そして、そうした選択の一つ一つが、モデルにとっての驚きを少しずつ増やす。驚きこそが、そのスコアが合計しようとしているものである。

ここでの推論は、測定が支えられる以上の仕事をしている。Perplexity は予測可能性を直接測定する。それが著者性を推論するのは、予測可能な文章は人間にはまれであり、モデルには一般的であると仮定するからにすぎない。この仮定は、通常は妥当であり、また、予測可能性が、それを書いたのが誰かとは無関係な理由でテキストが持ちうる性質である以上、特定可能で、かつ時に誤ることがある。

同じ文章が異なるスコアを取る理由

このスコアは見た目ほど移植性が高くない。なぜなら、決して真空の中で測定されるわけではないからである。Perplexity は常に、ある特定の参照モデルの学習に対して計算され、その依存関係は、単一の定義だけでは示せない問題を生む。

要因	何が変わるか	なぜそれが起こるか
どのモデルが読んでいるか	同じ段落でも、あるモデルでは低く、別のモデルでは高く評価されることがある	Perplexity は常に1つのモデルの学習データに対してのみ測定され、モデルごとに学習したテキストが異なるためである
その文章が広く再現されたテキストかどうか	有名な歴史文書や教科書の定義は、たとえ人がその全ての語を detector に入力した場合でも、低い perplexity を示すことがある	Pangram Labs は独立宣言を例として挙げている。これは学習データで非常に頻繁に引用されるため、モデルはその各文をいずれも意外ではないと判断する
detector がそもそもトークン確率を見られるかどうか	ChatGPT, Gemini and Claude のような閉鎖型の商用モデルは、perplexity に必要な単語ごとの確率を公開しない	detector は、実際にテキストを生成したモデルに対して perplexity を計算するのではなく、代替の公開モデルを用いてスコアを近似する

このことは数値を無意味にするわけではないが、それ自体を判定として信頼する危険性を高めるだけである。GPTZero の公式文書はかつて大まかな目安を示しており、perplexity が85を超える場合は人間による可能性が高いと読めるとしていた。しかし、ある1つのモデルでの1つのベンダーの閾値は、別のモデルに対して測定された別のツールにはそのまま適用できない。単一のスコアを報告する detector は、上記の要因をすべて1つの数値に圧縮しているのであり、そのうちどれが作用したのかを示していない。

perplexity スコアが実際に示すもの

商用 detector は、レポートに1つの数値を出す前に、perplexity を文レベルのパターン、分類器の学習、その他いくつかのシグナルと組み合わせている。AI detector が実際にどのように機能するか のより完全な説明は別に扱っており、そこではその数値の残りの部分がどこから来るのかを説明している。

文から文へのリズムは、関連するが別個のシグナルであり、burstiness checkerがそれ自体の観点から扱うものである。これは、単一の語ではなく、文章全体にわたる変動の大きさを見ている。

これらの数値のいずれも、文書の著者が誰であるかを証明することはできない。これには、TextPulseが提出された下書きから算出する推定 Human Score も含まれ、これは文書を評価するのではなく、その文書を記述するものである。同じ考え方を簡略化したもの, すなわち完全なモデル確率ではなく語彙の多様性が、このサイトのfree perplexity checkerを支えている。これは、他人の文書について報告書が述べる内容を信じる前に、すでに出所が分かっている段落に対して試してみる価値がある。

perplexity checker は TextPulse の残りのfree toolsと並んで配置されているため、下書き、語彙、リズム、その他すべてを通して一度に確認するのに、複数のタブを同時に開いておく必要はない。

Perplexity は、これらのシステムが依拠する2つの統計量のうちの1つである。もう1つは、文章全体における文の長さと構造の変動であるburstinessであり、その両方の下には、そもそもスコアを生み出すtoken probability の算術がある。

報告書上の数値は、何かを書いたのが誰かについての議論の出発点ではなく、長い算術の連鎖の終点である。算術がもはや神秘的でなくなったとき、より興味深い問いは、そもそも何がその文書を意外なもの、あるいは予測可能なものにしたのか、ということであり、それは書かれたもの自体に関する問いである。