AI検出におけるパープレキシティとは何か?

perplexity と AI detection を一緒に検索すると、上位結果のいくつかは無関係な製品についてのものだと分かります。それは、たまたま Perplexity という名前を持つ AI 搭載検索エンジンです。detector が実際に報告する指標は、その会社とは語以外に何の共通点もありません。この指標は、GPTZero や検索エンジンより何十年も古い音声認識研究に由来し、両者よりも狭いもの、つまり言語モデルが、すでにページ上にある語にどれだけ驚いているかを測定します。

では、AI detection における perplexity とは何でしょうか。perplexity は、言語モデルがある文章中の正確な語をどれだけうまく予測したかを示すスコアであり、モデル自身の確率を平均し、その結果を単一の数値に変換して得られます。スコアが低いということは、モデルが正しく予測し続けたことを意味します。スコアが高いということは、驚かされ続けたことを意味します。

この考え方は、市場にあるどの AI detector よりも古く、それ自体では文書の執筆者について何も示しません。その数値の背後にある計算が見えるようになると、レポート上のスコアは判定のようには見えなくなり、実際にそうであるもの、つまり語の選択の記述として見えるようになります。

AI detection における perplexity とは何ですか?

Perplexity は、言語モデリングから借用された測定値である。これは、モデルがある文章中に現れる特定の語をどれだけ正確に予測できたかを評価し、その評価を単一の数値として示す。検出器は同じ測定値を提出文書に適用する。数値が低い場合, つまりモデルの予測が実際の語と非常に近く一致した場合は, 機械による著作の印として読まれ, 数値が高い場合は人間による著作の印として読まれる。この計算は, 文書の論旨, 引用, あるいは主題を読むものではない。各語がどれほど予測可能であったかを, 一語ずつ読むだけである。

検出器がこの測定値を発明したわけではない。音声認識や機械翻訳のシステムが, すでに何十年も前から, モデルが通常の言語をどれだけうまく予測したかを評価するために用いていた道具を借用し, それを著者性の代理指標として転用したのである。しかし, それは本来その目的のために作られたものではなかった。

これらは, 先に言及した無関係な検索エンジンとは何の関係もない。検出器が報告する perplexity は, 会社名では決してなく, 大文字で始まることも決してない。それは, 与えられた任意のテキストから新たに計算される, 語列の単純な統計的性質である。

perplexity は実際にはどのように計算されるか

この計算は, いかなる AI 製品よりもさらに以前にさかのぼる。Frederick Jelinek, Robert Mercer, Lalit Bahl and James Baker は, 1977 年に perplexity を導入し, 統計モデルにとって音声認識の課題がどれほど難しいかを測定した。これは, この語がエッセイや実験報告書に適用される何十年も前のことである。定義はそれ以来変わっていない。

文書の各位置で, モデルは実際に次に来る語に対する確率を出力する。たとえば, 一般的な遷移なら 0.72, 珍しいものなら 0.03 といった具合である。Perplexity は, 文章全体にわたってこれらの確率の対数を平均し, その平均を指数で戻す。

there's の指数は、見た目以上の働きをしている。対数確率を平均することは、クロスエントロピーを計算するときに私たちが行っていることとまったく同じである。クロスエントロピーとは、モデルが行った予測を与えられたときに、ある系列を符号化するのに何ビット必要かを情報理論的に表す方法である。しかし、perplexity はビット数を、より理解しやすいもの、すなわち抽象的なビット数ではなく、実効的な選択肢の数へと変換する。

その計算を経て残るものには、明快で、ほとんど物理的ともいえる解釈がある。毎回完全に確信しているモデルは perplexity が 1 となり、尺度の下限に位置する。80 個の等確率の語のあいだで各位置を同数の引き分けとして扱うモデルは、perplexity が 80 になる。

実際の文書の多くは、この二つの極端のどこかに位置し、その正確な位置は、書き手、主題、そしてどのモデルが読んでいるかによって決まる。

なぜ人間の文章は異なる値になりやすいのか

モデルの予測は、直前までにあったものだけから、一語ずつ構築される。'the treatment group showed a statistically' という句の後では、整った続きの大多数は 'significant' であり、大量の科学的文章で訓練されたモデルは、その語にためらいなく高い確率を割り当てる。同じ句に到達した人間の書き手も、やはり 'significant' を選ぶかもしれない。というのも、その句自体がそのジャンルの定型表現だからである。差が生じるのは別の箇所である。二文後に選ばれる名詞、括弧内に加えられる補足、端数ではなく奇妙な小数位まで報告される数値などである。

それはどれも技巧ではない。実データについて書く人が正確な数値、厳密な限定語、やや狭い意味の語を求めるとき、その人はジャンルにとって真であるものではなく、研究そのものにとって真であるものを求めているのである。そして、そうした選択の一つ一つが、モデルにとっては少しずつ大きな驚きを伴う。驚きこそが、このスコアが合計するように設計されているものなのである。

推論は、測定が支えられる以上の仕事をしている。perplexity は予測可能性を直接測定する。著者性を推論するのは、予測可能な文章は人間にはまれであり、モデルには一般的であると仮定する場合に限られる。この仮定は、通常は妥当であり、時に特定可能な形で誤る。なぜなら、予測可能性は、それを書いたのが誰かとは無関係な理由で、テキストが持ちうる性質だからである。

同じ文章が異なるスコアになる理由

スコアは見た目よりも移植性が低い。というのも、それは決して真空中で測定されるわけではないからである。perplexity は常に、ある特定の参照モデルの学習に対して計算され、この依存関係は、単一の定義だけでは示せない問題を生む。

要因	何が変わるか	なぜそれが起こるか
どのモデルが読み取りを行うか	同じ段落でも、あるモデルでは低く、別のモデルでは高くスコアされうる	perplexity は常に1つのモデルの学習データに対してのみ測定され、モデルごとに学習されたテキストが異なるからである
その文章が広く再現されたテキストかどうか	有名な歴史文書や教科書的定義は、人がその全ての語を検出器に入力した場合でも、低 perplexity としてスコアされうる	Pangram Labs は独立宣言を例として挙げている。それは学習データで非常に頻繁に引用されるため、モデルはその各文を意外ではないものとみなす
検出器がトークン確率をそもそも見られるかどうか	ChatGPT, Gemini and Claude のような閉鎖型商用モデルは、perplexity に必要な単語ごとの確率を公開しない	検出器は、実際にそのテキストを生成したモデルに対して perplexity を計算する代わりに、代替のオープンモデルでスコアを近似する

これらのいずれも、この数値を無意味にするものではなく、ただし、それ自体を判定として信頼するにはより危険にするだけである。GPTZeroの公式ドキュメントはかつて大まかな目安を示しており、perplexityが85を超えると人間によるものらしいと読めるとしていたが、あるモデル上の単一ベンダーの閾値は、別のツールを別のモデルで測定したものにはそのまま移行しない。単一のスコアを報告する検出器は、上記の要因すべてを、それらのうちどれが実際に働いたのかを示さないまま、一つの数値に圧縮しているのである。

perplexityスコアが実際に示すもの

商用検出器は、レポートに単一の数値を出力する前に、perplexityを文レベルのパターン、分類器の学習、その他いくつかのシグナルと組み合わせている。AI検出器が実際にどのように機能するかのより完全な説明は別に扱っており、その数値の残りがどこから来るのかを説明している。

文から文へのリズムは関連するが別個のシグナルであり、burstiness checkerがそれ自体の観点から扱っている。そこでは、単一の語ではなく、文章全体にわたる変動の大きさを見ている。

これらの数値のいずれも、文書を誰が書いたのかを証明することはできない。これには、TextPulseが提出された下書きから算出する推定Human Scoreも含まれ、それはテキストを記述するものであって、それに対する判定を下すものではない。同じ考え方を簡略化したもの, すなわち完全なモデル確率ではなく語彙の多様性が、このサイトの無料perplexity checkerを支えている。これは、レポートが他人のものについて何を述べているかを信じる前に、すでに出所が分かっている段落に対して試してみる価値がある。

perplexity checkerはTextPulseの残りの無料ツールと並んで配置されているため、下書き、語彙、リズム、その他すべてを通して確認するのに、同時に十数個の別々のタブを開いておく必要はない。

Perplexityは、これらのシステムが依拠する2つの統計量のうちの1つである。もう1つはburstiness、文の長さと構造の変動であり、さらにその両方の下には、そもそもスコアを生み出すトークン確率の算術がある。

レポート上の数値は、誰が何かを書いたのかについての議論の出発点ではなく、長い算術の連鎖の終点である。算術がもはや神秘的でなくなったとき、より興味深い問いは、そもそも何がその文書を驚くべきもの、あるいは予測可能なものにしたのかであり、それは文章そのものに関する問いである。