GPTZeroの仕組み

検索バーに「how gptzero works」と入力すると、返ってくる内容の大半はいまだに perplexity と burstiness を説明しています。これらは、ChatGPT の公開後最初の数週間にその創設者自身が有名にした 2 つの統計量です。この説明は 2023年1月には正確でした。しかし、その年の秋以降は正確ではありません。GPTZero 自身の文書によれば、同社はその方法をまったく別のものに置き換えたからです。公開時にこのツールが行っていたことと、現在行っていることとの隔たりは非常に大きく、今日なお流通している説明の多くは、もはや存在しない製品を説明しています。

現在、GPTZero は perplexity の計算ではなく、人間が生成したテキストと AI が生成したテキストが混在する大規模なコーパスに対して、文ごとの分類器を適用しています。現在の GPTZero も依然として 1 つの主要な数値を提示しますが、その算術は異なります。主要な数値の下にある文単位のハイライトも、2023年当時とは異なる意味を持っています。物語には、これら 2 つの版の両方を知る価値があります。すなわち、これらの用語を有名にした版と、実際に現在動いている版です。

歴史, perplexity と burstiness がどのように GPTZero を有名にしたか

2023年1月2日、当時Princetonの学生であったEdward Tianは、ChatGPTの公開からわずか数週間後に、GPTZeroの公開デモを発表した。彼の元の解説ページでは、言語モデルが何かを書いたかどうかを検出するために、言語モデリングから借用した2つの統計量をどのように用いたかが説明されている。Perplexityは、参照モデルがテキスト中の語の選択にどれほど驚いたかを示すスコアである。Burstinessは、GPTZeroが、その驚きが文書全体でどれほど変動したかを表すために用いる名称である。これらの解説ページこそが、AIによる文章生成についての日常会話において、この2語がそもそも使われるようになった理由である。今日、perplexityやburstinessを定義できる人の大半は、教科書ではなくGPTZeroからこれらの用語を学んだ。

その仕組み自体は、説明するのは単純であった。文章を参照用の言語モデルに通すと、そのモデルが非常に予測しやすいと判断する、すなわち perplexity が低い散文は、機械に典型的なものとして読まれる。というのも、生成は驚くべき語よりも、起こりそうな次の語を選びやすいからである。GPTZero自身の、現在は廃止された文書には、経験則として、perplexity スコアが85を超えると、人間によるもののほうが機械によるものより可能性が高いと読めるとも記されていた。その閾値は、ある1つのベンダーが、ある1つのモデルで、ある1時点において示したものであり、GPTZero自身も、もはやそれを支持していない。

GPTZeroは現在どのように機能するか, 文レベル分類器

GPTZeroのサポートセンターは、これを明確に述べている。「2023年秋の時点で、GPTZeroは、深層学習ベースのアーキテクチャへ移行したため、AI検出にperplexityとburstinessをもはや使用していない。」その現在の技術ページは、この切り替えが完全であることを確認している。そこでは、「ウェブ、教育、そしてさまざまなLLMから生成されたAIのテキストデータセットで訓練された、エンドツーエンドの深層学習アプローチ」と説明されており、その中で「文ごとの分類モデルが、テキストがAIによって作成された確率と信頼度を決定する」。そのページのどこにも、perplexity と burstiness は現れない。

それ以来、同サービスは防御層として Paraphraser Shield も追加した。これは、検出を回避するために書き換えツールを通した AI テキストを捕捉するよう設計されている。テキストを貼り付けることも、Word 文書、PDF、画像ファイルをアップロードすることもでき、最大 50 ファイルを一度に処理できる。こうした基盤は、参照モデルが同じ単語をどれほどの頻度で予測したかを数えることとは何の関係もない。

GPTZero のレポートが実際に示すもの

GPTZero の結果は 3 つの要素から成る。AI、human、または mixed の分類、文書が AI によって書かれた確率を示す割合、そしてその予測がどれほど信頼できるかを示す confidence label である。この label は見た目以上に重要である。GPTZero は「highly confident」を 2 percent 未満の error rate に、「low confidence」を 14 percent 以上の error rate に結び付けている。この範囲は十分に広く、同じ headline percentage でも、レポートごとに重みが大きく異なりうる。

有料スキャンでは sentence-level のハイライトが追加され、これを正しく読むことが重要である。GPTZero は、ハイライトされた文を、個々の行に対する告発の一覧ではなく、全体スコアに不釣り合いに強く影響している文として説明している。ある文がハイライトされていなくても、それが結果の形成に関与していた可能性はある。なぜなら、この classifier は文ごとに投票するのではなく、文書全体を一つとして読むからである。

レポート要素	それが示す内容
分類	単一のラベル, AI, human, または mixed
AI probability score	モデルが文書を AI によって書かれたと判断する可能性を反映する割合
confidence label	2 percent 未満の error rate の highly confident から, 14 percent 以上の low confidence までの範囲
sentence highlighting	Advanced Scan でスコアに最も寄与する文を示し, 関連するすべての文を示すわけではない

perplexity と burstiness の解説がまだ GPTZero の公開説明であった時点では, これらのレポート要素はいずれも現在の形では存在していなかった。インターフェースは手法と並行して変化したのである。

Perplexity と burstiness の説明が今も流通している理由

GPTZero の元の解説は、今もオンラインにあり、今もインデックスされており、概念としての perplexity と burstiness がどのように機能するかについての、より明確な一般的説明の一つであり続けている。検索エンジンや他のサイトはそれを引用し続けており、あるものは、このツールが分類器とは別に、perplexity と burstiness の層を静かに動かし続けていると主張する、広く共有された 2026 年のレビューを指している。GPTZero 自身の現在のページ、すなわち technology page と 2 つの support articles は、その逆を述べている。つまり、これらの用語は、裏で単に隠されているのではなく、廃止されたのである。ある概念を抽象的に説明するページと、このツールの現在の方法を説明するページは同じではなく、この 2 つを互換的に扱うことが、期限切れから 3 年たっても混乱が続いている主な理由の一つである。

これは、単なる雑学以上の意味を持つ。GPTZero を打ち負かすために perplexity を下げるか、文の長さを分散させるよう指示された学生や同僚は、2023 年に動作を停止した製品の版を対象とした助言を与えられていることになる。文分類器を動かすものは、関連してはいるが異なる問いであり、どちらか一方の統計量そのものよりも、AI detectors が実際にどのように機能するかについてのより広い説明に近い。GPTZero はそれらの測定をやめたわけではなく、自身の説明によれば、それらは現在のモデルに入力される 7 つの指標の中に位置しているが、答えを決めるものではなくなったのである。

GPTZero ができないと述べていること

GPTZeroの公開されたベンチマークは、ベンダーが自社製品について公表しうるものとしては、おおむね十分に強いものです。同社は、「AI生成テキストと人間による執筆を識別する際の正確率は99%である」と報告し、「AIと人間のテキストを評価する際のGPTZeroの偽陽性率を1%以下に保っている」と述べ、さらにAIと人間の執筆が混在する提出物について「96.5%の正確率」を記録しているとしています。加えて、非母語英語の執筆の一般的な代替指標であるTOEFLエッセイでは1.1 percentとしています。これらの数値は、2025年1月に公表されたGPTZero自身の評価に由来し、それらを報告するページでは独立した再現は引用されていません。同じページは、多くのベンダーが持ち出しがちな主張を退けており、「100%の保証が存在することは決してない」と述べ、そうであると主張する者は、おそらくデータか評価方法のいずれかに欠陥があるのだろうとしています。

GPTZero自身の制限事項のページは、宣伝上の数値よりも具体的です。同社は、より多くのテキストが入力されるほど正確性は向上し、文単位および段落単位では全文書と比べて低下すると述べています。また、学習データの大半は成人向けの英語散文であるため、そのパターンから外れるテキストは信頼性高く分類することがより難しいと述べています。さらに、分類器は生成後に大幅に修正されたAIテキストを検出するようには訓練されていないと述べています。そして、チャットボットの出力だけでなく、他の機械生成文書や高度に手続き的な文体の文章も、同じようにフラグ付けされうると明言しています。

そのいずれも、GPTZeroの数値を疑義の余地がないものとして扱う理由にはならず、また、それ自体の観点から理解する価値がある検出器はGPTZeroだけではありません。このような分類器が実際には何に反応するのかに関心のある読者は、無料のperplexity checkerや無料のburstiness checkerで、そのパターンの一端を自分で確認できます。これらは、この種の報告が依拠する他の統計的層を扱う、より包括的な無料ツール集の一部です。

GPTZeroの2つの主要な統計指標には、それぞれ独自のページがあります。AI検出におけるperplexityが何を測定するかと、両方の数値を生み出すトークン確率の算術です。

自らの盲点をこれほど正確に名指しできるツールは、盲点がないと主張するツールよりも信頼に値します。そして、レポート上の次の説明されていない割合は、それをどの種類のツールが生成したのかを問い始めるのに適した出発点です。

私たち自身の研究でわかったこと

TextPulse Research の検出器一致性研究では、9つの商用AI検出器が同じ90本の学術テキストを評価しました。そのひとつが455語のハイブリッドテキストで、人間が書いた冒頭と結びの間に168語のAI生成部分を挟んだものです。GPTZero はこのテキストを 41.2% AI と判定しましたが、同じ文章に対する他のツールの判定は 0% から 95.7% までばらつきました。論文全文、コーパス、ツール別スコア行列は TextPulse Research で公開されています。