GPTZeroの仕組み

検索バーに「how gptzero works」と入力すると、返ってくる結果の大半はいまでも perplexity と burstiness を説明している。これらは、ChatGPT の公開後最初の数週間に、その創設者自身が有名にした2つの統計量である。その説明は2023年1月には正確だった。しかし、その年の秋以降は正確ではない。GPTZero 自身の文書によれば、同社はその方法をまったく別のものに置き換えたからである。公開当初のツールが行っていたことと、現在行っていることの差は非常に大きく、今日なお流通している説明の多くは、もはや存在しない製品を説明している。

現在、GPTZero は perplexity の計算ではなく、人間が生成したテキストと AI が生成したテキストが混在する大規模なコーパスに対して、文ごとの分類器を適用している。現在の GPTZero も依然として1つの見出し数値を提示するが、その算術は異なる。見出し数値の下にある文レベルのハイライトも、2023年当時とは異なる意味を持つ。どちらの説明も知っておく価値がある。1つはこれらの用語を有名にしたものであり、もう1つは実際に現在動作しているものである。

歴史, perplexity と burstiness が GPTZero を有名にした経緯

2023年1月2日、当時 Princeton の学生だった Edward Tian は、ChatGPT の公開からわずか数週間後に、GPTZero の公開デモをリリースした。彼の最初の解説ページには、言語モデルが何かを書いたときにそれを検出するため、言語モデリングから借用した2つの統計量をどのように用いたかが説明されている。perplexity は、参照モデルがテキスト中の語の選択にどれほど驚いたかを示すスコアである。burstiness は、GPTZero における、その驚きが文書全体でどの程度変動したかを表す名称である。これらの解説ページこそが、AI による文章作成についての一般的な会話に両方の語が入り込んだ理由である。今日 perplexity や burstiness を定義できる人の多くは、教科書ではなく GPTZero からこれらの用語を学んだ。

その仕組み自体は、説明するのは単純であった。ある文章を参照言語モデルに通し、そのモデルが非常に予測しやすい、すなわち低い perplexity を示す散文は、生成が驚くべき語よりも起こりそうな次の語を優先する傾向があるため、機械特有のものとして読まれる。GPTZero 自身の、現在は廃止された文書でさえ、経験則を公表していた。perplexity スコアが 85 を上回る場合は、機械よりも人間によるものらしいと読まれるというものである。その閾値は、あるベンダーの、あるモデルの、ある時点での結果に由来しており、GPTZero 自身ももはやそれを支持していない。

GPTZero は現在どのように機能するか, 文レベル分類器

GPTZero のサポートセンターは、同社が 2023年秋の時点で検出に perplexity と burstiness を使用するのをやめ、深層学習アーキテクチャへ移行したと明確に述べている。本稿のために確認した現在の技術ページは、その切り替えが完全であることを裏づけている。そこでは、ウェブ、教育、さまざまな言語モデルのテキストで訓練されたエンドツーエンドの深層学習アプローチが説明されており、文ごとの分類モデルを実行して確率と信頼度スコアを出力するとされている。perplexity と burstiness はそのページのどこにも現れない。

その後、同社は防御層として Paraphraser Shield も追加した。これは、検出を回避するために書き換えツールを通した AI テキストを捕捉するために構築されたものである。テキストの貼り付け、Word 文書、PDF、画像ファイルのアップロードができ、最大 50 ファイルを一度に処理できる。これらの基盤は、参照モデルが同じ語をどれほど頻繁に推測したかを数えることとは何の関係もない。

GPTZero のレポートが実際に示すもの

GPTZero の結果は 3 つの要素から成る。AI, human, mixed の分類、文書が AI によって書かれたとモデルが判断する確率を示すパーセンテージ、そしてその予測がどれほど信頼できるかを示す信頼度ラベルである。このラベルは見た目以上に重要である。GPTZero は、「highly confident」を 2 percent 未満の誤り率に、「low confidence」を 14 percent 以上の誤り率に結びつけている。これは十分に広い範囲であり、同じ見出しのパーセンテージでも、レポートごとに重みが大きく異なりうる。

有料スキャンでは文単位のハイライトが追加され、これを正しく読むことが重要である。GPTZeroは、ハイライトされた文を、個々の行に対する告発の一覧ではなく、全体スコアに不釣り合いに影響している文として説明している。ある文がハイライトされていなくても結果の形成に関与している場合があり得る。なぜなら、分類器は文ごとに投票するのではなく、文書全体を読むからである。

Report element	What it tells you
Classification	単一のラベル, AI, human, または mixed
AI probability score	モデルがその文書をAI生成と判断する可能性の高さを反映する百分率
Confidence label	高い確信, 2 percent 未満の誤差率, から低い確信, 14 percent 以上, までの範囲
Sentence highlighting	Advanced Scan でスコアに最も寄与する文を示し, 関連するすべての文を示すわけではない

これらの報告要素はいずれも, perplexity と burstiness の説明文がなお GPTZero の公開された自己説明であった当時には, 現在の形では存在していなかった。インターフェースは手法と並行して変化した。

Perplexity と Burstiness の説明がなお流通している理由

GPTZero の最初の説明文は, いまもオンラインにあり, いまも索引付けされており, 概念としての perplexity と burstiness がどのように機能するかを示す一般的な説明としてもなお比較的明瞭なものの一つである。検索エンジンや他のサイトはそれを引用し続けており, あるものは, このツールが分類器とは別に perplexity と burstiness の層を静かに動かし続けていると主張する, 広く共有された 2026 年のレビューを指している。GPTZero 自身の現在のページ, すなわち技術ページと 2 つのサポート記事は, その逆を述べている。用語は, 単に裏側に隠されたのではなく, 廃止されたのである。概念を抽象的に説明するページと, このツールの現行の手法を説明するページは同じではない。そして, この二つを互換的に扱うことこそが, 期限切れから 3 年たっても混乱が続いている主因である。

これは些末な話にとどまらない。GPTZeroを打ち負かすために、perplexityを下げるか、文の長さを分散させるよう学生や同僚に指示することは、2023年に動作を停止した製品版を前提にした助言を与えていることになる。文分類器を動かすものは、これとは関連するが異なる問いであり、単独の統計量よりも、AI検出器が実際にどのように機能するかというより広い説明に近い。GPTZeroはそれらの指標の測定をやめたわけではなく、同社の説明によれば、それらは現在のモデルに入力される7つの指標の一部に含まれている。しかし、それらはもはや答えを決めるものではなくなった。

GPTZeroができないと述べていること

GPTZeroが公表している精度指標は、ベンダーが自社製品について公表しうるものとしてはおおむね強い部類に入る。混在文書で96.5 percentの精度、全体の偽陽性率は同社が1 percentに上限を設けており、TOEFLのエッセイでは1.1 percentである。TOEFLのエッセイは、非母語話者の英語作文の代表例としてよく用いられる。これらの数値はGPTZero自身の評価に基づくものであり、それらを報告するページでは独立した再現実験は示されていない。

GPTZero自身の制限事項のページは、宣伝上の数値よりも具体的である。同社は、より多くのテキストが入力されるほど精度は向上し、文単位および段落単位では全文書と比べて精度が低下すると述べている。また、学習データの大半は成人向けの英語散文であるため、そのパターンから外れるテキストは信頼性高く分類することが難しいと述べている。さらに、分類器は生成後に大幅に改変されたAIテキストを検出するようには訓練されていないと述べている。そして、チャットボットの出力だけでなく、他の機械生成文や高度に手順化された文章も、同じようにフラグが立つ可能性があると明言している。

そのどれもが、GPTZeroの数値を疑いなく受け入れる理由にはならず、また、それ自体の基準で理解する価値がある検出器はこれだけではない。こうした分類器が実際に何に反応するのかに関心のある読者は、無料のperplexityチェッカーや無料のburstinessチェッカーで、そのパターンの一例を自分で確認できる。これらは、この種の報告書が依拠する他の統計的層を扱う、より包括的な無料ツール集の一部である。

GPTZeroの2つの主要な統計には、それぞれ独自のページがある。AI検出においてperplexityが何を測定するか、そして両方の数値を生み出すトークン確率の算術である。

自らの盲点をこれほど正確に名指しするツールは、盲点がないと主張するツールよりも、より信頼に値する。そして、報告書に現れる次の説明のない百分率は、それを生み出したのがどの種類のツールなのかを問い始めるのに適した出発点である。