Pangram AI Detector レビュー: 研究者が検証し続けるツール

Pangramは、独立した研究者が繰り返し注目しているAI検出器であり、そのため通常のベンダーの成績表よりも詳しく見る価値がある。開発元のPangram Labsは、偽陽性率がおよそ10,000分の1であり、主要な精度が99.98 percentであると公表している。これらは同社自身の数値であり、同社自身のベンチマークで測定されたものである。Pangramが多くの競合と異なるのは、今回に限っては、最近の外部研究が同じおおよその方向を示している点である。

過去1年以内に、2件の独立した評価が行われた。1件はVrije Universiteit Brusselによる査読付き研究で、Springerが2026年6月に公表した。もう1件はUniversity of Chicago Booth Schoolのワーキングペーパーで、Chicago Booth Reviewが2025年12月に取り上げた。両者とも、Turnitin、GPTZero、Copyleaksを含む、よりよく知られた競合よりもPangramを明確に上位に置いた。いずれの研究も、どの検出器のスコアも、特定の1文書について何かを証明するものではないとしており、実際にそのように述べている。

以下では、Pangramが自らについて主張していること、2件の研究が実際に何を測定したのか、証拠がなお薄い部分はどこか、そしてこのツールの台頭が検出分野全体について何を示しているのかを述べる。

Pangramとは何か、誰が使っているのか

Pangram Labsは、2023年にBrooklynで設立された小規模企業であり、以前はTeslaとGoogleで働いていたAI研究者によって創業された。製品は、貼り付けられたテキストまたはアップロードされたテキストを確認し、そのうちどの程度がAI生成であるかの推定値を返す。さらに、文レベルのハイライト表示に加え、有料プランでは画像検出と盗用チェックも提供する。

その利用者層はTurnitinとは異なる。Turnitinは機関向けに販売され、学習管理システム内で動作する。一方、Pangramは無料アカウントがあれば誰でも利用できるため、学生、編集者、学術誌の担当者、入学審査の読者が直接使っている。この市場では新参者であり、しかも既存製品が示さない結果を試験で示し続けているため、学術的誠実性の研究者が比較対象として用いるツールとして、ますます選ばれている。

ベンダーは何を主張しているのか

Pangramのホームページは99.98 percentの精度を宣伝し、その偽陽性率, すなわち人間が作成した文書が誤ってAIと判定される率は、現在10,000分の1であると述べている。偽陽性に関する会社のブログ記事は、CTOによって書かれており、その全体的な数値をジャンル別に分解している。学術エッセイでは0.004 percent、科学要旨では0.001 percentであり、同社自身が開示している弱い領域としては、詩では0.05 percent、レシピでは0.23 percentである。同社はまた、そのモデルがいわゆるhumanizerツールで処理された後でもAIテキストを検出し続けると主張している。

これらはすべて、ベンダー自身のテストセットに基づく自己申告の数値であり、同じ記事にはベンダー自身の留保も記されている。すなわち、このモデルは完全な文で書かれた長めのテキストで最もよく機能し、同社は短い箇条書きや高度に定型的なテキストの判定を推奨していない。これら二つの側面をともに見ておく必要がある。これらの主張は異例に具体的で、異例に低いが、会社の外部の誰かが検証するまでは、なお主張にとどまる。

独立した証拠が示すもの

これまでで最も強力な検証は、Vrije Universiteit Brussel の Van Vlasselaer, Van Droogenbroeck, and Spruyt による査読付き研究であり、2026年6月に International Journal for Educational Integrity に掲載された。研究チームは、各4,000語以上の修士課程レベルの学術論文を160本作成した。内訳は、2019年以前に実在の学生が執筆したもの40本、GPT-4o Deep Research で完全生成したもの40本、ハイブリッド40本、そして AI で生成した後に意図的に人間化したもの40本である。これらすべてを Turnitin, GPTZero, Copyleaks, and Pangram に通した。

完全に AI で生成した論文について、研究は Turnitin, GPTZero, and Copyleaks が「AI生成コンテンツの検出に完全に失敗した」と報告している。Turnitin はこれら40本の論文すべてを 0 から 20 percent AI の範囲で判定し、既存3ツールの中央値はいずれも、100 percent 機械執筆の論文に対して 20 percent 未満にとどまった。Pangram は同じ集合で厳密正解率 65 percent、包括正解率 97.5 percent を達成し、1本を誤分類した。人間化された集合では、Pangram は40件中37件で AI コンテンツを正しく識別し、厳密正解率は 92.5 percent だった。一方、GPTZero は 2.5 percent、Copyleaks は 22.5 percent、Turnitin は 50 percent であった。

Tool	Fully AI papers (strict accuracy)	Humanized AI papers (strict accuracy)	Human papers correctly cleared
Pangram	65%	92.5%	100%
Turnitin	0%	50%	100%
GPTZero	0%	2.5%	100%
Copyleaks	0%	22.5%	100%

2つ目のデータポイントは、Chicago Booth の Brian Jabarian と Alex Imas によるワーキングペーパーであり、2025年12月に Chicago Booth Review で要約されている。6つの媒体にわたる約2,000の人間が書いた文章と、4つの最先端モデルによる AI 版を用いて検出器をテストしたところ、Pangram の偽陽性率はほとんどの判定しきい値で実質的にゼロであり、彼らのコーパスでは精度が99.8 percentを下回ることはなく、偽陰性はモデルに応じて2 percentから4 percentの間であった。研究者は、いかなる検出器を運用上信頼する前にも、機関は厳格な政策上限を採用すべきだと提案している。たとえば、人間の文章のうち0.5 percentを超えてフラグが立てられないようにするというものである。状態の違いに注意されたい。Booth の論文はワーキングペーパーであり、まだ査読を受けていない。また、修正されていない AI テキストをテストしたのであって、人間化された学術論文をテストしたわけではない。

偽陽性と、誰が被害を受けるのか

偽陽性は検出器の損害が集中する箇所であり、この業界全体で記録されているパターンは、フラグが 非ネイティブの英語話者に不釣り合いに立つというものである。VUB の研究はまさにこの点で読む価値がある。その40本の人間の論文はすべて非ネイティブの英語話者によって書かれており、Pangram を含む4つのツールはすべて、それらを100 percent見逃さずに通過させた。これは本当に励みになる結果であり、同時に40本の論文でもある。この規模のサンプルでは、0.004 percentのような率を確認することはできない。そこまで細かな数値を出しているのは、ベンダー自身によるはるかに大規模な内部テストだけであり、その規模で外部の第三者が再現した例はない。

この研究の実世界の節は、良好なベンチマークがあってもなお慎重さが必要である理由を示している。研究者たちが2024年と2025年の実際の修士論文1,163本に Pangram を適用したところ、その45.5 percentに何らかのレベルでフラグが立ち、フラグ対象のケースでは推定AI比率の中央値が30 percentであったが、それらの論文については真の値が存在しない。著者たちは明確である。検出スコアは有用な初期の संकेतであり、重大な判断における唯一の証拠であってはならない。告発を受けた学生には、どの検出器がその数値を出したとしても、なお 著者性を示すための手続きに基づく方法 が必要である。

価格とアクセス

Pangram のサイトでは、アカウント登録後に1日20回の無料チェックが提供され、さらに有料サブスクリプションではクレジット量や盗用検出などの機能が追加される。このアクセスモデルは、精度の数値と同じくらい重要である。Turnitin のように、執筆者が実際に目にするのは機関がそれを自分に対して実行したときだけという場合と異なり、Pangram は直接確認できるため、執筆者は提出前に査読者が見るかもしれないのと同じ種類のシグナルを見ることができる。

Pangram は検出器の状況の中でどこに位置づけられるか

VUB の著者たちによるこの分野の要約は率直である。「ここで検討した4つのAI検出ツールのうち、この時点で満足のいく結果を示したのは1つだけであった。」この文は、Pangram について述べると同時に、既存の主要製品についても多くを語っている。多くの機関が実際に依拠しているツールである Turnitin は、完全にAI生成されたセットに対して0を記録し、またその 別途文書化された偽陽性の記録 により、大学はすでにそのスコアを慎重に扱わざるを得なくなっている。これらのツールはいずれもテキストの統計的特性を測定しており、その基礎的な仕組み は、Pangram のより新しい学習アプローチが優位に立てる理由と、同時にそれらのすべてがなお確率的である理由の両方を説明している。

率直な評価として、Pangramは現在、独立した検証において最もよく支持されている検出器であり、最近の証拠に基づけば、その差は大きいです。ただし、その証拠の範囲は狭いです。2件の研究があり、1件は査読済み、1件は未査読で、いずれも過去1年以内のものです。対象は主として英語で、主として長文の学術テキストとウェブテキストです。検出は、四半期ごとに変化するモデルとの軍拡競争です。そして、2026年に先行するツールがその優位を保てるのは、次世代のテキストが現れるまでにすぎません。Pangramのスコアは、競合よりも較正のよい推定値です。それでもなお、あくまで推定値であり、特定の個人が何をしたかを示す証拠ではありません。

完全な比較を見る

Pangramは、混み合い、かつばらつきのある分野における一つのツールです。Turnitin、GPTZero、Copyleaks、ZeroGPT、その他のツールと同じ基準で比べた場合にどう位置づけられるかについては、完全なAI detectors comparedガイドを参照してください。

私たち自身の研究でわかったこと

TextPulse Research の検出器一致性研究では、9つの商用AI検出器が同じ90本の学術テキストを評価しました。そのひとつが455語のハイブリッドテキストで、人間が書いた冒頭と結びの間に168語のAI生成部分を挟んだものです。Pangram はこのテキストを 34% AI と判定しましたが、同じ文章に対する他のツールの判定は 0% から 95.7% までばらつきました。論文全文、コーパス、ツール別スコア行列は TextPulse Research で公開されています。