Winston AI レビュー: 99.98% の精度主張と証拠

Winston AIは99.98%の精度を宣伝しており、これは主要なAI検出器の中で自己申告としては最も高い数値である。この数値は会社のホームページ上で、「The Most Trusted AI Detector」という語句の隣に表示されており、外部の研究機関ではなく、会社自身の内部試験に由来する。方法論、試験データセットの規模、人間生成文とAI生成文のサンプル比、または運用しきい値は、これと併記して公表されていない。主張とその文書化との間にあるこの隔たりは、このツールについて慎重な読者が最初に知るべき点である。

第二に、Winstonは実際に外部から試験されており、これは一部の検出器には言えないことである。ACL 2024で発表された査読付き研究であるRAIDベンチマークは、Winstonを約6.2 millionの機械生成テキストに対して評価し、偽陽性率を5%に固定した条件で、全体精度71.0%を測定した。これは99.98%とは大きく異なる。また、Winstonは試験された4つの商用検出器の中で2位となり、GPTZeroとZeroGPTを上回った。これら二つの事実はいずれも重要であり、どちらも他方を打ち消すものではない。

以下では、Winstonが何であり、誰のために作られているのか、提供元が何を主張しているのか、99.98%という自己ベンチマークが統計的に何を意味し、何を意味しないのか、そして独立した数値が実際に何を示しているのかを述べる。

Winston AIとは何か、誰が使用するのか

Winston AIは、有料のサブスクリプション型検出器であり、教育者とコンテンツ出版社を明確な対象としている。その機能一覧は教員の作業手順のように読める。会社のサイトでは、スキャンされた文書、写真、手書き文字からテキストを抽出するOCR、対応プラットフォームの一つとして挙げられているGoogle Classroom連携、AI検出に加えた盗用検出機能、そして提出物の一括管理のための文書整理機能が説明されている。提供元は、ChatGPT、Gemini、Claude、LLaMAの出力を検出し、「and much more」と述べている。

インターフェースの最も特徴的な部分は、文ごとの出力である。単一の割合だけを返すのではなく、WinstonはAI prediction mapと呼ぶものを生成する。これは、文ごとに色分けされた評価であり、文書のどの部分が機械生成のように読まれるかを示す。教育者にとって、この地図は単なるスコアよりも有用である。なぜなら、ツールの疑いがどこに集中しているかを示すからである。また、過度に読み取ってしまいやすいが、その点は下で扱う。

企業は何を主張しているのか?

Winston AIのホームページにある見出しの主張は、「99.98% Accurate」である。本稿執筆時点では、その数値を掲げるページは、テスト用コーパスがどのように構築されたのか、何件のサンプルを含んでいたのか、どのような人間のテキストとAIテキストの組み合わせを用いたのか、またその数値を測定した際に検出器がどの判定閾値に設定されていたのかを公表していない。これはこの業界では珍しいことではない。同じくベンダーの精度主張と独立した証拠との間の隔たりは、市場にあるほぼすべての検出器に見られる。Winstonの主張は、単に誰よりも大きな数値を掲げているというだけである。

99.98%の自己ベンチマークは実際には何を意味しうるのか?

しばらく算術を真剣に考えてみるとよい。99.98%の正確性率は、10,000サンプルごとに2件の誤りを意味する。この数値を測定するには、企業は少なくとも数万件の文書からなるラベル付きテストセットを必要とし、各テキストの真の出所が確実に分かっていなければならない。そうして初めて、その数値はそのコーパス上での性能のみを示す。すなわち、そのAIモデル、それらのプロンプト、それらのジャンル、そのテキスト長、その時点で選ばれた閾値における性能である。

そのようなことは、悪意を必要としない。人気のチャットモデルによって生成されたエッセイで訓練され、その後、人気のチャットモデルによって生成されたエッセイのコーパスで試験された検出器は、実際に上限近くの得点を示すだろう。問題は転移可能性である。入力テキストが別のモデル、別のサンプリング戦略、または自然な文体が異常に均一な書き手から来た瞬間に、ベンチマークが測定されたコーパスは、もはや判定されるテキストを記述しない。内部ベンチマークは、結果に最も強い利害を持つ当事者が、自ら選んだ条件で実施する管理された実験である。それは証拠ではあるが、最も弱い種類の証拠であり、方法論が欠けているため、企業の外部にいる者はそれを確認することすらできない。

独立した試験は何を示しているか?

Winston を含む最も厳密な公開試験は、RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors である。これは、Dugan と共同研究者による査読済み研究で、ACL 2024 で発表された。RAID は、4つの商用製品を含む12の検出器を、11の言語モデル、8つの執筆分野、4つのデコーディング戦略、11の敵対的攻撃にまたがる約6.2 million の生成に対して評価し、すべての検出器を同じ5%の偽陽性率に調整して、得点が比較可能になるようにした。

検出器	RAID における全体精度, FPR を 5% に固定
Originality.ai	85.0%
Winston AI	71.0%
GPTZero	66.5%
ZeroGPT	65.5%

その表の読み方は、同時に2通りとも誠実である。Winstonの71.0%は99.98%にはほど遠いが、それでもWinstonは、利用可能な最も難しい公開ベンチマークにおいて、3つの商用競合のうち2つを上回った。平均値はまた、示唆に富むばらつきも覆い隠している。RAIDのモデル別結果では、WinstonはChatGPT出力で99.6%、GPT-4出力で98.8%を記録し、自社が公表した数値に近かったが、GPT-2のテキストでは47.6%に、ベースのMPT-30Bモデル由来のテキストでは24.8%に落ち込んだ。言い換えられた機械生成テキストでは、精度は52.6%まで低下した。

そのばらつきこそが、99.98%という主張の全体像を縮図として示している。検出器が想定して調整されたと思われるテキスト、つまり最近のチャットモデルが平易な散文を書いたものに似たテキストでは、Winstonは宣伝文句に近い性能を示す。その分布から外れると、性能は急落する。分布内のテキストから作成した内部ベンチマークは、ほぼ完璧な数値を本当に生み出しうるが、実際の受信箱に含まれるモデル、編集、言い換えの雑多な混合についてはほとんど何も教えてくれない。検出器が依拠する統計的シグナルについては、AI検出器の仕組みに関する解説で、より詳しく説明している。

偽陽性, 誰が被害を受けるのか?

RAIDの設計は、ベンダーの宣伝ではめったに見えない1つのトレードオフを可視化している。研究におけるすべての精度スコアは、偽陽性率を5%に固定した後で測定された。この較正では、20件に1件の真に人間が書いた文書がフラグ付けされる。検出器はしきい値を上げることでその率を下げられるが、それはAIテキストの検出数を減らすことによってのみ可能である。2つの数値は連動して動き、片方だけを示すベンダーは、結果の半分だけを示しているにすぎない。

それらの誤りの負担は均等には分散していない。定型的で、慣習的で、ばらつきの少ない文章は、あらゆる統計的検出器にとって機械的に読まれるが、その説明は、方法の節、文献レビュー、そして第二言語で執筆する著者の慎重な散文に当てはまる。AI detectors flagging non-native English speakers at elevated ratesというパターンは業界全体で記録されており、Winstonの方法もそれを免れない。文ごとの予測マップについても同じ注意が必要である。赤く強調された文は、著者性に関する証拠ではなく、語のパターンに関する統計的観察である。誤ってフラグを付けられた学生は、まず告白ではなく文書化から始めるべきである。how to prove you did not use AIに関するガイドでは、実際に説得力を持つものを扱っている。

料金と利用

Winstonは、限定的な試用版を備えた有料製品である。Winstonは、2,000クレジット付きの14日間無料試用、月額18ドルのEssentialプラン, または年額請求で月額10ドルで、100,000月間クレジットが付く, 月額29ドルのAdvancedプラン, または年額16ドルで、チーム席とより大規模なスキャンが追加される, さらにその上位にElite層を提示している。1つの授業分の提出物を確認する個々の教育者にとって、これはWinstonを衝動買いの範囲に置き、機関契約より安く、多くの無料ツールより高機能である。

検出器の状況におけるWinstonの位置

独立した証拠に基づけば、Winstonは中価格帯の商用検出器であり、市場の無料層よりは良く、自社の宣伝よりは劣る。これは、文ごとの可視性、Classroomとの統合、盗用チェックを1つの安価なツールで求め、各結果を判定ではなく対話のきっかけとして扱う教育者に適している。いかなる検出器のスコアも証拠として機能しないため、スコアを証明として機能させる必要がある者には適していない。

完全な比較

Winstonは競争の激しい分野における1つの検出器であり、その71%と99.98%の差は、業界全体に見られるパターンの一例である。Turnitin、GPTZero、Originality、ZeroGPT、その他と同じ証拠重視の観点でどのように比較されるかについては、AI detectors comparedに関する完全ガイドを参照されたい。

私たち自身の研究でわかったこと

TextPulse Research の検出器一致性研究では、9つの商用AI検出器が同じ90本の学術テキストを評価しました。そのひとつが455語のハイブリッドテキストで、人間が書いた冒頭と結びの間に168語のAI生成部分を挟んだものです。Winston AI はこのテキストを 7% AI と判定しましたが、同じ文章に対する他のツールの判定は 0% から 95.7% までばらつきました。論文全文、コーパス、ツール別スコア行列は TextPulse Research で公開されています。