なぜAIテキストは検出されるのか, その本当の理由

言語モデルに「The weather today is,」という文を完成させるよう求めると、「cerulean」や「apocalyptic」のような色を選ぼうとはしない。代わりに、「sunny」「cloudy」「nice」と言おうとする。なぜなら、学習されたあらゆるデータの中で、その語句の後に最も頻繁に続いていたのがそれらの語だったからである。文の次の語を選ぶソフトウェアは、まさにこの種の応答を優先するよう設計されている。

なぜ AI の文章は検出されるのか。それは、「sunny」を「cerulean」よりも選ぶのと同じ傾向が、文書全体を通じて、語から語へと連続して働き、その結果が、人間が実際に占めるよりも狭い範囲の書き方に収まるからである。検出器は、嘘を見抜く必要はない。ただ、ある文章がその狭い範囲に繰り返し着地していることに気づけばよい。

以下に続く内容に数式は不要である。仕組みは一つの考えにあり、それが三つの異なる尺度で繰り返される。すなわち、語の選択、文の形、そして書き手が無意識に選び取る具体的な細部である。これらの各尺度は、AI 検出器が実際にどのように機能するかというより広い問いに結びついており、根本原因に名前を与えれば、いずれも見えやすくなる。

なぜ AI の文章は検出されるのか, 簡潔な答え

AI の文章が検出されるのは、モデルの予測を完成した文へと変換するデコード過程が、各段階で起こりそうな語を優先するよう作られており、それを何千語も連続して一貫して行うと、人間が通常占めるよりも狭い言語の一部に収まる文章が生じるからである。統計的なツールは、各文が文法的に完全で事実として正確であっても、その狭さを見つけることができる。

この一つの原因から、三つの症状が生じる。語彙は、最も安全で一般的な語へと狭まる。文構造は、いくつかの好まれる形へと狭まる。そして、人がほとんど反射的に選ぶ、やや起こりにくい具体的な選択、つまり奇妙な語、挿入句、含めるのに費用がかからず予測するには大きな負担がかかる細部は、ほとんど現れなくなる。

言語モデルは次の語をどのように選ぶのか

放置しておけば、言語モデルは可能な次の単語の順位付き完全リストをそのまま示し、別の何かに選択を委ねるだけである。実際には、デコーディング戦略がその選択を単語ごとに自動的に行い、どの戦略が動作しているかによって、基盤となるモデルが変わらなくても出力の見え方は変化する。

Greedy decoding は、常に最も確率の高い単一の単語を選択する。nucleus sampling を修正策として導入した論文で、Ari Holtzman と共著者は、この戦略に従うと、彼ら自身の言葉では「味気なく、奇妙に反復的」なテキストになると指摘した。複数の有力な継続候補を一度に追跡してから1つに絞る Beam search も、同種の問題の類似した形に陥る。

サンプリング戦略は、ある程度のランダム性を再導入するが、それは制御された形で行われる。Temperature は、単語が選ばれる前に、モデルが自らの上位候補をどの程度強く優先するかを調整する。nucleus sampling は、top-p と呼ばれることもあり、分布を、その合計確率がしきい値を超える最小の単語集合に切り詰め、その集合からのみ抽出する。これは原論文で、信頼性の低い末尾ではなく、分布の動的な nucleus からサンプリングするものと説明されている。

これらの設定の中で最も決定論的でないものでも、なおモデルがすでに有力だとみなしているものを中心に作られた短い候補群から抽出しているにすぎない。人間の文章は、語彙を順位付けしてその上位から抽出することで生成されたことは一度もないため、常にその短い候補群を越えて進む。意味は、ときに、候補一覧に一度も載らなかった単語の中に宿る。

語彙の平坦化, より少なく, より安全な単語

語彙の平坦化は、同じ習慣の単語レベルでの版である。文の各時点では、数十の単語がその続きをもっともらしく担いうるが、そのうち少数がモデルの順位付けで他を大きく上回っており、デコーディングはその少数に繰り返し落ち着く。文書内のすべての文でこの選択を繰り返すと、実際に使われる単語の範囲は、同程度の長さの人間の文章と比べて、測定可能なほど狭くなる。

その効果は一定のままではなく、累積していく。文1で最上位の語を選び取るモデルは、文2でも最上位の語が一般的であるような文脈を作り出しやすい。というのも、一般的な語は一般的な語に続く傾向があるからである。人間の書き手は、その流れを絶えず中断し、特定の専門用語、やや珍しい動詞、無難な近似ではなく実際の事物を指す語を選び取る。この違いは、両方の版が同じ基礎的事実を述べていても、生成された版では作業語彙が測定可能なほど小さいこととして現れる。

これは個々の語の選択ではなく、文章全体の性質である。1つの無難な語だけでは何も証明しない。同じ順位の一般的な語彙を文ごとに繰り返し選び取る1ページ分の語の連なりこそが、検出器の語レベルのシグナルが実際に捉えるよう設計されているものである。

統語的一様性, 同じ形が繰り返されること

統語的一様性は、文レベルでの対応物である。これは文の長さの問題ではない。1つの文章がどれだけ多様な文法的形を用いているか、つまり、文がどのように始まり、節が互いにどのように結びつき、接続語がどれほど頻繁に1つの考えを次の考えへつなぐ役割を担うか、という問題である。統計的に起こりやすい次の構造を予測し続けるモデルは、少数の形の回転に落ち着き、それを繰り返す。

段落は文の長さを変化させていても、各文が同じ主語, 動詞, 補語の形に従い、同じ種類の接続表現で始まり、あるいは同じ仕方で結論に至るなら、統語的には平板に読まれうる。予測可能性は語数ではなくパターンの中にある。この区別は、burstinessが実際に何を測るのかの解説で、より詳しく扱っている。

何が狭めるか	デコード最適化されたテキストがしがちなこと	人間の文章がしがちなこと
語の選択	各段階で最も確率の高い一般的な語に落ち着く	実際の事物を指す、より具体的またはあまり一般的でない語を選ぶ
文の冒頭	安全なつなぎの冒頭表現を少数の組み合わせで繰り返す	文の始め方を変え、モデルならより起こりにくいと評価するような冒頭も含める
節の構造	文章全体で、好まれる文法的な形を一つか二つ繰り返す	文に必要なものに応じて、単純な構造と複雑な構造を混ぜる

人間だけがしがちな選択

狭い帯の反対側には、その外に外れるものがある。実際の出来事を描写する人は、丸めた数ではなく正確な数値を選び、うまくいかなかった部分を認め、思考の途中で文を中断してその場で修正し、典型的というより正しい語を選ぶ。これらの選択はどれも、言語モデルの観点から見れば低確率のトークンであり、まさにデコードが避けるように作られている種類のものである。

これは、具体的または珍しい文章があらゆるフラグから安全だという意味でも、流暢で正確な文章が初めから疑わしいという意味でもない。方法の節、法的な条項、あるいは大幅に編集された最終稿は、モデルとは何の関係もない理由で狭い帯に入ることがあり、だからこそ単一のスコアは、誰がそれを書いたかについての判断ではなく、パターンの記述にすぎない。

自分の下書きがその帯のどこにあるかを見るほうが、推測するより有用である。TextPulseの無料 perplexity checkerとburstiness checkerは、語レベルの予測可能性と文から文へのリズムを別々に測定するので、平坦な語彙と繰り返される文の形は、一つに混ざった数値ではなく、二つの異なるシグナルとして現れる。

これから、より狭い2つのページに分かれる。TurnitinがAIを具体的にどのように検出するかがその1つであり、その類似度スコアとAIスコアの違いがもう1つである。というのも、この2つはしばしば互いに混同されるからである。

どちらも、より広いfree tools collectionの中にあり、単一の数値を無批判に信じるのではなく、自分でその傾向を確かめたい人向けである。