AI Detection

文章におけるPerplexityとBurstinessを高める方法

意図的にperplexityとburstinessを高めることは、通常、よりよい文章を書くことを意味するにすぎない。つまり、文の長さを変え、節の構造を混ぜ、単に見た目が整う語ではなく、実際に適切な語を選ぶことである。具体的な変更前後の例に加え、これが技法としての工夫でなくなり、悪い考えになり始める境界も示す。

6 min
Before and after example showing how to increase burstiness and perplexity by varying sentence length and word choice

burstiness を増やす方法を検索すると、たいていの結果は近道を約束する。類義語の置換、長い文を一つランダムに差し込むこと、あるいは念のため文法規則を一つ壊すことだ。しかし、実際に数値を動かすのはそのようなものではない。文章における perplexity と burstiness を高めることは、主として文の構造の問題であり、注意深い編集者がすでに実践しているのと同じ技法を、習慣ではなく意図的に用いることにほかならない。

これは実践的な文章であり、仕組みの解説ではない。burstiness の背後にある式と、この用語が実際にはどこから来たのかについては、burstiness が実際に何を測るのかを扱う補足記事で説明している。perplexity についても、同様の役割を果たす別の補足記事がある。ここで扱うのは技法である。より多くの両指標を運ぶ文を組み立てる具体的な方法を、前後比較の例とともに示し、さらに、どこからが文章作法ではなく悪い考えになるのかについても率直に述べる。

文の長さを意図的に変えて burstiness を高める方法

burstiness は文の平均長ではなく、文どうしのばらつきを追う。そのため、最も手早い手段は、段落全体を通して一つの心地よい長さに流れていくのではなく、そのばらつきを意図的に広げることである。多くの初稿は、誰も意図して選んでいないリズムに落ち着く。12語から16語の範囲の文が3つ続くと安心に感じられるため、4つ目と5つ目も、誰もそうすべきだと決めていないのに同じ型に従ってしまう。

Before: 'The sample size limited statistical power. The results should be interpreted with caution. Future research should address this limitation with larger cohorts.' 3文で、それぞれ8語から11語、全体を通して同じ文体である。After: 'The sample was little, which limited statistical power in ways worth saying plainly rather than hedging around. That matters. A single larger cohort could shift the effect size enough to change which claims the paper is entitled to make.' 同じ内容だが、ばらつきはまったく異なる。

目標は、あらゆる代償を払って最大限の多様性を実現することではない。各行ごとに40語の文と2語の文を交互に置く段落は、リズムというよりも癖として読まれる。目的は、説明を声に出して自然に区切る人の話し方に近い。つまり、考えに十分な余地が必要なときは長めの導入文を置き、そうでないときは短い文を置くのである。

一つの構文を繰り返すのではなく、節の構造を変える

段落は語数を変えていても、すべての文が同じ作りであれば平板に感じられることがある。つまり、主語、動詞、目的語、句点、これを繰り返すだけである。バースト性は長さだけでなく構造の多様性にも反応する。なぜなら、読者、あるいは次に来る可能性の高い構文を予測するモデルは、いくつかの文が主語で始まった後に、従属節や疑問文で始まる文に出会うと、そこで調子を崩されるからである。

前: 'The intervention reduced anxiety scores. The effect held across age groups. The mechanism remains unclear.' 主語で始まる文が3つ続いている。後: 'Anxiety scores dropped after the intervention. Whether that held across every age group took a second look to confirm, and it did. What is still missing is a mechanism that explains why.' この2つの版の間で、基礎となる知見は何も変わっていない。変わったのは、読者がその知見にたどり着くまでに通過しなければならない構成だけである。

これは、複雑さをそれ自体のために求めることではない。前に置かれた従属節は、それが後続の文を本当に準備する場合にのみ意味を持つ。たとえば、時点、条件、譲歩である。多様性のためだけに付け足され、正当化するものが何もない場合、その構文はまさにそのままに読まれる。つまり、構造ではなく装飾である。

自分の論文を人間らしくする

重要な語句や引用には手を加えずに、AI支援テキストを変換して自然な人間の文章のようにします。

無料で始める

予想される語ではなく、より具体的な語を選ぶ

Perplexity は語のレベルで動くため、上で述べた文の長さの調整は仕事の半分しか担わない。モデルは、一般的な次の語に高い確率を割り当てる。たとえば significant, notable, important など、その場で同じ種類の論文が千本あればそのうちのどれもが選びそうな語である。実際の数値、実際の機構、あるいは査読者が実際に示した異議を明示することは、単に無難であった語よりも、モデルにとってはるかに大きな意外性を伴う。

Before: '「調査結果は重要であり、この分野にとって重要な含意を持つ。」これは、査読者が期待する語を、査読者が期待する順序で並べた文である。After: '4つのコホートのうち3つは閾値を超え、4つ目は2点届かなかったが、考察節ではその理由が説明されていない。' 後者の版は、この特定の研究だけを記述できる。前者は、ほとんどあらゆる分野のほとんどあらゆる論文の末尾に置くことができる。

これは、文に不要な細部を詰め込むことを意味しない。締切の下で初稿が頼りがちな一般的な言い回しへと滑らせるのではなく、すでに真実であり具体的であった細部を保つことを意味する。正確な数、名指しされた限界、特定の反例は、予測しにくいため生成により多くのコストがかかるが、同時に、よりよい文でもある。

長い文の後に短い文を置いて終わらせる

前の2つの技法は、文ごとに働く。この技法は、ある文が隣の文に対して何をするかに関わる。従属節に条件を重ね、その上に特定の細部を重ねる長い文は、余白を生み出す。それにすぐ短いものを続けると、読者も分類器も、そうでなければ落ち着いてしまうであろうリズムが崩れる。

Before: '治療群は追跡した4つの指標のうち3つで改善を示し、4つ目の指標は統計的有意性に達しなかったが、その傾向は他の3つと方向的に一致しており、したがってそこでの帰無結果は真の効果の欠如ではなく検出力の問題を反映している可能性があるが、その可能性は当初のプロトコルでは想定されていなかった。' 5つの考えを1文が担っている。After: '治療群は4つの指標のうち3つで改善した。4つ目は有意に達しなかったが、傾向は同じ方向を向いていた。そのずれは当初のプロトコルにはなかった。' 長い版と短い版は、結局ほぼ同じことを述べているが、読者に息をつかせる余地を与えるのはそのうち1つだけである。

1つの短い文を1段落に置くことは、その分の価値があります。これが何度も続くと、広告文を3語ずつ借りてきたような癖に感じられ、これはそれ自体が一種の均一性であり、まったく変化させない場合と同じくらい効果的に段落を平板にしてしまいます。

上で挙げたすべての手法が、同じレバーを動かすわけではありません。あるものは perplexity をより大きく動かし、あるものは burstiness をより大きく動かし、いくつかは両方を同時に動かします。

手法主に変化させるもの理由
文の長さを変えるBurstiness最短文と最長文の差を広げます。これは、分散に基づく指標が追跡するものです
節構造を混ぜる両方ある文から次の文へ固定されたパターンが続くという予測を崩します
具体的な語を選ぶPerplexity名指しされた細部は、一般的な代替表現よりもモデルにとって驚きが大きくなります
長い文の後に短い文を置くBurstiness分散の計算が捉えるように設計された、鋭い対比を生みます

点数を上げるためではなく、読まれるために書く

上の各手法は、いずれも単に良い編集です。文の長さを変えること、節構造を混ぜること、安全な一般化ではなく具体的な細部を名指しすること。AI検出に関心のない編集者でも、同じ理由で同じ変更を行うでしょう。結果として読みやすくなるからです。この重なりは偶然ではありません。注意深い読者と perplexity の計算は、文章の同じ性質に反応しています。それは、どれだけの部分が、予想される言い回しで空白を埋めるのではなく、実際に働いているかということです。

この重なりは、目的がよく書くことから数値に勝つことへと切り替わった瞬間に崩れる。平均を上げること以外の理由がないまま長くされた文、意図的に不自然にされた構文、正しさではなく珍しさのために選ばれた語, そのすべてがスコアを押し上げ、文章を悪くする。実際に採点または査読している相手にどう読まれるかを考える前でさえ、それは悪い取引である。検出器もまた、その場にいる唯一の読み手では決してなく、ひとつの統計量を満たすために書かれた散文は、他の誰も満足させない傾向がある。

TextPulse独自の無料 perplexity checker無料 burstiness checkerは、まさにこの種の自己点検のために作られている。草稿を貼り付け、どこに位置するかを見て、平坦な箇所が推測ではなく修正に値する文体上の問題かどうかを判断する。TextPulseの残りの無料ツール集は、同じ問いの他の層, 語の選択、構成、トーンを扱い、どちらか一方の指標だけでは得られない、より完全な読みを与える。

同じ手法を、指標を付けずに述べれば、単に学術的文章における文長の変化である。これは、なぜ AI テキストがそもそも検出されるのかというより広い問いと組み合わせる価値がある。そうすれば、修正は原因に向けられたままになる。

これらのどれも、ひとつの数値が文章についての真実のすべてを語ると信じることを必要としない。これは、これらの指標がAI 検出器が実際にどのように機能するかというより完全な説明の中でどのような位置を占めるかを考えると、覚えておく価値がある。声に出して読んで心地よく、余裕があり、少なくともひとつは、その内容を知っている人にしか書けなかったはずの文を含む段落は、残りを自ずと片付ける傾向がある。

XLinkedInFacebook

よくある質問

burstinessを高める方法は、すべての文が同じ長さに収まるのを避け、最も短い文と最も長い文の差を広げることにある。12語の文が3つ続く段落には、ほとんどばらつきがない。そこに短い文を1つ、さらに長く詳細な文を1つ加えてその型を崩せば、この指標はただちに高まり、たいていは読みやすさも向上する。

Moe

PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.

AI人間化の最新情報を受け取る

学術ライティング、AI検出、そして人間化に関するヒントを、受信箱へお届けします。

スパムはありません。いつでも配信停止できます。