AI Humanizer比較研究: 同じ学術テキストに何が起きたか

このAI humanizer比較研究では、すべてのhumanizerが同じ48本の学術テキストを人間の文体へと移し替え、各ツールの違いは、何を保持したかに最も強く表れた。意味、引用、数値を原文に近く保ったものもあった。一方で、作り出された数値や名前、あるいは新たな文法上の誤りを加えたものもあり、そうした出力は、しばしば検出器が人間と判定したものであった。

TextPulse Researchは2026年8月にAI humanizer比較研究を実施し、8月29日にワーキングペーパーとして公表した。TextPulseはその中のツールの一つであるため、すべてのツールに同じ入力が与えられ、すべての測定は公開スクリプトである。完全なワーキングペーパーには、すべての表、図、スクリプトがあり、書き換えられた432本のテキストもすべて公開されている。

AI humanizer比較研究が検証した内容

この研究では、すべてのhumanizerに同じ48本のテキストを与えた。各テキストは、AIモデルによって書かれた架空の実証研究の結果および考察の節であり、長さは約301語であった。4つのモデル系列がそれぞれ12本のテキストを書いた。OpenAI、Google、DeepSeek、Anthropicである。テキストは4つの学問分野と3つの引用スタイルを扱っており、そのため各ツールは、保持しなければならない数値、著者名、参照マーカーに直面した。

設計の一部	研究で用いたもの
原文テキスト	AIが書いた結果および考察の節48本、各264語から344語
執筆者	OpenAI、Google、DeepSeek、Anthropicの各モデルから12本ずつ
学問分野	医学・健康、物理科学・計算科学、社会科学、人文学
引用スタイル	APA著者年方式、数値括弧、引用なし
テキスト内で確認した事実	404の専門用語、887の数値、124の引用
各ツールの実行方法	既定の設定でウェブページに一度貼り付け、返された出力をそのまま保持
日付	2026年8月26日から28日
検出器	Turnitinはツールごとに1文書、GPTZeroは各テキストを個別に判定

ヒューマナイザーの役割はAI出力を書き換えることなので、この研究は、事実の検証済み一覧を備えたAI出力から始めた。いかなる書き換えの前にも、各モデルは使用した用語、数値、引用を列挙した。列挙された各項目は本文と照合され、本文に欠けている項目はすべて除外された。その結果、各本文について固定された一覧が残り、研究は各ヒューマナイザーが何を保持し、何を変更し、何を創作したかを正確に数えられるようになった。

各本文は各ツールのウェブページに一度ずつ、ツールの既定設定で入力され、出力は返ってきたとおりにそのまま保存された。出力を編集した者はいなかった。無料枠ではツールが受け付ける本文数に上限があるため、いくつかのツールは48未満しか処理しなかった。24本文からなる中核セットは、各ツールで同一であり、順序も同じだった。TextPulseは48本文すべてを処理した。

この研究が人間化された本文をどのように測定したか

検出器のスコアは、ある本文がある日にある検出器にどう見えたかを示すにすぎない。それは、その書き換えが同じ結果をなお報告しているかどうかについては何も述べない。この研究では、各出力をまず本文そのものについて、次に検出器について採点した。学生や研究者にとっては、データが示す内容をなお述べており、しかも人が書いたように読める散文で書かれた論文を持つことが重要である。

指標	何を確認するか	論文においてなぜ重要か
意味	書き換えが元の文にどれだけ近いかを、0から1の類似度スコアとして示したもの	スコアが低いほど、その段落は別の内容を述べていることを意味する
引用の保持	本文中の引用が、同じ著者と年のまま残っている割合	年が変わると、参考文献一覧との対応が崩れる
数値の保持	確認対象の数値のうち、なお本文に残っている割合	サンプルサイズや p 値が失われると、結果が変わる
創作された項目	出力に含まれる、元の文にはなかった数値と名称	創作された数値は、研究についての虚偽の記述である
追加された文法エラー	LanguageTool で数えた、1,000語あたりの新しいエラー数	エラーは評価点と査読者の信頼を損なう
読解学年	Flesch-Kincaid の学年指標の変化	AI の文章は、出版された人間の散文よりも高い学年水準を示す
文体位置	典型的な人間の文章と典型的な AI の文章の間におけるテキストの位置	文体計量的検出器は、これらの特徴に反応する
長さ	出力の長さを元の文と比較したもの。0.70倍から1.30倍までを保持と数える	文章を半分にするツールは、内容を削っている

文体位置は、TextPulse が 121,092 件の学術テキストから 47 の文体特徴を用いて作成した尺度に基づく, これは私たちの 文体計量的分類論文 で説明している。典型的な人間の学術テキストは 0、典型的な AI テキストは 100 である。私たちは、人間のテキストの中央半分, すなわち -36 から 33 を人間範囲と呼ぶ。

語彙は、私たちの AI 語彙論文 にある 1,057 語の一覧に照らして採点した。そのうち 581 語は AI モデルが人間よりも多く用いる語であり、476 語は逆の傾向を示す。この研究では、各ツールが 1,000語あたりにどれだけ多くの AI 寄りの語を削除したかを数えた。

各 humanizer がテキストに対して行ったこと

研究に含まれたすべてのツールは、その出力を文体尺度の人間側へ移動させた。未処理のAIテキストの平均は138で、典型的なAIテキストの100を上回っていた。書き換え後、いくつかのツールは人間の範囲に達し、ほかのツールはその中間で止まった。すべてのツールはまた、AI寄りの語彙を除去し、読解学年を下げたため、変化の方向は分野全体で同じであった。

尺度上でテキストを最も動かすのは、2種類の特徴である。第1は平均語長と長い語の割合である。"help" を "facilitate" に書き換えると、平均語長が増し、長い語の割合も増えるため、テキストはよりAIらしくなる。第2は文長の変化であり、これは人間側へ押し進める。すべての文が22語から26語の段落は平板であるが、9語の文と31語の文を混ぜた段落は変化に富む。

目的は、読解学年をより低くすることである。AIが書いた学術文は、出版された人間の学術散文よりもFlesch-Kincaidの学年が高い。したがって、それが下がれば、研究者が書く平易な文体により近づくことになる。これこそが、文体統計的検出器が反応するものである。これらはまた、下書きを読みやすくする変化でもある。内容が保たれている限り、この2つの目的は一致する。

humanizersが文をどのように変えるかに関する当ブログ記事では、これらの編集を1文ずつ示している。研究は測定を加える。すなわち、各変化がテキストをどれだけ移動させたか、そして意味と事実において何を犠牲にしたかである。

ツール間で異なった点：意味、引用、数値

ツール間では保持率が異なっていた。例えば、研究全体では、引用の29パーセントから100パーセントが保持された。出力1件あたり0.06から4.44の創作項目が現れた。1,000語あたり0.65から4.91の新しい文法誤りが現れた。創作項目とは、サンプルサイズ、パーセンテージ、信頼区間、著者名、そして原典が言及していない機関であった。

名前と単位は、より目立たない形で失われた。あるツールが統計量を言い換えると、しばしば単位が落ち、"Cohen's d" は効果量になり、"Celsius" は度になった。著者名は引用とともに失われた。種名、時代名、機器名は説明に置き換えられた。結果を確認したい読者にはそれらの名前が必要であるため、これらの損失はいずれも重要である。

書き換えの深さと忠実性は、逆方向に働く。単語の3分の1を変えるツールは、意味をより保ちやすい。大半を変えるツールは、何かを失う機会がより多い。変更された単語の割合は35から68パーセントの範囲だった。研究者が求める結果は、意味を保ちながら深く書き換えることである。その組み合わせはまれだった。

この研究では、隠れた文字も調べた。不可視文字、標準でない空白、キリル文字またはギリシャ文字のアルファベットに属する紛らわしい文字である。人間化ツールの中には、検出器の結果を変えるためにこれらを追加するものがある。この研究のどのツールもそれらを追加しなかったため、その理由で品質基準を満たさない出力はなかった。

なぜ検出器の結果だけでは人間化ツールのベンチマークとして弱いのか

検出器の結果だけでは、不完全な人間化ツールのベンチマークである。AI humanizer 比較研究では、GPTZero が最も頻繁に人間と判定した出力は、より多くの数値や名前を作り出し、より多くの引用を落とし、より多くの文法誤りを加えたツールから生じていた。検出器の推定を変える最も容易な方法は、本文が述べている内容を変えることである。そのような書き換えは、助けるはずだった論文を損なう。

両方を同時に測定するために、この研究では品質基準を設定した。これを通過するには、出力は少なくとも0.95の意味スコアと、引用の少なくとも90パーセントを必要とした。また、作り出された数値や名前がなく、隠れた文字がなく、長さが許容範囲内であることも必要だった。その後、GPTZero の human 判定は、基準を通過した出力に対してのみ数えられた。基準はすべてのツールで同じだった。

各ツールの出力は、1つの文書にまとめられ、1ページにつき1つのテキストが配置された。この研究では、文書に対する Turnitin の AI パーセンテージを用いた。Turnitin は、20パーセント未満の場合、数値の代わりにアスタリスクを用いる。検出器の結果は、研究実施日の単一の検出器バージョンによる推定値である。私たちは、Turnitin の AI スコアが何を意味するかに関するガイドで、Turnitin AI スコアの読み方について述べた。

人間化比較における TextPulse の成績

TextPulse は、研究の複合指標で第1位となった。この複合指標は、書き換えの深さ、意味、文体の位置、文法、内容の完全性に同じ重みを与える。TextPulse のスコアは、これら5つの指標で 0.811 であり、ゲート付き検出器指標を加えると 0.843 であった。弱い指標が一切なかったため、良好な成績を示した。各テキストの半分以上を書き換え、論文が依拠する事実を保持した。

指標	TextPulse の結果
変更された単語数	52パーセント
保持された意味, 元の文との類似度	0.971, 約97パーセント
保持された引用	99パーセント
保持された数値	87パーセント
保持された固有表現	95パーセント
追加された文法誤り	1,000語あたり0.65件, 研究で最少
創作された項目	出力1件あたり0.48件, 50件の出力につき1件の創作名
読解学年	3.6学年低下, 最大の低下
AI 寄りの語の削減数	1,000語あたり39語, 研究で最多
文体の位置	29, 人間の範囲内
長さの許容範囲内に収まった出力	48件中47件
品質ゲートを通過した出力	67パーセント
すべての出力を1つの文書にまとめた Turnitin AI スコア	24パーセント, 研究で最も低い値, 同率
ゲートを通過した出力に対する GPTZero の human ラベル	10.4パーセント, 48件中5件, 研究で最も高い値

学術用途では、2つの結果が最も重要である。少なくとも半数の語を変更したツールの中では、TextPulseが意味を最もよく保持した。意味スコアが0.97以上のツールの中では、変更した語数が最も多かった。研究内でこの両方の समूहに入った他のツールはなかった。学術的な文章のための humanizer にはこの組み合わせが必要である。軽い書き換えではAIの文体が残り、深い書き換えで事実が落ちると、結果が変わってしまうからである。

GPTZeroはTextPulseの出力48件のうち9件を人間によるものと判定し、そのうち5件は品質ゲートも通過した。これは研究内で最も高いゲート通過結果であった。TextPulseの出力に対するTurnitinの文書は24パーセントAIと評価され、最も低いスコアで同率であった。他の文書は28パーセントから74パーセントであった。検出器の結果は推定値であり、そのため研究ではそれらをテキスト指標の隣に示している。

この研究では分からないこと

AI humanizer の比較研究は、自身の限界を挙げている。テキストはAIモデルが固定プロンプトに基づいて書いたものであり、実際の下書きはより長く、均一性も低い。各ツールは、2026年8月26日から28日の間に、既定の設定で1回だけ実行された。各社はツールを更新するため、結果はそれらの日付を示すものであり、ある時点の記録として読むべきである。

ツールごとにテキスト数が異なるのは、ツールが処理する無料テキストの数に上限があるためである。これにより、テキスト数が少ないツールでは信頼区間も大きくなる。Turnitinは文書ごとに1つのスコアを生成するため、テキストごとのスコアのばらつきはない。GPTZeroは1つの検出器であり、1つのモデル版である(2026-08-09-base)。

TextPulseはこの研究を作成した側であり、その中のツールの1つでもある。各ツールには同じ入力が与えられた。手順により、すべての指標は公開スクリプトであり、すべての生の結果が共有されている。これは、誰でも数値を再計算したり、別の重み付けをしたりできることを意味する。元のテキスト、432件すべての出力、検出器の応答、スクリプトは公開されている。

自分の下書きに研究結果をどう使うか

これらの結果は、TextPulseを含む、どの humanizer の後でも実行できる短い確認作業に変わる。出力を自分の下書きと比べ、研究が数えた項目を確認する。1つの節なら数分で済む。

1. 下書きとすべての数値を照合してください。サンプルサイズ、百分率、p値、信頼区間を確認してください。
2. 本文中の引用をすべて確認し、著者名と年が同じであることを確かめたうえで、参考文献一覧と照合してください。
3. 変更された名称を探してください。機器、種、データセット、単位、著者名です。
4. 「may indicate」が「shows」に書き換えられるなど、主張が強くなっている箇所を読んで確認してください。
5. 長さを比較してください。出力が原文よりかなり短い場合は、内容が落ちている可能性があります。
6. 書き換えによって追加された文法上の誤りを見つけるために、本文を声に出して読んでください。

長さは、これらの確認の中で最も迅速です。研究では、出力が原文の長さの0.70倍から1.30倍の範囲にある場合、保持されたとみなされました。TextPulseは48件の出力のうち47件をその範囲内に収め、平均では原文の1.14倍でした。そのため、その出力は下書きよりわずかに長くなっていました。

引用を手作業で確認するのは最も時間がかかります。研究では、TextPulseはその99パーセントを保持し、変更は表記上のものでした。たとえば、括弧内引用が叙述的引用に変わるといったものです。引用を保持するAI humanizerに関する当社の投稿では、自分の参考文献マーカーで何を確認すべきかを説明しています。

無料のburstiness checkerは、下書き内の文の長さがどの程度変動するかを測定します。文の長さの変動は、研究の尺度が人間の文章に向けて重み付けする特徴の一つです。価格付きの順位付きガイドについては、学術執筆に最適なAI humanizerに関する当社のガイドを参照してください。書き換えの準備ができたら、TextPulse AI humanizerは、数値、名称、引用を保持するように設計されており、結果について推定Human Scoreを報告します。