ChatGPTの下書きを提出可能な原稿に編集する

ChatGPT からの下書きは90秒で戻ってきて、十分に読みやすいため、最初の文から始めて前へ向かって整えるのが当然の手に見える。2時間後、最も時間をかけた段落が削除されることになるが、それは支えていた主張に実体がなかったと分かったからである。どの順序で編集するかによって、無駄になる作業量が決まる。

研究の文脈で ChatGPT の出力をどのように編集するかは、後で修正する際のコストが高いものから順に、4回の通過で進める。すなわち、まず主張と根拠、次に構成、3番目に文のリズム、最後に語彙である。各通過は、その前の通過が動かなくなっていることを前提とする。これ以外の順序で行うと、最も注意を払った部分が、その週を生き残らない文に費やされることになる。

ChatGPT の出力を4回の通過で編集する方法

編集はすべて同じだけ破壊的ではない。段落を移動すれば、整えた接続部をすべて書き直す必要がある。第3回の修正で文を1つ追加すると、第2回で整えた段落のリズムがリセットされる。出典のない主張を削除すると、20分かけて調整した文が壊れる。順序が存在するのは、最も破壊的な変更から最も破壊性の低い変更へと作業し、各通過をそのまま保ちたいからである。

通過	修正しているもの	ここに置かれる理由
1: 主張と根拠	各事実文が真実であり、開いて確認した出典にたどれるかどうか	削除する予定の文を最初に磨く価値はない
2: 構成	節の順序が、話題の一覧ではなく、あなたの議論を支えているかどうか	行編集の後で段落を移動すると、接続部をすべて再編集することになる
3: 文のリズム	段落内での文の長さの均一性と、繰り返される節の形	1回目と2回目の通過での挿入はすべて、段落のリズムをリセットする
4: 語彙	情報を運ばない定型動詞と抽象語	最も安価な編集であり、最も小さいてこなので、最後に行う

通過1: 開いている出典と照合して、すべての主張を確認する

改善する意図を持たずに、下書きを一度通読する。この段階では、数値、仕組み、知見、あるいは分野が現在何を考えているかに関する主張など、何かを事実として述べている文だけに印を付ける。その他は後回しでよく、ついでにぎこちない表現を直したくなる誘惑こそが、20分の作業を静かに午後いっぱいの作業へと変えてしまうものだ。

印を付けた各文には、3種類の印のいずれかを付ける。第1の印, 原文を読み、引用できる。第2の印, それが真実であることは分かっており、出典を探しに行く必要がある。第3の印, モデルがこれを主張したが、どこから来たのか見当がつかない。第3の印が付いた文は、書き換えるのではなく削除する。ここで最も守るのが難しい指示はこれである。というのも、そうした文はたいていページ上で最も滑らかに見えるからだ。

モデルの下書きは、主張を特定の誰かに帰属させず、そのことは表現に表れる。Recent studies suggest, researchers have found, it is widely accepted, これらはいずれも、特定の論文が背後にないときに主張が取る形である。そのどれもが、まだ追加していない本物の引用か、あるいは土台のない文のどちらかであり、どちらかを見分ける方法は、その論文名を挙げてみることである。できるなら、文中でその論文名を挙げる。できないなら、その文は削除する。

モデルが提示した参考文献は、参考文献一覧に入れる前にデータベースと照合して確認する必要がある。もっともらしい著者名、年、雑誌名は、対応する論文が存在しなくても組み立てられてしまうからである。An AI citation checkerは、1回の処理で一覧全体の識別子を解決するため、各タイトルを手作業で検索するより速く、指導教員の余白メモで問題を発見するよりもかなり速い。下書きが渡してきたものを何か引用する前に、これを行うこと。

第2の通読, 論旨を中心に構成を再構築する

構造は二番目に来る。なぜなら、行編集を終えた段落を後から移動すると、その結合部をすべて再び編集しなければならないからである。この段階では、何をどこに置くか、何を完全に削るかを決めており、下書きはより短くなると見込むべきである。あるモデルは、プロンプトから一見完全な文書を生成したが、それは一つの論点を示すために作られた文書とは異なる対象である。

各段落の最初の文だけを、順番に、他は何も読まずに読むべきである。それは議論のように読めるはずである。すなわち、これが私たちの求めたもの、これが私たちの見た方法、これが私たちの見いだしたもの、これがその意味である。生成された下書きがこの検査に失敗する具体的な仕方は、推論の流れではなく話題の一覧のように読めてしまうことである。つまり、そのモデルは、支えるべき主張を持たずに、段落ごとにプロンプトを埋めていたのである。

第二の構造上の欠陥は、配分の均等化である。モデルは、プロンプトのどこが重要かを何も指示されていないため、各小主題におおむね同じ分量の紙幅を与える。実際の原稿は偏っている。実際に得られた結果、実際に問題となった制約、途中で変更した方法, これらは背景よりも多くの紙幅を得るべきであり、背景は通常、この段階で長さの3分の1を失う。さらに、その場で各節の末尾にある、その節を言い換える文を削るべきである。直前にそれを読んだ読者には何も得るものがなく、生成された下書きはほぼ毎回そのような文を一つ生み出す。

第3段階, 内容が動かなくなってからリズムを整える

文のリズムを整えるのは、内容が落ち着いてからに限る。上の二つの段階での挿入は、そのたびにリズムをリセットするからである。ここで探しているのは、長さと形が共通する文の連なりである。ほぼ同じ長さの文が4文続くと、音読したときに平板に聞こえる。また、ある箇所全体で文の長さが均一であることは、注意深い読者と統計的分類器の双方が捉える構造上の特徴である。

修正は機械的である。段落を声に出して読み、同じように着地する2文または3文の連なりを見つけたら、そのうちの1つを分割するか、あるいは2つを結合して、カンマに実質的な働きをさせる。長い文は、短い文なら2回述べなければならないような複雑さ、条件、または結果を担うことで、その長さに見合うだけの価値を示さなければならない。これらの操作の実例は、修正前と修正後を並べた形で、how to humanize AI text のガイドにある。

逆の誘惑にも抵抗しなければならない。内容を何も加えず、リズムを乱すためだけに存在する埋め草の文は、読者には2段落以内で見抜かれる。変化は、内容が異なる時点で異なる量を述べることから生じなければならない。これは、実際の研究段落が最初から不均一であるのと同じ理由である。

第4の通過, 語彙, 最後で最小のもの

語彙が最後なのは、それが最も安価な修正であり、最も小さなてこだからである。しかも、これを最初に行うと、実質を伴わない進捗の感覚だけが得られる。生成された下書きは、頻度の高い学術的動詞と抽象語の少数に依存しがちであり、学期に100本の論文を採点する読者は、それらをすべて見てきている。facilitate, underscore, pivotal, robust, myriad, showcase は、研究下書きにおける典型的な常連である。

定型的な動詞を、その文が実際に必要とする語に置き換え、情報テストを用いて判断する。showed, measured, doubled, failed はそれぞれ、facilitate にはない情報を読者に伝える。A free AI word cleaner は、こうした定型語彙の大半を数秒で見つけるが、それに費やす時間としてはそれで十分である。この通過で本当に注意すべきなのは過剰修正である。なぜなら、機械性を強く取り除かれた下書きは類語辞典の練習のように読め、指導教員はそれをどのソフトウェアよりも早く見抜くからである。

4つの通過で残るもの

防御可能な原稿とは、任意の文を指して、それがどこから来たのかを示せる原稿である。これこそが実際の成果物であり、上の各段階はそれに向かう一歩である。第1段階はすべての主張に出典を与え、第2段階は議論に形を与え、第3段階と第4段階は、その結果をジャーナルや採点者が期待する水準で読めるものにする。

AI writing score は、通常、誰もそれを狙っていなくても、これらの段階を通じて低下する。各段階が、その score が算出される要素を取り除くからである。すなわち、出典のない一般的主張、均一な節の重み付け、一定の文長、定型的な語彙である。score 自体を目標にすると、この作業は逆転する。Turnitin 自身のガイダンスはこの数値の限界について率直であり、そのモデルは「常に正確であるとは限らず, 人間が書いたテキスト, AI-generated のテキスト, AI-paraphrased のテキストを誤って識別する可能性があるため, 学生に対する不利益な措置の唯一の根拠として用いるべきではない」と述べている。

まずツールに関する文脈を一つ述べてから、原稿に戻る。An AI humanizer は、長い文書全体に対する第3段階を、人間よりも速く行うことができ、また、いずれかの特定の detector による判定ではなく、テキストから算出された推定 Human Score を報告する。しかし、第1段階はまったく行えない。なぜなら、それは作業が行われた場にいなかったのであり、どの主張にその背後の出典があるのかを知る方法がないからである。

草稿の出自を原稿内で明示する必要があるかどうかは、別個の問いであり、実際の答えがある。その答えは、テキストのどれだけが編集を生き残ったかではなく、所属機関または対象ジャーナルに依存する。how to disclose AI use in a paper に関するガイダンスは、ほとんどの方針が想定する文言と、それを文書のどこに置くべきかを扱っている。

差し迫った問題が報告書上の数値であるなら、lowering an AI score はそれ自体のページで扱われている。そのために作られたツールが実際に機能するかどうか は妥当な先行的問いであり、それにも独自の答えがある。

4つのパスは、予算としても機能する。締切までに残された時間が1晩しかないなら、最初の2つに使い、いくつかの文はやや不自然なまま残してよい。不自然な文でも、擁護できる知見に結びついていれば、口頭試問を乗り切れる。何にも結びついていない美しい文は、そうではない。