査読者が捏造された引用を見つけた場合に起こること

編集者が採択済み原稿の参考文献一覧を確認しているとき、その23番目の引用のDOIをブラウザに貼り付けると、識別子は存在しないと表示するページが返ってくる。参考文献は本物らしく見える。もっともらしい雑誌名、もっともらしい年、もっともらしい3人の著者姓がある。しかし、それはどのデータベースにも索引付けされたことのある何ものにも結び付いていない。原稿は印刷まで2週間である。

解決できないDOIは、通常、編集者が最終的に捏造引用という学術的不正行為と分類するものの最初の兆候であり、校正段階で静かに直すべき書式上の誤りではない。存在しない情報源への参照は、捏造データや改ざんされた結果とともに、実際に雑誌が用いる重大性の尺度の上に位置し、誤ったページ番号や欠けたイニシャルよりもはるかに重い。査読者は、原稿がその段階に達する前に、まさにこの点を確認するようになっている。

本稿は査読者側からその経路をたどる。捏造された参考文献がそもそもどのように原稿に入り込むのか、DOIが解決できないときに編集者が何をするのか、Committee on Publication Ethics が示す手順、そしてその後に論文に実際に何が起こるのかである。TextPulseの大学と雑誌がAI方針を定める方法に関するガイドは、投稿前にこれを防ぐための開示規則を扱っている。本稿は、それらの規則がすでに機能しなかった後の段階を扱う。

捏造引用はどのように原稿に入り込むのか

それは、ほとんど決して、最初から意図的に作り出されるわけではない。AIツールを使って文献レビューを下書きしている著者が、ある主題に関する研究を要約するよう求めると、そのツールは引用付きの段落を返す。もっともらしく聞こえる参考文献は、次に来る可能性が高い語を予測するモデルにとって、学術的文章のパターンがそう見える際の一部だからである。その参考文献は本物の形をしている。名前のある著者、実在する雑誌名、妥当な範囲の年がある。ただし、それは実際に出版された何ものにも結び付いていない。

著者は段落をそのまま貼り込み、周囲の文章が十分に整って読めるため引用を信じ、出典が実在するかを確認するために元の資料を開くことはない。次に起こることの大半は時間的制約で説明できる。参考文献一覧は通常、提出前に最後に確認されるものであり、最初に確認されるものではない。また、90件の実在する項目の中に紛れ込んだ捏造された1件は、各脚注ではなく議論と構成に目を向けた通読では見落としやすい。提出前に完成した参考文献一覧をan AI citation checkerに通すことで、査読者がブラウザにDOIを貼り付ける前に、こうしたもののかなりの数を検出できる。

モデルがそもそもどのようにしてもっともらしい出典を作り出すのか、またその理由は、それ自体が別の問いであり、独自の仕組みを持つ。TextPulseのChatGPTが参考文献をでっち上げるかどうかについての解説は、この部分を本稿よりも詳しく扱っている。

捏造された引用は学術的不正行為か?

はい、そして学術誌はそれを様式上の問題として扱わない。研究不正は慣例的に捏造、改ざん、盗用に分けられ、存在しない出典への参照はその最初のものに当たる。すなわち、引用そのものが作り出されており、その存在は、本文中でその上に置かれた議論を実際にどの証拠が支えているのかを誤って示す。したがって、捏造された引用は、欠落したコンマや一貫しない見出しの様式の隣ではなく、捏造データと同じ範疇に入る。

Elsevierの独自の方針は、AI支援で原稿を作成する者に対してこの点を明確に述べている。生成ツールは構成と言語面では役立つかもしれないが、データや参考文献を捏造または改変することは禁じられた使用法として挙げられており、改変ではなく捏造であることが判明した参考文献のために、より軽い区分が設けられているわけではない。Wiley、Springer Nature、Taylor and Francisも、それぞれの著者向けガイドラインで同じ線引きをしている。査読者は現在まさにこの点を確認しており、未解決のDOIは、捏造された参考文献を見破る最初の手がかりであることが通常である。

査読者がDOIを解決できない場合はどうなるか?

この機械的な確認は、1分以内で実行できるほど簡単である。DOIをdoi.orgに貼り付け、どこにたどり着くかを確認すればよい。DOIが見つからないページ、または引用されたものとはまったく異なる記事を指している場合、それはその引用がそもそも実在しなかったことを示す強い兆候である。特に、AIツールが下書きに関与した参考文献一覧の中にある場合はそうである。

1件の壊れたDOIだけで原稿の可能性がそれ自体で終わるわけではない。実在する識別子でも、時に誤って入力されることがあるからである。対応が変わるのは、件数とパターンである。1件の壊れた参考文献であれば、通常は著者に問い合わせが行われ、修正されたDOIまたは元の出典の提示を求められる。同じ参考文献一覧の中に複数の壊れた参考文献があり、特に急いで書かれた文献レビューの節に集中している場合は、通常の問い合わせを超えて、編集者がそれ以上の判断を下す前に行う引用の真正性確認へと進められる。

編集者が従うCOPEの手順

COPE, the Committee on Publication Ethicsは、編集者が引用の問題を単一の固定規則ではなく、構造化された方法で評価するための枠組みを与えている。その引用の真正性に関する指針では、次に何が起こるかを決める前に編集者が考慮すべき4つの要素を示している。

• 性質, その参考文献が部分的に真正なのか、それとも完全に捏造されているのか
• 位置, 論文のどこにあるのか, たとえばメタ分析の内部か、単一の考察段落か
• 分類, 見つけられない参考文献なのか、それとも実際には述べていないことについて真正な文献が引用されているのか
• 規模, 影響を受ける参考文献が1件か2件か、それとも一覧全体のかなりの割合を占めるのか

編集者がこれら4つの要因をどのように評価するかによって、どの対応が適切かが決まる。すなわち、単純な訂正、調査が進行中である間に公表される懸念表明、あるいは、最も重大なパターンでは著者の所属機関への直接連絡である。AIツールが責任を負えない理由としてCOPEが示す論理は、著者資格一般に適用される論理と同じである。提出された原稿に対する責任は、記名された著者にあり、彼らは提出した瞬間にその責任を引き受けたのであって、その途中で段落の下書きを手伝ったいかなるツールにも責任はない。

「モデルが作り上げた」という説明は、捏造された参考文献が原稿に入り込んだ経緯を説明するにすぎない。それは免責にはならない。各出版社の投稿手続きでは、責任著者が原稿の正確性を確認し、その内容に責任を負うことが求められる。これは、AIツールの誤りを著者自身の誤りへと変える、まさにその段階である。

TextPulseのAI支援による学術執筆における倫理的境界に関するガイドも、同じ責任原則を示している。すなわち、開示と確認は、査読者が欠落を見つけた後ではなく、投稿前に行われる。

訂正から撤回まで, 論文に実際に何が起こるのか

訂正は最も軽い結果である。出版社は特定の参考文献を修正する注記を出し、論文自体はそのまま残り、公表記録には何がどのように変わったのか、そしてその理由が正確に示される。単一の捏造された引用が、論文の実際の結果に影響しない節に現れ、著者が協力して実在する出典を提示するか、それが支えていた主張を削除する場合、通常はそこに収まる。

一方の極には撤回がある。COPEによる撤回に関する最初の指針でも、捏造された参考文献が該当する区分である捏造と改ざんが、論文を撤回する明確な理由の一つとして挙げられており、盗用や信頼できない結果の発見も同様である。この過程は静かに消えることはない。撤回された論文は、ジャーナル自体および他の研究者が用いる索引の中で撤回済みとして表示されたまま残る。これが、作成された参考文献が非常に高くつく理由である。訂正は恒久的かつ公的であり、論文が少しでも検索可能である限り、著者名に付随し続ける。

開示は実際的な防御手段であり、論文におけるAI使用の開示方法は別途示されている。また、作成するのではなく修正して使える開示声明のテンプレートもある。

参考文献の確認は、かつては査読者の仕事の中で最も興味を引かない部分であり、本格的な批評が始まる前の形式的な作業にすぎなかった。解決しないDOIは、それを正反対のものに変えた。多くの場合、それは原稿が他の部分よりもはるかに注意深く読む必要があることを示す、最も速く、最も明確な संकेतである。