심사자가 조작된 인용을 발견하면 어떻게 되는가

편집자가 게재가 승인된 원고의 참고문헌 목록을 확인하다가 스물세 번째 인용문의 DOI를 브라우저에 입력하면, 식별자가 존재하지 않는다는 페이지가 나타난다. 참고문헌은 그럴듯해 보인다. 그럴듯한 학술지, 그럴듯한 연도, 그럴듯한 저자 성 세 개가 있다. 그러나 그것은 어떤 데이터베이스에도 한 번도 색인된 적이 있는 어떤 것에도 연결되어 있지 않다. 원고는 인쇄까지 2주 남았다.

해결되지 않는 DOI는 보통 편집자가 결국 조작된 인용문헌이라는 학술 부정행위로 분류하게 되는 것의 첫 징후이며, 교정본에서 조용히 고치면 되는 서식상의 실수가 아니다. 존재하지 않는 출처에 대한 참고문헌은 학술지가 실제로 사용하는 심각도 기준에서 조작된 데이터와 위조된 결과와 함께 놓이며, 잘못된 페이지 번호나 빠진 이니셜보다 훨씬 심각하다. 그리고 심사자들은 이제 원고가 그 단계에 도달하기 전에 바로 이런 점을 확인한다.

이 글은 심사자의 관점에서 그 경로를 따라간다. 조작된 참고문헌이 처음에 어떻게 원고에 들어가는지, 편집자가 DOI가 해결되지 않는다는 사실을 확인한 뒤 무엇을 하는지, Committee on Publication Ethics가 제시하는 절차는 무엇인지, 그리고 그 뒤 논문에 실제로 어떤 일이 일어나는지 살펴본다. TextPulse의 대학과 학술지가 AI 정책을 정하는 방식에 대한 안내은 제출 전에 이를 막기 위한 공개 규정을 다룬다. 이 글은 그 규정이 이미 실패한 뒤의 상황을 이어서 다룬다.

조작된 인용문헌은 어떻게 원고에 들어가는가?

대부분은 처음부터 의도적으로 만들어내는 방식이 아니다. 문헌 검토 초안을 작성하는 저자가 AI 도구에 특정 주제에 관한 연구를 요약해 달라고 요청하면, 그 도구는 인용문헌이 붙은 단락을 반환한다. 이는 다음에 올 가능성이 가장 높은 단어를 예측하는 모델에게는 그럴듯하게 들리는 참고문헌이 학술적 글쓰기의 패턴을 이루는 요소이기 때문이다. 그 참고문헌은 실제 문헌의 형식을 갖추고 있다. 이름이 있는 저자, 실제 학술지 제목, 타당한 범위 안의 연도가 있다. 다만 그것은 실제로 출판된 어떤 것에도 연결되지 않는다.

저자는 문단을 그대로 옮겨 넣고, 주변 문장이 그럴듯하게 읽힌다는 이유로 인용을 신뢰하며, 출처가 실제로 존재하는지 확인하기 위해 원문을 열어 보지 않는다. 그다음에 벌어지는 일의 대부분은 시간 압박으로 설명된다. 참고문헌 목록은 보통 제출 직전에, 그것도 가장 마지막에 확인되는 항목이지 처음에 확인되는 항목이 아니며, 아흔 개의 실제 항목들 사이에 끼어 있는 조작된 항목은 각 각주보다 논지와 구조에 초점을 맞춘 검토에서는 쉽게 놓칠 수 있다. 완성된 참고문헌 목록을 제출 전에 an AI citation checker에 돌리면, 검토자가 브라우저에 DOI를 입력해 보기 전에 이런 항목들 중 상당수를 걸러낼 수 있다.

모델이 애초에 왜, 어떻게 그럴듯해 보이는 출처를 만들어 내는지는 별도의 문제이며, 그에 따른 작동 방식도 따로 있다. TextPulse의 ChatGPT가 참고문헌을 만들어 내는지에 대한 설명은 이 부분을 이 글보다 더 자세히 다룬다.

조작된 인용은 학문적 부정행위인가?

그렇다. 그리고 학술지는 이를 형식상의 문제로 취급하지 않는다. 연구 부정행위는 관례적으로 조작, 위조, 표절로 나뉘며, 존재하지 않는 출처에 대한 참고는 그중 첫 번째에 해당한다. 즉, 인용 자체가 만들어진 것이며, 그 존재는 텍스트에서 그 위에 놓인 논지를 실제로 뒷받침하는 증거가 무엇인지 왜곡한다. 따라서 조작된 인용은 누락된 쉼표나 일관성 없는 제목 형식과 같은 범주가 아니라, 만들어진 데이터와 같은 범주에 속한다.

Elsevier의 자체 정책은 AI의 도움을 받아 초안을 작성하는 사람에게 이 점을 분명히 밝힌다. 생성형 도구는 구조와 언어를 돕는 데는 사용할 수 있지만, 데이터나 참고문헌을 조작하거나 변경하는 것은 금지된 사용으로 명시되어 있으며, 변경된 것이 아니라 조작된 것으로 드러난 참고문헌을 위해 더 가벼운 범주를 따로 두지 않는다. Wiley, Springer Nature, Taylor and Francis도 각자의 저자 지침에서 같은 선을 긋고 있다. 심사자들은 이제 바로 이 점을 확인하며, 해결되지 않은 DOI는 대개 조작된 참고문헌을 드러내는 첫 번째 단서다.

심사자가 DOI를 확인할 수 없을 때는 어떻게 되는가?

이 기계적 점검은 1분도 걸리지 않을 만큼 간단하다. DOI를 doi.org에 붙여 넣고 어디로 연결되는지 확인하면 된다. DOI가 찾을 수 없는 페이지를 가리키거나, 인용된 논문과 전혀 다른 논문으로 연결된다면, 특히 그것이 AI 도구가 초안을 작성하는 데 관여한 참고문헌 목록 안에 있다면, 그 인용이 처음부터 실제로 존재하지 않았다는 강한 신호이다.

하나의 깨진 DOI만으로는 원고의 가능성이 곧바로 끝나지 않는다. 실제 식별자도 가끔 오기될 수 있기 때문이다. 대응이 달라지는 것은 규모와 양상이다. 깨진 참고문헌이 하나뿐이면 보통 저자에게 문의하여 수정된 DOI나 원문 출처를 요청한다. 같은 참고문헌 목록 안에 여러 개의 깨진 참고문헌이 있고, 특히 빠르게 작성된 문헌 검토 절에 몰려 있다면, 이는 통상적인 문의를 넘어 편집자가 그 밖의 조치를 결정하기 전에 수행하는 인용 무결성 점검으로 넘어간다.

편집자가 따르는 COPE 절차

COPE, the Committee on Publication Ethics는 편집자가 인용 문제를 단일한 고정 규칙이 아니라 구조화된 방식으로 판단하도록 한다. 인용 무결성에 관한 지침은 편집자가 다음 조치를 결정하기 전에 고려해야 할 네 가지 요소를 제시한다.

• 성격: 해당 참고문헌이 부분적으로는 진짜인지, 아니면 완전히 조작된 것인지
• 위치: 논문에서 어디에 있는지, 예를 들어 메타분석 안인지, 아니면 하나의 논의 문단 안인지
• 범주: 찾을 수 없는 참고문헌인지, 아니면 실제로는 말하지 않은 내용을 말한 것으로 인용된 진짜 참고문헌인지
• 규모: 영향을 받은 참고문헌이 하나나 둘인지, 아니면 전체 목록의 큰 비중인지

편집자가 이 네 가지 요소를 어떻게 평가하느냐에 따라 어떤 대응이 적절한지가 결정됩니다. 즉, 단순한 정정, 조사가 진행되는 동안의 공식적인 우려 표명, 또는 가장 심각한 양상일 경우 저자의 소속 기관에 직접 연락하는 것입니다. AI 도구가 책임을 질 수 없다고 COPE가 제시하는 논리는 저자성에 일반적으로 적용하는 논리와 같습니다. 제출된 원고에 대한 책임은 명시된 저자에게 있으며, 그 책임은 원고를 제출한 바로 그 순간 저자들이 받아들인 것입니다. 그 과정에서 문단 초안을 작성하는 데 도움을 준 어떤 도구가 아니라, 명시된 저자에게 책임이 있습니다.

"모델이 그것을 지어냈다"는 말은 조작된 참고문헌이 원고에 들어오게 된 경위를 설명할 뿐입니다. 그것은 변명이 되지 않습니다. 모든 출판사의 투고 절차는 교신저자가 원고가 정확함을 확인하고 그 내용에 대한 책임을 지도록 요구합니다. 바로 이 단계가 AI 도구의 오류를 저자 자신의 오류로 바꾸는 것입니다.

TextPulse의 AI 보조 학술 글쓰기의 윤리적 경계에 대한 안내 역시 같은 책임 원칙을 제시합니다. 즉, 공개와 검증은 검토자가 그 공백을 발견한 뒤가 아니라 제출 전에 이루어집니다.

정정에서 철회까지, 논문에는 실제로 어떤 일이 일어나는가

정정은 가장 가벼운 결과입니다. 출판사는 특정 참고문헌을 바로잡는 주석을 내고, 논문 자체는 그대로 유지되며, 출판 기록에는 무엇이 어떻게 바뀌었는지와 그 이유가 정확히 드러납니다. 보통 단일한 조작된 인용이 논문의 실제 결과에 영향을 주지 않는 부분에서 발견되고, 저자가 협조하여 실제 출처를 제공하거나 그 인용이 뒷받침하던 주장을 삭제할 때, 그것이 바로 그 경우입니다.

반대편 끝에는 철회가 있다. COPE의 철회에 관한 가장 초기 지침에는 위조와 변조도, 즉 조작된 참고문헌이 속하는 범주도, 논문을 철회하는 명백한 사유 중 하나로 제시되어 있으며, 표절과 신뢰할 수 없는 결과의 발견도 함께 포함된다. 이 과정은 조용히 사라지지 않는다. 철회된 논문은 여전히 보이며, 저널 자체와 다른 연구자들이 사용하는 색인에서는 철회됨으로 표시된다. 이것이 조작된 참고문헌이 매우 큰 비용을 초래하는 이유다. 정정은 영구적이고 공개적이며, 논문을 전혀 찾을 수 있는 한 저자의 이름에 붙어 남는다.

공개는 실질적인 방어 수단이며, 논문에서 AI 사용을 공개하는 방법은 별도로 제시되어 있고, 초안 작성 대신 수정하여 사용할 수 있는 공개 진술서 템플릿도 함께 제시되어 있다.

참고문헌 검토는 한때 검토자의 업무에서 가장 흥미롭지 않은 부분, 즉 본격적인 비평이 시작되기 전의 형식적 절차였다. 해결되지 않는 DOI는 그것을 정반대로 바꾸어 놓았다. 그것은 종종 원고가 나머지 부분보다 훨씬 더 면밀한 검토를 필요로 한다는 가장 빠르고 가장 분명한 신호가 된다.