환각된 인용문헌: 제출 전에 논문을 점검하라

2023년 6월, 뉴욕의 한 연방 판사는 존재하지 않는 최소 6개의 법원 사건에 근거한 서면을 제출한 두 명의 변호사에게 제재를 가했다. Steven Schwartz는 ChatGPT에 지지 판례를 요청했고, 모두 그럴듯하게 들리는 사건명과 인용된 논리를 받았으며, 자신은 단 한 건의 사건도 직접 열어보지 않은 채 그 서면을 제출했다. P. Kevin Castel 판사는 그에게 5천 달러의 벌금을 부과하고, 조작된 의견에 이름이 붙은 모든 실제 판사에게 편지를 보내라고 명령했다.

참고문헌 목록도 같은 상황에 놓일 수 있다. 해결책은 편집자, 지도교수 또는 심사자가 대신 하기 전에, 자신의 참고문헌 목록에 대해 환각 인용 감사를 수행하는 것이다. 이것은 단지 챗봇으로 초안을 작성할 때 생기는 문제만이 아니다. 실제로는 존재하지 않았던 기억 속 인용, 공동저자의 제목을 약간 잘못 옮긴 경우, 또는 승인 후 최종 인용이 바뀐 preprint도 모두 조작된 인용과 같은 종류의 공백을 참고문헌 목록에 남길 수 있다. 아래의 감사는 개별 항목이 어떻게 들어왔는지와 무관하게 이 모든 경우를 찾아낸다.

환각 인용은 실제로 얼마나 흔한가?

그 범위는 초안을 생성한 모델에 크게 좌우된다. Walters and Wilder는 2023년 Scientific Reports에 발표한 연구에서 GPT-3.5와 GPT-4가 생성한 참고문헌 목록을 실제 학술 글쓰기 프롬프트와 대조하여 검토했다. 이는 AI가 생성한 84개의 참고문헌 목록에서 추출한 636개의 인용으로, 각 모델당 42개였다. GPT-3.5의 인용 중 55퍼센트는 완전히 조작된 것이었고, GPT-4는 18퍼센트였다. 실제 인용이라고 해서 반드시 정확한 것도 아니었다. GPT-3.5의 실제 인용 중 43퍼센트, GPT-4의 실제 인용 중 24퍼센트는 저자, 제목, 연도 또는 게재지 중 어딘가에 여전히 실질적인 오류를 포함하고 있었다.

AI 생성 인용에 관한 법률 연구는 훨씬 더 높은 실패율을 보여 주지만, 그 연구는 다른 실패, 즉 조작된 판례 내용을 측정하며, 서지 참고문헌의 조작이 아니라는 점에서 이 수치를 학술적 맥락에 그대로 가져올 수는 없다. 두 분야가 공유하는 것은 근본 원인이다. 그럴듯하게 들리는 인용을 생성하는 모델은 실제로 그 인용이 존재하는지보다, 인용이 보통 어떻게 보이는지를 최적화하고 있다. TextPulse의 ChatGPT가 참고문헌을 만들어 내는지 여부에 관한 자체 글은 바로 그 챗봇을 구체적으로 다루지만, 이 검토는 어떤 도구가, 또는 어떤 공동 저자의 기억이, 눈앞의 항목을 만들어 냈는지와 무관하게 적용된다.

2026년 문헌 규모 검토에서 밝혀진 것

이러한 모델 수준의 비율은 챗봇에서 무엇이 나오는지를 설명한다. 별도의 질문, 그리고 저널에 투고하는 사람에게 중요한 질문은, 초안과 출판된 논문 사이의 모든 검사를 거치는 동안 조작된 참고문헌이 얼마나 자주 살아남는가이다. 2026년 5월 서로 하루 차이로 공개된 두 건의 검토는 문헌 규모에서 이 질문에 답했으며, 그 답은 실패가 더 이상 드물지 않다는 것이다.

The Lancet에 게재된 한 검토는 PubMed Central Open Access의 약 250만 편 생의학 논문 전반에서 참고문헌을 조사했으며, 2023년 1월부터 2026년 2월까지를 포괄했다. 수천 건의 참고문헌이 존재하지 않는 연구를 가리켰고, 이는 2,800편이 넘는 출판 논문에 걸쳐 분포했다. 총량보다 추세가 더 중요하다.

기간	조작된 참고문헌이 적어도 하나 있는 논문	논문 10,000편당
2023	2,828편 중 1편	3.5
2025	458편 중 1편	21.8
2026년, 첫 7주	277편 중 1편	36.1

이는 3년 동안 대략 10배의 증가에 해당하며, 2026년 수치는 1년 전체가 아니라 7주를 기준으로 한 것이므로, 이는 확정된 연간 비율이라기보다 초기 관찰치이다. 이것이 보여 주는 바는, 조작된 참고문헌이 저자, 공동저자, 편집자, 심사자를 거쳐 최종적으로 출판물에 실리고 있다는 점이다.

보완 연구인 존재하지 않는 인용에 관한 Zhao와 동료들의 연구는 arXiv, bioRxiv, SSRN, PubMed Central 전반의 1억 1100만 개 참고문헌으로 범위를 넓혀, 2025년 한 해에만 최소 146,932개의 환각된 인용이 있었음을 보수적으로 추정했다. 이 연구의 더 유용한 발견은 규모보다 분포에 관한 것이다. 조작된 참고문헌은 AI 도입이 빠른 분야와 소규모 및 초기 경력 저자 집단에 집중되어 있다. 만약 귀하가 단독 저자이거나, 참고문헌을 점검해 주는 연구실이 없는 소규모 집단이라면, 이런 오류가 가장 자주 발생하는 집단에 속하는 것이므로, 누군가가 이후 단계에서 처리해 줄 것이라고 가정하기보다 직접 점검을 수행해야 한다는 근거가 된다.

어떤 모델이 가장 많이 조작하며, 실제로 무엇이 이를 줄이는가

솔직히 말하면, 오늘날의 주요 모델들을 인용 조작이라는 특정 기준으로 서로 비교해 엄밀하게 순위를 매긴 공개 벤치마크는 없다. 소규모 비공식 비교는 유통되지만, 대개 몇십 개의 참고문헌을 두세 개의 챗봇에 수작업으로 돌려 본 수준이며, 표본이 너무 적어 모델 간 순위를 뒷받침할 수 없다. 그런 자료 중 하나를 순위표처럼 취급하는 것이야말로 자신감은 있지만 틀린 주장이 논문에 들어가는 방식이다.

실제로 타당한 것은 위의 Walters and Wilder 데이터에 나타난 세대 간 비교이며, 여기서 더 새로운 모델은 더 오래된 모델보다 대략 3분의 1 정도의 빈도로 조작을 저질렀다.

시험한 모델	완전히 조작된 인용	실질적 오류를 여전히 포함한 실제 인용
GPT-3.5	55%	43%
GPT-4	18%	24%

문헌 전반에 걸쳐 세 가지 패턴이 반복되며, 이는 어떤 단일 순위보다도 더 중요하다. 더 큰 모델은 더 작은 모델보다 허위 생성이 적다. 실제로 출처를 검색하고 검색된 자료를 가져올 수 있는 모델은, 매개변수만으로 답하는 모델보다 허위 생성이 현저히 적으며, 이는 지금까지 측정된 효과 중 가장 큰 단일 효과이다. 또한 잘 알려지지 않은 출처는 널리 알려진 출처보다 훨씬 더 위험한데, 인용이 많이 된 논문은 학습 데이터에 충분히 자주 등장하여 올바르게 재현될 수 있는 반면, 틈새 자료는 단편들로부터 재구성될 가능성이 더 높기 때문이다.

실무적으로는 어떤 모델도 점검을 생략할 만큼 충분히 안전하지 않으며, 가장 잘못될 가능성이 큰 항목은 바로 기억만으로는 검증하기 가장 어려운 것들, 즉 전문 분야의 인용, 잘 알려지지 않은 학회 논문, 마지막에 추가한 출처이다.

자동 점검이 포착하는 것과 그 한계

목록을 먼저 검사기에 통과시키는 것은 40개의 DOI를 수작업으로 확인하는 것보다 빠르며, 이 사이트의 무료 AI 인용 검사기는 Crossref, OpenAlex, Semantic Scholar를 대상으로 정확히 그 작업을 수행한다. 다만 그러한 도구가 무엇을 잘못하는지 알고 나서 의존하는 것이 중요하다.

2026년에 수행된 다섯 가지 환각 인용 탐지기의 평가에서, Badalova and Mayr는 이들이 유용한 초기 경고를 제공하지만 네 가지 요인에 의해 제약된다고 밝혔다. 문서에서 참고문헌을 깔끔하게 추출하는 문제, 항목 자체에 포함된 불완전한 메타데이터, 불균등한 데이터베이스 범위, 그리고 서로 일치하지 않는 등록 체계가 그것이다. 이들 중 첫 번째만이 PDF를 업로드하는 대신 목록을 붙여 넣을 때 사라진다.

자신의 감사에서의 결과는 해석에 관한 규칙이다. 검사기는 가장 중요한 발견, 즉 항목이 주장하는 것과는 다른 논문으로 해석되는 DOI를 찾아내는 데 가장 강력하며, 이는 거의 결정적이다. 반면 책, 장, 학위논문, 회의록, 매우 최근의 연구, 비영어권 출판물에는 가장 약한데, 이들 모두는 어디서나 색인이 매우 빈약하고, 실제로는 완전히 진짜임에도 흔히 찾지 못한 것으로 돌아온다. 찾지 못한 것은 수동으로 확인하라는 신호이지, 결론이 아니다. 아래의 수동 단계는 자동 점검으로는 결론을 내릴 수 없었던 모든 항목에 적용하는 것이다.

제출하기 전에 모든 DOI를 해결하라

DOI, 즉 Digital Object Identifier는 doi.org 해결기를 통해 정확히 하나의 기록으로 해결되어야 한다. 참고문헌 목록의 DOI를 해결기에 입력하면, 작동하는 DOI는 해당 논문의 출판사 페이지로 연결된다. 전혀 관련 없는 논문, 완전히 다른 저널, 또는 아무것도 가리키지 않는 DOI는 이용 가능한 환각 점검 중 가장 빠른 것 가운데 하나인데, 이는 인용을 만들어내는 모델이 대개 실제 DOI를 재사용하기보다 그럴듯해 보이는 DOI 문자열을 함께 만들어내기 때문이다.

올바르게 해결되는 DOI가 곧바로 그 인용이 진짜라는 자동 증거는 아니다. 조작된 참고문헌 중 일부는 관련 없는 논문의 실제 DOI를 빌려오며, 이는 오류 없이 해결되고, 주장과는 아무 관련이 없는 실제 논문을 가리킨다. DOI가 도착한 페이지를 읽어야 하며, 단지 페이지가 열렸다는 사실만 보아서는 안 된다.

모든 제목을 실제 데이터베이스와 대조하라

정확한 제목을 따옴표 안에 넣어, 열린 웹이 아니라 해당 분야를 포괄하는 데이터베이스에서 검색하십시오. Crossref, 생의학 분야라면 PubMed, 또는 자신의 학문 분야에 맞는 색인을 사용할 수 있습니다. Crossref를 사용하는 경우, 무료 게스트 검색을 이용해 제목과 제1저자로 참고문헌을 조회하거나, 제목이 확실하지 않다면 저자와 페이지 번호로 조회할 수 있습니다. 그러면 그들이 보유한 항목에 대해 DOI와 전체 메타데이터가 반환됩니다. 일치하는 항목이 없거나, 반환된 것이 전혀 다른 저자 집합을 가진 실제 논문이라면, 두 번째 유형의 환각, 즉 깨진 DOI를 보고 있을 수 있습니다.

제목 검색은 DOI 확인으로는 잡히지 않는 특정한 오류를 포착합니다. 즉, 번호와 텍스트가 따로 조립되어 서로에 대해 실제로 검증되지 않은 채, 작동하는 실제 DOI가 잘못된 제목에 붙은 인용입니다. 데이터베이스의 제목이 참고문헌 목록의 제목과 충분히 가깝게 일치하지 않으면, 그것을 조용히 고쳐야 할 오타가 아니라, 불일치를 설명할 수 있을 때까지는 조작된 것으로 간주하십시오.

저자 목록과 출판 연도를 대조하십시오

환각된 인용은 종종 저자는 맞고 논문은 틀리게 제시됩니다. 그 이유는, 그 분야에서 실제로 잘 알려진 이름이야말로 그럴듯한 인용을 만들어내려는 모델이 선택할 가능성이 가장 높은 것이기 때문입니다. 이미 열어 둔 데이터베이스에서 저자의 출판 목록을 찾아, 참고문헌 목록이 주장하는 연도를 확인하십시오. 그 저자가 그 해에 세 편의 논문을 발표했고 그중 어느 것도 제목과 일치하지 않는다면, 그 인용은 매우 높은 확률로 조작된 것이며, 실제 이름과 실제 연도가 결코 함께 쓰인 적이 없음에도 함께 조합된 것입니다.

반대의 패턴도 나타납니다. 제목은 정확하지만 연도가 잘못된 실제 논문입니다. 보통 최종 출판 연도 대신 프리프린트의 연도이거나, 학회 버전을 저널의 더 늦은 출판 연도로 인용한 경우입니다. 엄밀한 감사의 의미에서 이것들은 모두 조작은 아니지만, 둘 다 독자를 인용 관리 도구나 공동 저자에게 보내어 결국 인용한 대상을 찾지 못하게 만든다는 점에서, 같은 문제에 충분히 가까우므로 같은 과정에서 함께 수정해야 합니다.

그럴듯하지만 조작된 저널 이름을 식별하십시오

가공된 학술지명은 실제 학술지명처럼 정확히 들리도록 만들어진다. 그럴듯한 분야, 그럴듯한 형용사, 그리고 아무도 확인을 멈추지 않을 만큼 실제 학술지에 가까운 이름이 결합된다. "The Journal of Applied Cognitive Studies"는 가공된 이름이고, "The Journal of Applied Psychology"와 "Journal of Cognitive Science"는 모두 실제로 존재하며, 이 둘의 요소를 붙여 만든 이름은 바로 그 이유 때문에 익숙하게 읽힌다.

학술지명을 따옴표로 묶어 단독으로 검색하고, 같은 참고문헌을 인용한 다른 사이트의 결과만 보지 말고, 발행사의 자체 학술지 페이지와 현재 ISSN을 확인한다. 실제 학술지는 편집자, 현재 권호, 그리고 정식으로 등록된 ISSN을 제시하는 홈페이지를 가진다. 발행사 페이지도 없고, ISSN도 없고, 그 학술지에서 나온 글을 인용한 다른 논문도 없는 이름은, 전체 점검에서 그 참고문헌이 존재하지 않음을 보여 주는 가장 분명한 신호이다.

환각된 인용 점검을 반복 가능한 체크리스트로 바꾸기

목록이 최종본으로 간주되기 전에, 모든 참고문헌에 대해 다음 점검을 순서대로 수행한다. 순서는 네 가지를 모두 확인하는 것보다 덜 중요하다. 하나의 인용은 한 점검을 통과하더라도 다른 점검에서는 실패할 수 있다.

점검	무엇을 찾아내는가
DOI 확인	어디로도 연결되지 않거나 관련 없는 논문으로 연결되는 DOI
제목과 데이터베이스 일치 확인	잘못된 제목에 붙은 실제 DOI, 또는 아예 결과가 나오지 않는 제목
저자와 연도 교차 확인	그 해에 그 저자가 쓰지 않은 논문에 붙은 실제 저자명
학술지명 검증	그럴듯하게 들리지만 ISSN도 없고, 발행사 페이지도 없고, 실제로 존재하지도 않는 학술지

TextPulse의 AI 인용 검사기는 이 검사를 전체 참고문헌 목록에 걸쳐 자동으로 실행하며, 긴 참고문헌 목록에서 네 가지 검사를 하나씩 수작업으로 처리하는 것보다 더 빠르다. 다만 표시된 항목을 읽어 보는 일은 여전히 직접 하는 편이 좋으며, 표시를 그대로 믿고 수락하거나 거부해서는 안 된다. 특히 DOI 단계에서는 전용 DOI에서 인용으로 조회 기능이 각 항목을 하나씩 resolver로 확인하러 가는 수고를 덜어 준다.

정돈된 참고문헌 목록은 원고를 제출하기 전에 거치는 여러 검사 중 하나이다. 학술지 제출을 위한 AI 점수 낮추기는 별도로 다루며, 그 뒤에 이어지는 심사자에게 보내는 답변서도 마찬가지이다.

이 모든 것은 제출하기 전에 자신의 논문을 한 번 더 읽는 일을 대체하지 않는다. 사실 확인이 끝난 뒤에도 어떤 부분이 여전히 지나치게 일반적으로 읽힌다면, AI humanizer가 인용 하나도 건드리지 않고 문장을 다듬어 줄 수 있다. TextPulse의 학술 글쓰기에서 AI 텍스트를 인간화하는 방법에 대한 가이드는 그 과정을 섹션별로 다룬다. 깔끔하게 해석되는 참고문헌 목록과 자신의 목소리로 읽히는 원고는 서로 다른 두 가지 검사이며, 하나가 다른 하나를 대신한다고 믿기보다 연달아 실행할 가치가 있다.