문헌 검토를 거꾸로 쓰기: 주장 먼저, 출처는 나중

저장된 PDF가 60개인데 그것들이 합쳐서 무엇을 의미하는지 전혀 알 수 없는 상태는 문헌 검토에서 가장 흔한 실패 양상이며, 이는 단계를 잘못된 순서로 수행하기 때문에 생긴다. 일반적인 조언, 즉 넓게 검색하고, 관련 있는 것은 모두 저장한 뒤, 그다음에 공통된 흐름을 찾으라는 방식은 출처 찾기를 우선 데이터 수집으로, 그다음 논증 구성으로 다룬다. 순서를 거꾸로 하면 검색은 더 정밀해진다. 먼저 주장을 제시하고, 그다음에는 그것을 확인하거나 무너뜨릴 수 있는 것만 검색한다.

문헌 검토를 위한 출처를 찾는 방법은 보통 탐색 문제로 가르쳐진다. 좋은 데이터베이스를 고르고, 좋은 키워드를 고르고, 관련 있어 보이는 것을 저장하라는 것이다. 그러나 이것은 표적 설정 문제로 보는 편이 더 낫다. 일단 주장이 존재하면, 어떤 출처가 검토에서 자리를 얻는 기준은 두 가지 역할 중 하나를 수행하는가에 달려 있다. 그 주장을 뒷받침하거나, 아니면 그 주장을 복잡하게 만드는가이다. 이 둘 중 어느 것도 하지 않는 것은 논증의 근거가 아니다. 그것은 단지 주제가 우연히 같은 논문일 뿐이다.

이 논의는 주장이 이미 대략적인 형태로 존재한다고, 즉 앞선 과정에서 작업용 논지나 가설 쌍의 대안 가설 절반이 이미 정해졌다고 가정한다. 그 결정이 아직 열려 있다면, 아래의 검색을 실행하기 전에 더 자세한 연구 논문 계획 방법 안내로 돌아가야 한다.

문헌 검토를 위한 출처를 거꾸로 찾는 방법

실제로 뒷받침하거나 복잡하게 만들어야 하는 주장, 즉 가설이나 논지에서 얻은 그 주장에서 시작하라. '하루 동안의 소셜 미디어 사용이 많을수록 대학생의 주의 지속 시간은 더 짧다'는 검색 가능하다. '소셜 미디어와 주의'는 그렇지 않다. 왜냐하면 그것은 그 특정 주장에 직접 관련된 몇 개의 출처가 아니라 해당 분야의 모든 것을 반환하기 때문이다.

그 주장에 대해서는 세 가지 유형의 출처가 실제로 역할을 하며, 주장을 먼저 세우는 검색은 일반 주제에 대해 출판된 모든 것을 반환하는 대신 바로 이 세 가지를 정확히 겨냥한다.

• 같은 관계를 발견한 것, 이는 주장을 직접적으로 뒷받침한다
• 관계를 발견하지 못했거나, 반대의 관계를 발견한 것, 이는 주장이 무시하기보다 다루어야 하는 것이다
• 두 변수 사이를 연결하는 그럴듯한 메커니즘을 설명하는 것, 이는 상관관계를 후보 설명으로 바꾼다

출처의 참고문헌 목록을 따라 뒤로 연결하기

이미 해당 주장과 관련이 있는 강한 출처 하나를 찾고, 가능하면 최근 논문이나 리뷰 논문을 선택한 뒤, 그 참고문헌 목록을 연다. 그 출처가 인용한 모든 자료 가운데 같은 관계, 즉 소셜 미디어 사용과 주의력을 다루는 자료는 후보가 된다. 이는 잘 인용된 최근 논문이 이미 검색의 한 버전을 수행했으며, 그 참고문헌 목록은 원시 데이터베이스 덤프가 아니라 선별된 집합이기 때문이다.

가장 강한 새 출처들에서 이 과정을 한두 번 더 반복하면, 동일한 몇 편의 기초 논문이 여러 참고문헌 목록에 걸쳐 반복해서 나타나기 시작하는 경우가 많다. 그 반복은 실제 신호이다. 이미 이 주장에 대해 작업하고 있는 거의 모든 사람이 인용하는 출처라면, 당신의 검토자도 그것을 보게 될 것으로 기대할 것이다. 한계는 연대이다. 참고문헌 목록은 시간상 뒤로만 가리키므로, 이 방식만으로는 시작 논문 이후에 출판된 것은 놓치게 된다.

인용 논문을 따라 앞으로 연결하기

앞으로 연결하기는 뒤로 연결하기가 놓치는 것을 정확히 보완한다. 다시 그 기초 논문을 생각하되, 이번에는 데이터베이스의 cited-by 기능을 사용하여 그것을 인용한 모든 자료를 살펴보라. Google Scholar, Scopus, Web of Science 모두 이 기능을 제공한다. 그러면 같은 관계를 다른 집단이나 방법으로 재검증한 논문들을 찾게 될 것이며, 바로 그런 종류의 자료가 주장 우선 검색이 찾아내도록 설계된 것이다.

사회적 미디어와 주의력 주장에 대해 이를 적용해 보면, 전방 추적은 종종 복잡한 근거가 실제로 드러나는 지점이다. 예를 들어, 2024년 재현 연구가 화면 시간을 자기보고가 아니라 객관적으로 측정했을 때는 유의한 효과가 없다고 밝혔더라도, 5년 전의 기초 논문에서 후방 추적을 하면 그것은 결코 드러나지 않는다. 더 최근 논문은 더 오래된 논문의 참고문헌 목록이 작성될 당시에는 아직 존재하지 않았기 때문이다.

주장을 겨냥하는 검색 문자열 만들기

주장 우선 검색 문자열은 주장의 구성 요소, 그리고 그 분야의 연구자들이 실제로 사용하는 용어에서 직접 나온다. 사회적 미디어와 주의력 주장에서는 'social media use', 'attention', 그리고 'university students' 또는 'undergraduates'를 추출한 뒤, 이를 AND로 결합하고, 각 항목을 OR로 확장하여 서로 다른 저자들이 같은 변수를 어떻게 표현하는지 포착해야 한다. 이미 이 주장에 대해 신뢰하는 자료 두세 개의 키워드 목록을 확인하라. 해당 분야의 연구자들은 데이터베이스가 색인하는 용어를 이미 정해 두었을 것이며, 이는 스스로 동의어를 추측하는 것보다 더 신뢰할 수 있다.

변수	검색어 (OR)
노출	"social media" OR "social networking site*"
결과	attention OR "attention span" OR "sustained attention"
대상 집단	"university student*" OR undergraduate*

다음 단계는 이 세 행을 논리 연산자 AND로 결합하는 것이며, 그러면 다음과 같은 완전한 문장이 된다: ("social media" OR "social networking site*") AND (attention OR "attention span" OR "sustained attention") AND ("university student*" OR undergraduate*). 단어 끝의 별표는 그 단어를 잘라내는 역할을 하며, 이는 우리의 검색이 그 단어의 서로 다른 어미를 포착한다는 뜻이다, 즉 student와 students와 studentship을 한꺼번에 찾는다. 대부분의 학술 데이터베이스에서는 이 Boolean 검색 구문이 데이터베이스 자체에서 직접 지원된다. 그러나 일반 검색 엔진은 대체로 그렇지 않다. 이것이 바로 이 특정 과제에서 전용 데이터베이스 검색이 광범위한 웹 검색보다 우수한 또 하나의 이유이다.

무료 citation finder는 동일한 표적 검색을 자동으로 수행하며, 사람이 직접 만든 Boolean 문자열을 요구하는 대신 주장 자체를 입력으로 받아, 생성된 읽기 목록이 아니라 실제로 확인 가능한 출처를 반환한다.

검색을 멈춰야 할 때

새로운 검색이 대부분 이미 찾은 출처만 반환할 때 멈추어야 한다. 이것은 생산성 요령이 아니다. 역방향 추적, 순방향 추적, 그리고 적절하게 구성된 검색 문자열이 모두 동일한 핵심 출처 10개에서 20개 정도를 계속 드러낸다면, 그때는 해당 주장에 대한 증거 기반을 이미 파악한 것이다. 그 이후의 추가 검색은 새로운 신호보다 잡음만 더하는 경우가 대부분이다.

두 번째 신호는 양보다 더 중요하다. 주장에 대한 모든 주요 입장, 즉 지지, 효과 없음, 그리고 그럴듯한 대안적 설명이 각각 적어도 하나의 출처를 갖고 있어야 한다. 12개의 출처를 인용하지만 세 가지 입장을 모두 다루는 검토는, 40개의 출처를 인용하지만 작성자가 이미 믿고 있던 입장만 다루는 검토보다 더 강하다. 참고문헌 목록이 동료의 것보다 짧아 보인다고 검토자가 물을 때, 이것은 기억해 둘 만한 점이다.

출처가 그 기준을 통과하면, 나중에 PDF 더미로 되돌아가기보다 즉시 형식을 갖추어 정리해야 한다. citation generator는 논문이 요구하는 어떤 스타일이든, 출처와 그것이 뒷받침하는 주장이 아직 눈앞에 있는 동안, 기록을 적절한 형식의 참고문헌으로 바꿔 준다.

무엇을 찾고 있는지는 질문 자체에 의해 정해지며, 연구 질문을 작성하는 방법은 선택할 만한 연구 질문의 유형과 함께 별도로 다루어진다.

이런 방식으로 구성된 문헌 검토는 주제에서 찾을 수 있는 모든 것을 요약하는 대신 어떤 주장을 제시하며, 이것이 바로 출처 목록과 검토의 실제 차이다. 출처가 수집되고 검토 초안이 작성된 뒤에는, 학술 글쓰기를 위해 만들어진 AI humanizer가 두 번째 검토가 필요한 문장들에 대해 알아둘 만하다.