더 강력한 연구 논문 작성을 위한 문헌 검토 체크리스트

온라인상의 대부분의 문헌 검토(literature review) 체크리스트는 실패할 수 없는 질문들로 구성되어 있습니다. 포괄적인가? 비판적인가? 흐름이 매끄러운가? 그 누구도 이러한 질문들을 읽고 무엇을 고쳐야 할지 알지 못합니다.

이를 위한 진짜 도구는 두 가지가 있으며, 둘 다 검증되었고 무료입니다. 어떤 도구를 적용할지는 작성 중인 리뷰의 유형에 따라 다릅니다. 이 페이지에서는 두 가지 도구 모두와 그 밑바탕이 되는 프로세스 점검 사항, 그리고 지도교수들이 가장 자주 지적하는 실패 사례를 알려드립니다.

<CTA title="나열하기만 하는 리뷰가 아닌, 논증하는 리뷰 작성하기" description="Jenni는 모든 출처를 추적할 수 있도록 문헌 검토의 개요 작성, 초안 작성 및 인용을 도와줍니다" buttonLabel="Jenni 무료로 체험하기" link="https://app.jenni.ai/register" />

먼저, 어떤 종류의 리뷰를 작성하고 계신가요?

이 질문이 다른 모든 것을 결정하며, 많은 학생들이 자신에게 맞지 않는 기준을 적용해 잘못된 방향으로 나아가는 원인이 됩니다.

PRISMA 성명은 그 적용 범위에 대해 명확히 규정하고 있습니다. 주로 건강 중재의 효과를 평가하는 연구의 체계적 문헌고찰을 위해 설계되었습니다. 학위 논문의 문헌 검토 장을 작성하는 경우라면 PRISMA는 적절한 도구가 아니며, 이를 적용하면 채울 수 없는 제목들만 가득한 장이 될 것입니다.

서사적 리뷰(Narrative Review)를 위한 체크리스트

서사적 리뷰 문헌 평가 척도인 SANRA(Scale for the Assessment of Narrative Review Articles)는 거의 아무도 언급하지 않는 도구입니다. 이 도구는 6개 항목으로 구성되어 있으며, 각 항목당 0점, 1점, 2점으로 채점하여 총 12점 만점입니다. 여러분의 초안을 솔직하게 평가해 보면 작업이 정확히 어느 단계에 있는지 알 수 있습니다.

1. 독자층에 대한 기사의 중요성 정당화. 리뷰가 왜 이 주제가 독자들에게 중요한지 설명하고 있나요, 아니면 중요성이 당연하다고 가정하고 있나요? 주제가 연구 부족이라는 한 문장짜리 주장은 정당화가 되지 못합니다.

2. 구체적인 목표 진술 또는 질문 수립. 분야를 조사하겠다는 모호한 의도가 아니라 명확한 목표나 질문이 있어야 합니다. 리뷰에 명시된 질문이 없다면 독자는 그것이 질문에 답했는지 알 수 없습니다.

3. 문헌 검색에 대한 설명. 어떤 데이터베이스, 어떤 검색어, 어떤 날짜 범위, 어떤 제한 조건을 사용했는지 기술해야 합니다. 이는 서사적 리뷰에서 가장 자주 실패하는 항목이자 가장 쉽게 해결할 수 있는 항목입니다. 어차피 수행하고 있던 작업을 기록하기만 하면 되기 때문입니다.

4. 참조(인용). 주장이 적절한 출처에 의해 뒷받침되고 있으며, 해당 출처들이 실제로 여러분이 주장하는 내용을 말하고 있나요? 이는 리뷰의 신뢰성이 조용히 무너지는 지점입니다. 독자가 인용구 두 개를 확인했다가 하나가 잘못 표현된 것을 발견하면 나머지 이백 개도 신뢰하지 않을 것이기 때문입니다.

5. 과학적 논증. 증거를 평가하고 있나요, 아니면 단순히 나열하고 있나요? 각 연구가 발견한 내용을 비교하거나 판정하지 않고 순서대로 보고하기만 하는 리뷰는 챕터 제목만 달아놓은 서지 목록(annotated bibliography)에 불과합니다.

6. 데이터의 적절한 제시. 수치, 효과 크기, 연구 특성이 논증에 도움이 되는 곳에 나타나 있습니까, 아니면 단순히 "여러 연구에서 나타났다"로 뭉뚱그려져 있습니까?

SANRA의 저자들도 밝힌 한 가지 솔직한 한계는 이 척도가 독창성 정도, 시의성, 이해 상충과 같은 편집 결정의 다른 요소들은 다룰 수 없다는 점입니다. 이는 보고의 품질을 측정할 뿐, 여러분의 리뷰가 작성할 가치가 있었는지를 측정하는 것은 아닙니다.

<ProTip title="⛳ 목표 설정:" description="지도교수에게 보내기 전에 6가지 항목을 기준으로 초안을 직접 채점해 보세요. 0점을 받은 항목은 챕터가 약하다는 모호한 느낌을 주는 대신, 구체적이고 수정 가능한 단락이 됩니다" />

<ProTip title="🏁 시작하기 전에:" description="첫째 주에 서사적 리뷰로 갈지 체계적 리뷰로 갈지 결정하고 기록해 두세요. 중간에 바꾸면 구축해 놓은 검색 프로토콜을 버리거나, 애초에 고려되지 않은 장에 억지로 끼워 맞춰야 합니다" />

체계적 문헌고찰에 필요한 추가 항목들

체계적 문헌고찰을 진행하는 경우, PRISMA 2020은 SANRA를 보완하는 것이 아니라 대체합니다. 27개 항목의 체크리스트는 제목, 초록, 서론, 방법, 결과, 고찰, 기타 정보 등 7개 섹션에 걸쳐 있습니다.

방법 블록은 실제 작업이 이루어지는 곳이며, 시작하기 전에 요구 사항이 무엇인지 알아두는 것이 좋습니다: 선정 기준, 정보 출처, 전체 검색 전략, 선택 프로세스, 데이터 수집 프로세스, 데이터 항목, 편향 위험 평가, 효과 측정, 합성 방법, 보고 편향 평가, 확실성 평가. 각각은 작업하면서 결정하고 기록해야 하는 사항들입니다. 6개월 후에 이 중 하나라도 복원하는 것은 거의 불가능에 가깝습니다.

등록(Registration)은 사람들이 너무 늦게 발견하는 또 다른 항목입니다. 체계적 문헌고찰은 시작하기 전에 등록해야 하며, 등록되지 않은 리뷰는 그 이유를 설명해야 합니다.

단계별 프로세스 점검

두 도구 모두 완성된 문서를 평가합니다. 다음 점검 사항들은 애초에 나쁜 문서가 만들어지는 것을 방지해 줍니다.

• 범위 설정 (Scope it). 질문, 경계, 의도적으로 제외할 대상을 명시하세요. 제외 대상은 포함 대상만큼이나 중요하며, 이를 명시하는 것이 경계가 확실한 리뷰와 불완전한 리뷰를 구분 짓는 기준이 됩니다.

• 검색 (Search it). 진행하면서 데이터베이스, 검색어, 날짜, 필터를 기록해 두세요. 검색 로그를 작성하는 데는 세션당 5분밖에 걸리지 않으며, 학술 글쓰기에서 가장 고통스러운 재구성 작업을 방지해 줍니다.

• 선별 (Screen it). 기준을 적용하고 각 단계에서 무엇이 왜 탈락했는지 기록해 두세요. 서사적 리뷰라 할지라도 얼마나 많은 자료를 선별했는지 말할 수 있는 것은 성실함의 척도입니다.

• 종합 (Synthesize it). 논문을 하나씩 훑어보는 대신 주제, 방법 또는 결과별로 그룹화하세요. 소제목이 저자 이름으로 되어 있다면 아무것도 종합하지 못한 것입니다.

• 위치 설정 (Position it). 본인의 연구가 차지하는 공백(gap)을 명시하고, 그것이 방금 제시한 증거로부터 실제로 도출되는지 확인하세요. 증명되지 않은 채 마지막 단락에 갑자기 나타나는 공백은 학위 논문 장에서 가장 흔히 나타나는 구조적 실패입니다.

<ProTip title="📎 로그 기록하기:" description="첫날 스프레드시트를 열고 데이터베이스, 검색어, 검색 실행일, 결과 수에 대한 열을 만드세요. 세션당 몇 분밖에 걸리지 않으며, 검색 설명 항목을 정직하게 작성할 수 있는 유일한 방법입니다" />

지도교수들이 가장 많이 지적하는 실패 사례

대부분의 지적 사항은 다음 다섯 가지 패턴에 해당하며, 다섯 가지 모두 목차에서부터 눈에 띕니다.

검색 프로세스 미기재. 독자는 당신이 중요한 연구를 찾아낸 것인지, 아니면 단순히 처음 검색된 20개의 결과를 가져온 것인지 알 수 없습니다.

논쟁 없는 증거 제시. 모든 연구가 일치하는 결과를 보인다고 기술되어 있습니다. 이는 실제 학계에서는 거의 일어나지 않는 일입니다. 모순된 결과는 존재하기 마련이며, 이를 생략한 리뷰는 불완전하거나 선택적으로 보입니다.

갑자기 튀어나오는 연구의 공백. 마지막 단락에서 앞선 30페이지 동안 한 번도 증명하지 못한 연구의 공백을 갑자기 발표합니다.

주장과 일치하지 않는 출처. 1차 연구가 아닌 2차 리뷰 논문을 인용하는 과정에서 흔히 발생하는 실수이지만, 부주의함으로 읽힐 수 있습니다. 각 출처가 신뢰할 수 있고 정확하게 표현되었는지 확인하는 것이 마지막 단계에서 꼭 거쳐야 할 검토 과정입니다.

Jenni로 리뷰 초안을 작성하고 확인하는 방법

단계 1. 문서 설정. 프롬프트에 주제, 범위, 날짜 범위를 지정하세요. 범위가 없는 리뷰 프롬프트는 겉도는 초안을 만들어 냅니다.

단계 2. 인용 스타일 선택. 초안 작성을 시작하기 전에 학과에서 요구하는 스타일과 참조할 출처 수를 설정하세요. 그래야 나중에 인용구를 끼워 맞추지 않고 작성하면서 자연스럽게 적용할 수 있습니다.

단계 3. 제목(헤더) 생성. 개요를 먼저 작성하고 제목을 주제별로 구성하세요. 이것이 해당 장이 종합을 할지, 요약을 할지를 결정하는 단 하나의 결정이며, 초안을 수정하는 것보다 개요에서 수정하는 것이 훨씬 수월합니다.

단계 4. 자체 출처 가져오기. DOI, PMID, ISBN으로 논문을 추가하거나 Zotero, Mendeley, BibTeX, RIS에서 기존 라이브러리를 가져와 시작부터 참고 문헌 세부 정보를 정확하게 입력하세요.

단계 5. 리뷰 검토 실행. '신뢰도 확인(Claim Confidence)' 기능은 근거보다 강한 주장을 표시해 주는데, 문헌 검토에서는 보통 하나의 작은 연구 결과에 기댄 광범위한 주장이 이에 해당합니다. '출처 품질(Source Quality)' 기능은 논문 철회나 프리프린트(preprint)와 같은 인용 위험을 표시해 줍니다. 그런 다음 6가지 SANRA 항목을 직접 확인해 보세요.

<ProTip title="🔦 찾아볼 단어:" description="초안에서 '연구들에 따르면'이라는 표현을 검색해 보세요. 이 표현이 쓰인 모든 곳은 여러분이 여러 연구의 수, 방향성, 품질을 단 세 단어 뒤로 숨겨버린 지점입니다" />

리뷰 유형에 맞는 도구를 사용하세요

일반적인 체크리스트가 무용지물처럼 느껴지는 이유는 서로 다른 성격의 두 문서를 동시에 만족시키려 하기 때문입니다. 서사적 리뷰와 체계적 리뷰는 충족해야 할 의무가 다릅니다. 작성하려는 리뷰 유형을 명확히 안다면, 기준 도구는 짐작하게 만드는 대신 무엇이 빠졌는지 정확하게 알려줄 것입니다.

<CTA title="쌓여 있는 논문 더미를 논증으로 바꾸기" description="주제별로 개요를 잡고, 섹션별로 초안을 작성하며, 모든 주장을 출처와 연계하여 유지하세요" buttonLabel="Jenni 무료로 체험하기" link="https://app.jenni.ai/register" />

오늘 여러분의 현재 초안을 12점 만점으로 채점해 보세요. 그런 다음 새로운 내용을 쓰기 전에 가장 점수가 낮은 항목부터 해결하고 검색 로그를 계속 기록해 나가세요. 이와 동일한 규율이 방법론 섹션부터 각 부분들이 유기적으로 결합하는 방식에 이르기까지 문서의 다른 모든 부분으로 이어질 것입니다.