시맨틱 스칼라(Semantic Scholar) 리뷰: 구글 스칼라보다 더 나은 논문을 찾아줄까?

CRISPR 초안에서 가져온 한 문장을 전체로 입력했을 때, Semantic Scholar의 검색창이 제공하는 238,539,980편의 논문 중 일치하는 것이 0개였습니다. 반면 Google Scholar에 동일한 문장을 입력하자 2021년 NEJM 임상 시험 보고서가 1위로 나타났습니다.

검색어를 'CRISPR transthyretin amyloidosis'라는 키워드로 축소하자 Semantic Scholar에서도 해당 임상 시험이 맨 위에 표시되었으며, 해당 임상 시험 페이지에서는 배경, 방법 및 결과 인용이 별도로 집계되었습니다. 이 테스트에서 Semantic Scholar는 키워드 검색과 출처가 어떻게 읽혔는지 확인하는 데는 유용했지만, 주장을 입력하고 그 출처를 묻는 방식에는 적절하지 않은 결과를 보였습니다.

<CTA title="초안을 작성하며 동시에 논문 검색하기" description="문서 내부에서 논문을 검색하고, 클릭 한 번으로 본문 내 인용구와 참고 문헌을 동시에 등록하세요." buttonLabel="Jenni 무료로 시작하기" link="https://app.jenni.ai/register" />

TLDR (요약)

Semantic Scholar가 논문 검색에서 Google Scholar보다 더 나을까요?

이번 테스트에서는 그렇지 않았습니다. 대상 논문은 New England Journal of Medicine에 게재된 Gillmore 등의 최초 인체 대상 NTLA-2001 임상 시험에 대한 2021년 보고서였으며, 동일한 네 가지 검색을 두 엔진에 모두 수행하고 관련성 순으로 결과를 정렬했습니다.

• 임상 시험 문장 전체 입력 - Semantic Scholar는 '검색 결과 없음'을 반환했습니다. Google Scholar는 약 254개의 결과를 나열했으며 NEJM 보고서를 1위로 올렸습니다.

• LNP CRISPR transthyretin - 해당 임상 시험이 Semantic Scholar에서는 454개 중 15위, Google Scholar에서는 약 2,580개 중 1위를 기록했습니다.

• first in human CRISPR transthyretin trial - Semantic Scholar는 상위 20개 결과에 해당 임상 시험을 표시하지 않았습니다. Google Scholar는 이를 5위로 올렸습니다.

• CRISPR transthyretin amyloidosis - 두 엔진 모두에서 해당 임상 시험이 1위를 차지했습니다.

따라서 여기의 모든 검색에서 Google Scholar가 Semantic Scholar와 동등하거나 더 우수한 성능을 보였습니다. Semantic Scholar가 앞서는 부분은 논문을 찾은 이후, 후속 연구들이 이 논문을 어떻게 인용했는지를 보여주는 방식에 있었습니다.

<ProTip title="🔎 문장이 아닌 키워드로 검색하세요:" description="주장을 'CRISPR transthyretin amyloidosis'와 같이 방법과 상태로만 축소하여 검색하세요. 이 세 단어 검색은 임상 시험을 1위로 올린 반면, 전체 문장 검색은 아무런 결과도 매칭하지 못했습니다." />

Semantic Scholar란 무엇인가?

Semantic Scholar는 소개 페이지에서 비영리 연구 기관으로 설명하는 Ai2에서 개발한 연구 논문 검색 엔진입니다. 동일한 페이지에서 이 도구를 과학 문헌을 위한 무료 AI 기반 연구 도구라고 부르며, 테스트 당일 검색창은 238,539,980편의 논문을 제공하고 있었습니다.

검색 기능 위에 자리하여 일반 검색 인덱스와 차별화되는 네 가지 기능은 다음과 같습니다.

• TLDR - 검색 결과에 표시되는 짧은 AI 요약입니다. FAQ에 따르면 컴퓨터 과학 및 생명의학 논문을 다룹니다.

• 인용 유형 - 인용 논문을 배경, 방법, 결과 인용으로 분류하고, 매우 영향력 있는 인용 횟수를 보여줍니다.

• 발췌문 - 인용 논문이 출처에 대해 작성한 문장을 결과 아래에 보여줍니다.

• Semantic Reader - 일부 논문에서 제공되는 PDF 리더로, 본문 내 인용을 클릭하면 인용된 논문에 대한 카드가 열립니다.

임상 시험 페이지에는 '라이브러리에 저장' 및 '알림 생성' 버튼도 제공되었습니다. 이번 테스트에서는 계정 상태가 변경되므로 두 기능 모두 사용하지 않았습니다.

Semantic Scholar는 누구를 위한 것인가?

이 도구는 주제 키워드를 이미 파악한 후의 연구 독서 단계에 적합합니다. 다음 세 분류의 독자들에게 가장 큰 유용함을 제공합니다.

• 문헌 검토 중인 박사 과정 학생 - 핵심 논문이 단순히 얼마나 자주 인용되었는지뿐만 아니라, 후속 연구들이 그 논문의 '결과'를 인용하고 있는지 확인해야 하는 사람.

• 원고를 수정 중인 연구원 - 인용된 임상 시험이 출판 이후 어떻게 설명되어 왔는지 확인하고 싶은 사람.

• 지도교수가 주장의 출처를 묻고 있는 석사 과정 학생 - 검색어를 키워드 형태로 구성하여 검색하는 한 매우 유용합니다.

이것은 글쓰기 도구가 아닙니다. 논문을 찾고 설명해 주는 도구이며, 실제 인용 작업은 다른 곳에서 이루어져야 합니다.

검색 테스트

테스트용 주장은 여러 도구 리뷰에서 공통으로 사용된 CRISPR 단락에서 가져왔습니다: "LNP로 전달되는 CRISPR 치료제의 최초 인체 대상 전신 임상 시험에서 단회 투여 후 고용량에서 혈청 트랜스티레틴이 평균 87% 감소했다고 보고했다."

전체 문장 입력

Semantic Scholar 검색창에 문장을 입력하고 실행하자 'No Papers Found(검색 결과 없음)'라는 제목과 함께 "Sorry, there are no results for"라는 문구 및 입력한 문장이 그대로 표시되었습니다. 마지막 마침표를 지우고 다시 실행해도 동일한 페이지가 나타났습니다.

검색창에 임상 시험 문장을 입력한 후의 Semantic Scholar 화면

Google Scholar는 마침표를 포함한 동일한 문장을 입력받아 약 254개의 결과를 반환했으며, NEJM 보고서를 1위로 올렸습니다. 초안에서 주장을 복사해 붙여넣는 방식으로 작업하는 학생들에게는 이 차이가 가장 중요하게 다가올 것입니다.

대신 세 개의 키워드로 검색

'CRISPR transthyretin amyloidosis' 검색은 약 7,930개의 결과를 반환했으며, 첫 번째 결과는 2021년 6월 26일 자 임상 시험 보고서로, 1,239회의 인용 횟수와 저자 라인 아래에 TLDR 요약이 포함되어 있었습니다.

TLDR 요약이 포함된 'CRISPR transthyretin amyloidosis'의 첫 번째 검색 결과

결과 위의 필터 바에는 연구 분야, 날짜 범위, PDF 있음 여부, 저자, 저널 및 학술대회 필터가 제공됩니다. 임상 시험이 이미 1위에 있었기 때문에 여기서는 아무 필터도 필요하지 않았습니다.

동일한 제목의 두 번째 레코드

해당 페이지의 10번째 결과는 임상 시험과 완전히 동일한 제목, 동일한 저널, 2021년 10월 28일 날짜를 가졌으며, 자체적으로 83회의 인용을 기록하고 있었습니다. 이 논문의 DOI 끝자리는 NEJMc2114592로, PubMed 레코드에 따르면 임상 시험에 대한 서신에 대한 저자들의 2페이지 분량 답장인 반면, 실제 임상 시험 보고서의 끝자리는 NEJMoa2107454입니다.

잘못된 논문을 저장한 학생은 임상 시험 결과 대신 답장 서신을 인용하게 될 것입니다. Google Scholar 역시 전체 문장 검색 결과의 4위에서 동일한 제목의 두 번째 레코드를 나열했으므로, 이 확인 작업은 두 엔진 모두에서 필요합니다.

<ProTip title="🧾 저장하기 전에 DOI를 비교하세요:" description="두 결과가 제목을 공유할 때는 두 링크를 모두 열어 DOI를 비교하세요. 여기에서 실제 임상 시험은 NEJMoa2107454로 끝나고, 서신에 대한 답장은 NEJMc2114592로 끝납니다." />

제시되는 정보를 어디까지 신뢰할 수 있는가

TLDR은 숫자를 생략합니다

임상 시험에 대한 TLDR 요약은 다음과 같습니다: "다발성 신경병증을 동반한 유전성 ATTR 아밀로이드증 환자로 구성된 소규모 그룹에서, NTLA-2001 투여는 경미한 부작용만 동반되었으며 TTR의 표적 녹아웃을 통해 혈청 TTR 단백질 농도 감소를 유도했다."

이는 초록의 결론 문장을 문자 그대로 가져온 것입니다. 여기에는 투여량이나 백분율이 표시되지 않으므로, 초안에 적힌 '87%'를 검증할 수 없습니다.

수치는 클릭 한 번이면 확인할 수 있습니다. 'Expand(확장)'를 클릭하면 초록이 열리며, 결과 섹션에서 28일 차에 킬로그램당 0.1mg 투여 시 52%, 킬로그램당 0.3mg 투여 시 87% 감소했음을 보여주어 PubMed 레코드와 일치함을 확인할 수 있습니다.

<ProTip title="📑 인용하기 전에 초록을 열어보세요:" description="이 임상 시험의 TLDR 요약은 결과 이름만 제시하고 수치는 생략했습니다. 'Expand'를 클릭하여 초록의 결과 섹션에서 필요한 숫자를 확인하세요." />

엔진마다 인용 횟수가 다릅니다

Semantic Scholar는 이 임상 시험에 대해 1,239회의 인용을 보여주었습니다. 반면 Google Scholar는 동일한 날 저녁 동일한 논문에 대해 2,180회 인용됨을 보여주었습니다.

따라서 인용 횟수를 인용할 때는 해당 데이터를 가져온 검색 엔진을 함께 명시하고, 동일한 엔진에서 나온 다른 수치들과만 비교해야 합니다.

'Cite(인용)' 버튼은 재검토가 필요합니다

인용 대화 상자는 BibTeX, MLA, APA, Chicago 양식을 제공하며, BibTeX 및 EndNote 내보내기도 지원합니다. APA 탭은 이 임상 시험에 대해 다음과 같은 결과를 생성했습니다.

임상 시험에 대한 Semantic Scholar 'Cite' 대화 상자의 APA 탭 화면

권호(volume) 385, 호(issue) 6, 페이지 493~502를 제공하는 PubMed 레코드와 대조해 볼 때, 이 항목에는 네 가지 문제가 있습니다.

• 권호, 호, 페이지 누락 - 입력 항목이 저널 이름에서 끝납니다.

• DOI 누락 - Purdue OWL에 따르면 APA 7 양식은 사용 가능할 경우 DOI를 포함해야 하며, 이 임상 시험은 DOI를 가지고 있습니다.

• 26명의 저자 모두 나열 - Purdue OWL 및 APA 다인 저자 인용 가이드에 명시된 대로, APA 7 양식은 처음 19명의 저자를 나열한 후 말줄임표(...)를 쓰고 마지막 저자를 나열해야 합니다.

• 저널명 대소문자 표기 - 저널 이름이 'The New England journal of medicine'으로 표기되어 있습니다.

MLA 탭은 실제 페이지 번호가 존재하는 논문임에도 불구하고 페이지 번호가 없음을 뜻하는 'n. pag.'로 끝났습니다. BibTeX 항목에는 권호, 페이지, DOI 필드가 아예 없었으며 URL은 Semantic Scholar API를 가리키고 있었습니다.

동일한 논문에 대한 Google Scholar의 APA 버전은 권호 385, 호 6, 페이지 493-502를 포함하여 더 정확했습니다. 저자는 6명을 나열한 후 말줄임표와 '&' 기호를 사용해 마지막 저자를 표시했으며, 마찬가지로 DOI는 포함하지 않았습니다.

<ProTip title="🧩 PubMed를 통해 참고 문헌을 확인하세요:" description="PubMed에서 논문을 열고 권호, 호, 페이지 및 DOI를 복사하여 참고 문헌에 넣으세요. 인용 대화 상자는 이 임상 시험에서 이 네 가지 항목을 모두 빠뜨렸습니다." />

Semantic Scholar가 제 역할을 다하는 부분

유형별로 정리된 인용 패널

임상 시험 페이지는 총 1,239개의 인용을 보여주며 이를 유형별로 분류합니다. 'Highly Influential Citations(매우 영향력 있는 인용)'는 55개, 'Background Citations(배경 인용)'는 209개, 'Methods Citations(방법 인용)'는 43개, 'Results Citations(결과 인용)'는 4개로 나타납니다.

Semantic Scholar의 임상 시험 페이지 내 인용 패널 화면

Google Scholar는 단일 인용 수치만 제공합니다. 문헌 검토를 진행할 때, 'Results' 목록을 활용하면 해당 임상 시험의 실제 결과를 인용한 후속 논문들로 빠르게 접근할 수 있습니다.

인용 논문이 무엇을 말했는지 보여주는 발췌문

인용을 'Results Citations'로 필터링하면 'Highly Influenced' 배지가 달린 4개의 논문이 남습니다. Global Cardiology Science and Practice의 2023년 해설 논문 발췌문을 열자, 인용하고 있는 문장 자체를 볼 수 있었습니다.

'Cites results from' 표시가 있는 인용한 논문 및 발췌문 화면

문장은 다음과 같습니다: "이 임상 시험에서 90% 이상의 TTR 레벨 감소는 이전에 보고된 다발성 신경병증 코호트 연구에서 사용된 것보다 더 높은 용량으로 달성되었습니다 40 ; 그러나 유의미한 부작용은 없었습니다." 이는 일반 인용 수치만으로는 알 수 없는, 두 논문을 모두 직접 열어보기 전에도 해당 임상 시험이 어떻게 활용되고 있는지 미리 보여줍니다.

<ProTip title="🧭 인용 필터를 'Results'로 설정하세요:" description="핵심 논문에서 인용 유형(Citation Type)을 'Results Citations'로 설정한 다음 발췌문을 열어보세요. 후속 논문이 해당 연구의 결과를 인용한 구체적인 문장을 바로 확인할 수 있습니다." />

리더기 내부의 인용 카드

임상 시험 보고서 자체는 nejm.org 및 PubMed를 통해서만 열렸고 리더기 링크가 없었습니다. 반면 2023년 해설 논문은 리더기 링크가 있어 Semantic Reader에서 열 수 있었습니다.

Semantic Reader에서 인용 번호 40을 클릭하여 인용된 임상 시험 카드를 연 화면

인용 번호 40을 클릭하자 NEJM 임상 시험에 대한 카드가 열리며 제목, 저자, 저널, 날짜, TLDR 요약 및 1,239와 55(임상 시험의 전체 인용 수 및 영향력 있는 인용 수와 동일한 수치)가 표시된 배지가 나타났습니다.

Semantic Scholar의 비용

무료입니다. Semantic Scholar는 유료 요금제가 없으며, FAQ에서도 이를 무료 도구로 명시하고 있으므로, 가격보다는 본 리뷰에서 다룬 작업들을 얼마나 잘 수행하는지에 따라 선택 여부가 결정됩니다.

2026년 10월 기준 가격이며, 10월 4일 semanticscholar.org/faq 및 jenni.ai/pricing에서 확인했습니다.

대안 도구들과의 비교

Google Scholar - 이번 테스트에서 특정 주장을 입력하고 그 출처를 찾는 작업에 가장 적합한 도구였습니다. Google Scholar 가이드에서 따옴표 및 OR과 같은 검색 연산자 활용법을 확인해 보세요.

Elicit - Elicit에 동일한 날 문장 전체를 'Find papers' 요청으로 입력하자, 3행 표의 첫 번째 행에 NEJM 보고서가 나타났습니다. 이번 검색에서는 Semantic Scholar가 아무것도 찾지 못했던 주장을 통해 출처를 정확히 찾아냈습니다.

Jenni - 이 도구는 초안 작성 단계라는 정반대의 시점에서 작동합니다. 'Cite' 버튼을 누르면 커서 위치에서 논문 검색이 열리며, 클릭 한 번으로 본문 내 인용구와 참고 문헌이 동시에 입력됩니다.

10월 1일에 진행한 테스트에서, 이 동일한 임상 시험에 대한 Jenni의 APA 인용 항목은 처음 19명의 저자, 말줄임표 및 마지막 저자, 그리고 권호 385, 호 6, 페이지 493~502 및 DOI를 완벽히 나열했습니다.

해당 검색창에 제목을 입력했을 때, Jenni는 동일한 제목의 2022년 재인쇄본을 NEJM 보고서보다 위에 올렸으므로, 여기서도 DOI 확인은 필요합니다.

Semantic Scholar에서 찾은 논문은 DOI를 통해 가져오거나, Zotero 및 Mendeley 가져오기 기능을 통해 연동할 수 있습니다. Jenni 대 ChatGPT 비교 글에서 챗봇과의 임상 시험 찾기 테스트 대결 결과를 확인할 수 있으며, 의학 연구 데이터베이스 가이드에서 임상 연구를 검색할 수 있는 다른 곳들을 확인할 수 있습니다.

논문 작성 시 Semantic Scholar를 사용해야 할까요?

네, 단독 사용보다는 Google Scholar와 함께 병행하여 사용하는 것이 좋습니다. 이번 테스트에서 Google Scholar는 주장을 통해 출처를 정확히 추적해 냈고, Semantic Scholar는 임상 시험 결과를 누가 인용했으며 무슨 말을 했는지 보여주었습니다.

두 도구의 'Cite' 버튼에서 제공되는 인용 양식을 그대로 신뢰하여 끝내지 마세요. DOI, 권호 및 페이지를 PubMed 레코드와 항상 대조하고, 잘못된 주장 뒤에 숨겨진 실제 출처 가이드에서 설명하듯 본문 내용이 출처의 사실과 일치하는지 꼭 교차 검증해야 합니다.

<CTA title="완벽한 참고 문헌과 함께 논문을 인용하세요" description="Jenni는 이 임상 시험을 권호, 호, 페이지 및 DOI와 함께 정확히 저장했으며, 스타일 선택기를 통해 10,000개 이상의 다양한 인용 스타일을 지원합니다." buttonLabel="무료로 글쓰기 시작하기" link="https://app.jenni.ai/register" />

실제 글쓰기 단계에서는 인용구와 참고 문헌 목록이 챕터와 동일한 파일에 위치하는 Jenni에서 학위 논문 초안을 작성하고, 주장 신뢰도(Claim confidence) 기능을 통해 각 주장을 출판된 문헌과 대조해 검토해 보세요.