によって

ジャスティン・ウォン

—

Semantic Scholarレビュー:Google Scholarよりも優れた論文が見つかるか?

ジャスティン・ウォン

成長の責任者

グローバルビジネスとデジタルアーツの学士号を取得し、起業家精神の副専攻を修了しました。

CRISPRのドラフトから1文を丸ごとSemantic Scholarに入力したところ、その検索窓が提供する238,539,980本の論文のうち0件と一致しました。一方、Google Scholarに同じ1文を入力したところ、2021年のNEJM(ニューイングランド・ジャーナル・オブ・メディシン)の治験報告が1位にランクされました。

キーワードを「CRISPR transthyretin amyloidosis」に絞り込むと、Semantic Scholarでもその治験が最上位に表示され、その論文のページでは背景、方法、結果の引用数が別々にカウントされていました。このテストにおいて、Semantic Scholarはキーワード検索や、ソースがどのように読まれてきたかを調べることには優れていましたが、主張を入力してその情報源を特定することには適していませんでした。

<CTA title="ドラフトから離れずに論文を検索" description="ドキュメント内から論文を検索し、ワンクリックで本文中の引用と参考文献をまとめて登録できます" buttonLabel="Jenniを無料で試す" link="https://app.jenni.ai/register" />

TLDR


Semantic Scholar

評価

引用文献の読み取りに強いが、主張の照合には弱い

最適な用途

後発の論文がどのようにソースを引用しているかを確認する

弱点

一文丸ごと入力すると「論文が見つかりません」と返される

価格

無料(有料プランなし)

テスト内容

Google Scholarと並行して、4つの検索と引用ダイアログをテスト

おすすめの併用

Jenni(完全な参考文献付きでドラフトに引用するため)

論文を探す際、Semantic ScholarはGoogle Scholarよりも優れているか?

このテストに関する限り、答えは「いいえ」です。対象としたのは1つの論文、すなわちNew England Journal of Medicineに掲載されたGillmoreらによる初のヒト対象NTLA-2001治験に関する2021年の報告です。同じ4つの検索ワードを両方のエンジンに入力し、関連度順に並べ替えた結果を比較しました。

  • 治験の文を丸ごと入力した場合 - Semantic Scholarは「論文が見つかりません」と返しました。Google Scholarは約254件の結果を表示し、NEJMの報告を1位にランク付けしました。

  • LNP CRISPR transthyretin - 対象の治験は、Semantic Scholarでは454件中15位、Google Scholarでは約2,580件中1位にランクされました。

  • first in human CRISPR transthyretin trial - Semantic Scholarでは上位20件の結果に治験が表示されませんでした。Google Scholarでは5位にランクされました。

  • CRISPR transthyretin amyloidosis - 両方のエンジンで治験が1位にランクされました。

このように、ここでのすべての検索において、Google ScholarはSemantic Scholarと同等かそれ以上の結果を出しました。Semantic Scholarが優れていたのは、論文が見つかった後、その論文がその後の研究でどのように引用されているかを示す部分でした。

<ProTip title="🔎 文章ではなく、キーワードで検索する:" description="主張を「CRISPR transthyretin amyloidosis」のように、手法と疾患名にまで削ぎ落とします。この3語の検索では治験が1位になりましたが、文全体を入力した場合は何も一致しませんでした" />

Semantic Scholarとは

Semantic Scholarは、非営利の研究所であると自社紹介ページで説明されているAi2が提供する研究論文の検索エンジンです。同ページでは、科学文献用の無料のAI搭載研究ツールと位置づけられており、テスト当日には検索窓に238,539,980本の論文が提供されていました。

検索機能の上部に位置し、単なるインデックスと一線を画す4つの特徴があります:

  • TLDR - 検索結果に表示されるAIによる短い要約。FAQによると、これらはコンピュータサイエンスと生物医学の論文をカバーしています。

  • 引用タイプ - 引用論文を背景、方法、結果に分類し、影響力の高い引用の数を示します。

  • 抜粋 (Excerpts) - 引用元の論文がそのソースについて記述した一文を、検索結果の下に表示します。

  • Semantic Reader - 一部の論文で利用できるPDFリーダー。本文中の引用をクリックすると、引用された論文に関するカードが開きます。

対象の治験ページには、「ライブラリに保存」と「アラート作成」のボタンもありました。これらはアカウント設定を変更するため、今回のテストでは使用しませんでした。

Semantic Scholarはどのような人向けか

トピックのキーワードが分かっている状態での、研究の「文献読解ステージ」に適しています。特に以下の3つのタイプの読者に最も価値があります:

  • 文献レビュー中盤の博士課程の学生 - 重要な論文が単に何回引用されたかだけでなく、後発のどの研究がその「結果」を引用しているかを確認する必要がある人。

  • 原稿を改訂中の研究者 - 引用した治験が発表以降にどのように記述されているかを確認したい人。

  • 主張の出所を指導教官から尋ねられている修士課程の学生 - 検索がキーワード形式で行われる場合に限ります。

これは執筆用のツールではありません。論文を見つけて説明するためのものであり、引用自体は別の場所で行う必要があります。

検索テスト

テストに使用した主張は、これら一連のツールレビューで使用されているCRISPRの段落から引用したものです: 「LNPデリバリーによるCRISPR療法の初のヒト対象全身投与試験では、単回投与後の高用量群において血清トランスサイレチンの平均減少率が87%であったと報告された。」

文を丸ごと入力した場合

この文をSemantic Scholarの検索窓に入力して実行したところ、「No Papers Found(論文が見つかりません)」という見出しと、「申し訳ありません、次の結果はありません」という行に続いて入力した文が繰り返されるページが表示されました。末尾のピリオドを削除して再度実行しても、同じページが表示されました。

治験の文を検索窓に入力した後のSemantic Scholarの画面

Google Scholarに同じ文(ピリオド含む)を入力したところ、約254件の結果が返され、NEJMの報告が1位になりました。下書きから主張をコピーして調べるタイプの学生にとって、この差は最も重要です。

代わりに3つのキーワードを使用した場合

「CRISPR transthyretin amyloidosis」で検索したところ約7,930件の結果が返され、1位は2021年6月26日付の治験報告で、引用数は1,239件、著者名の下にTLDRが表示されていました。

「CRISPR transthyretin amyloidosis」の検索結果1位と、そのTLDR

検索結果の上にあるフィルターバーには、研究分野、日付範囲、PDFの有無、著者、ジャーナル&カンファレンスが用意されています。今回は治験がすでに1位にあったため、フィルターは不要でした。

同じタイトルを持つ2つ目のレコード

そのページの10番目の結果は、その治験と全く同じタイトル、同じジャーナル、2021年10月28日の日付を持ち、それ自体に83件の引用がありました。そのDOIは末尾が「NEJMc2114592」となっており、これはPubMedのリストによると、治験に関する書簡に対する著者らの2ページの回答(Reply)です。一方、治験報告自体の末尾はNEJMoa2107454です。

誤って回答の方を保存してしまった学生は、治験そのものではなく回答を引用することになってしまいます。Google Scholarでも、文丸ごとの検索で4番目の結果に同じタイトルの2つ目のレコードが表示されていたため、この確認はどちらのエンジンでも必要です。

<ProTip title="🧾 保存する前にDOIを比較する:" description="2つの結果が同じタイトルを共有している場合は、両方を開いてDOIを比較してください。今回のケースでは、治験はNEJMoa2107454で終わり、書簡への回答はNEJMc2114592で終わっていました" />

表示される内容の信頼性

TLDRには数値が省かれている

この治験に対するTLDRには次のように書かれています: 「末梢神経障害を伴う遺伝性ATTRアミロイドーシス患者の小規模グループにおいて、NTLA-2001の投与は軽度のアドバースイベントのみに関連し、TTRの標的ノックアウトを通じて血清TTRタンパク質濃度の低下をもたらした。」

これはアブストラクトの結論の文章をそのまま引用したものです。投与量やパーセンテージが記載されていないため、下書きの「87%」という数字を裏付けることはできません。

数値を確認するには、ワンクリックするだけです。「Expand」をクリックするとアブストラクトが開き、その結果セクションに、28日時点で1キログラムあたり0.1 mgで52%、1キログラムあたり0.3 mgで87%減少したことが示されており、PubMedの記録と一致しています。

<ProTip title="📑 引用する前にアブストラクトを開く:" description="この治験では、TLDRに結果の名前は記載されていましたが、具体的な数値はありませんでした。「Expand」をクリックして、アブストラクトの結果セクションから数値を取得してください" />

引用数はエンジンによって異なる

Semantic Scholarは治験の引用数を1,239件と示していました。同じ日の夜、Google Scholarでは同じ論文の被引用数が2180件と表示されていました。

したがって、引用数を記載する際は、それがどのエンジンからの数値であるかを明記し、同じエンジンからの他の数値とのみ比較するようにしてください。

引用ボタンは再確認が必要

引用ダイアログでは、BibTeX、MLA、APA、Chicagoの形式が提供されており、BibTeXとEndNoteへのエクスポートも可能です。APAタブでは、この治験に対して以下のように出力されました:

治験に対するSemantic Scholarの引用ダイアログ(APAタブ)

巻385、号6、493〜502ページを示すPubMedの記録と比較すると、このエントリーには4つの問題があります:

  • 巻、号、ページの記載がない - エントリーがジャーナル名で終わっています。

  • DOIがない - Purdue OWLによると、APA第7版では利用可能な場合にDOIを含めることになっていますが、この治験にはDOIが存在します。

  • 著者26人全員がリストされている - Purdue OWLおよびAPAでの複数著者引用ガイドに記載されているように、APA 7では最初の19人の著者をリストし、その後に省略記号(...)、そして最後の著者を記載することになっています。

  • ジャーナルの大文字表記 - ジャーナル名が「The New England journal of medicine」となっています。

MLAタブは、ページ番号が存在する論文であるにもかかわらず「n. pag.(ページ数なし)」で終わっていました。BibTeXのエントリーには巻、ページ、DOIのフィールドがなく、URLはSemantic ScholarのAPIを指していました。

Google Scholarの同じ論文に対するAPAバージョンはより正確で、巻385、号6、493-502ページが記載されていました。著者については6人を記載した後に省略記号と「&」を挟んで最後の著者を記載していましたが、こちらにもDOIはありませんでした。

<ProTip title="🧩 参考文献をPubMedと照合する:" description="PubMedで論文を開き、巻、号、ページ、DOIをエントリーにコピーしてください。この治験では、引用ダイアログでこれら4つすべてが省略されていました" />

Semantic Scholarが本領を発揮する部分

タイプ別に分類された引用パネル

治験のページには合計1,239件の引用が表示され、その一部がタイプ別に分類されています。「Highly Influential Citations(特に影響力のある引用)」は55件、「Background Citations(背景としての引用)」は209件、「Methods Citations(方法としての引用)」は43件、「Results Citations(結果としての引用)」は4件となっています。

Semantic Scholarの治験ページにある引用パネル

Google Scholarでは、単一の被引用数しか表示されませんでした。文献レビューにおいて、結果(Results)のリストは、この治験の結果を引用している論文に素早くアクセスするための優れた方法です。

抜粋により引用論文の具体的な記述がわかる

引用を「Results Citations」でフィルタリングすると4本の論文が残り、それぞれに「Highly Influenced」のバッジが付いていました。Global Cardiology Science and Practiceにおける2023年の論評の抜粋を開くと、引用している文章そのものが表示されました。

引用している論文とその抜粋(「Cites results from」のラベル付き)

そこには、「この治験における90%を超えるTTRレベルの低下は、以前に報告された末梢神経障害アームの研究40で使用された用量よりも高い用量で達成されましたが、重大なアドバースイベントはありませんでした。」と書かれています。これにより、どちらの論文も開く前に、この治験がどのように活用されているかを知ることができます。これは単なる引用数カウントでは不可能なことです。

<ProTip title="🧭 引用を「Results」でフィルタリングする:" description="キーとなる論文で「Citation Type」を「Results Citations」に設定し、抜粋を開きます。それぞれの抜粋には、後発の論文がその結果を引用している文章が表示されます" />

リーダー内の引用カード

治験報告自体はnejm.orgとPubMed経由でのみ開くことができ、リーダーのリンクはありませんでした。2023年の論評にはリーダーのリンクがあり、Semantic Readerで開くことができました。

Semantic Readerで引用40をクリックすると、引用された治験のカードが開きます

その引用番号40をクリックすると、NEJM治験のカードが開き、タイトル、著者、ジャーナル、日付、TLDRに加えて、治験の引用数および影響力の高い引用数と同じ「1,239」と「55」のバッジが表示されました。

Semantic Scholarの料金

無料です。Semantic Scholarには有料プランはなく、FAQでも無料ツールとされています。そのため、導入の是非は価格ではなく、このレビューで紹介したタスクに役立つかどうかで判断されます。

ツール

価格

カバーする内容

Semantic Scholar

無料

検索、TLDR、引用タイプ、抜粋、Semantic Reader

Jenni

無料、Plusプラン:月額30ドルまたは年額144ドル、Proプラン:月額73ドルまたは年額348ドル

ドラフト作成、カーソル位置での引用、5つのレビュー、WordおよびLaTeXエクスポート

2026年10月の価格。semanticscholar.org/faqおよびjenni.ai/pricingより10月4日確認。

Semantic Scholarと代替ツールの比較

Google Scholar - 今回のテストにおいては、主張を入力してその情報源を特定するのに適した選択肢です。Google Scholarガイドでは、引用符や「OR」などの検索演算子について説明しています。

Elicit - Elicitに同じ日に「Find papers」のリクエストとして同じ一文を入力したところ、3行のテーブルの最初にNEJMの報告が表示されました。この試行では、Semantic Scholarが何も返さなかった主張から情報源を見つけ出すことができました。

Jenni - 執筆プロセスの反対側、つまりドラフト作成の段階で機能します。「Cite」ボタンを押すとカーソル位置で論文検索が開き、ワンクリックで本文中の引用と参考文献をまとめて登録できます。

10月1日のテストにおいて、この同じ治験に対するJenniのAPAエントリーは、最初の19人の著者、省略記号、最後の著者、そして巻385、号6、493〜502ページ、およびDOIを正確にリストしました。

その検索にタイトルを入力した際、Jenniは同じタイトルを持つ2022年の転載版をNEJMの報告よりも上位にランク付けしたため、ここでもDOIの確認が必要です。

Semantic Scholarで見つかった論文は、DOI、またはZoteroやMendeleyのインポートを通じて取り込むことができます。JenniとChatGPTの比較では、チャットボットに対して同様の「治験の検索」テストが実行されており、医学研究データベースのガイドには、臨床研究を他にどこで検索すべきかがリストされています。

学位論文にSemantic Scholarを使用すべきか?

はい。ただしGoogle Scholarの代わりに使うのではなく、併用するのがお勧めです。今回のテストでは、Google Scholarが主張をその情報源まで遡り、Semantic Scholarは誰がその治験結果を引用し、何を述べているかを示してくれました。

どちらの「Cite」ボタンから得られた引用も、そのまま完成版として受け入れないでください。PubMedの記録と照らし合わせてDOI、巻、ページを確認し、さらにソースがその文で主張されている通りのことを述べているかを確認してください。詳細については、誤った主張の背後にある本物のソースについての解説を参照してください。

<CTA title="論文を引用して完全な参考文献を取得" description="Jenniはこの治験を巻、号、ページ、DOI付きで登録。スタイルピッカーは10,000以上の引用スタイルに対応しています" buttonLabel="無料で執筆を開始する" link="https://app.jenni.ai/register" />

執筆自体については、引用文献と参考文献リストが各章と同じファイル内に配置され、Claim confidence機能が公開済みのソースと照らし合わせて各主張を検証してくれるJenniで論文をドラフト作成することをお勧めします。

目次

今日、あなたの最も素晴らしい作品に向けて進展を遂げましょう

今日、Jenniと一緒に最初の論文を書き、決して振り返ることはありません

無料で始めましょう

クレジットカードは不要です

いつでもキャンセルできます

5メートル以上

世界中の学術

5.2時間の節約

1件あたりの平均

1500万以上

ジェニに関する論文

今日、あなたの最も素晴らしい作品に向けて進展を遂げましょう

今日、Jenniと一緒に最初の論文を書き、決して振り返ることはありません

無料で始めましょう

クレジットカードは不要です

いつでもキャンセルできます

5メートル以上

世界中の学術

5.2時間の節約

1件あたりの平均

1500万以上

ジェニに関する論文

今日、あなたの最も素晴らしい作品に向けて進展を遂げましょう

今日、Jenniと一緒に最初の論文を書き、決して振り返ることはありません

無料で始めましょう

クレジットカードは不要です

いつでもキャンセルできます

5メートル以上

世界中の学術

5.2時間の節約

1件あたりの平均

1500万以上

ジェニに関する論文