通过

贾斯汀·王

—

Semantic Scholar 评测:它能比 Google Scholar 检索到更好的论文吗?

贾斯汀·王

增长负责人

获得全球商业与数字艺术学士学位,辅修创业

将来自 CRISPR 草稿中的一整个句子输入到 Semantic Scholar 中,结果与该平台搜索框提供的 238,539,980 篇论文中的 0 篇匹配。而给 Google Scholar 输入相同的句子,它将 2021 年《新英格兰医学杂志》(NEJM)的临床试验报告排在首位。

当缩减为关键词“CRISPR transthyretin amyloidosis”时,Semantic Scholar 也将该试验排在搜索结果的首位,并且该试验的页面分别统计了其背景、方法和结果的引用次数。在这次测试中,Semantic Scholar 褒奖的是关键词搜索以及检查来源如何被解读的能力,而不是输入一个论断并索要其来源。

<CTA title="无需离开草稿即可搜索论文" description="在文档内部搜索论文,一键即可同时归档文中引用和参考文献" buttonLabel="免费试用 Jenni" link="https://cn.app.jenni.ai/register" />

TLDR(概要)


Semantic Scholar

评测结论

阅读引用表现强劲,但在匹配论断方面较弱

最适用于

查看后续论文如何引用某一文献来源

薄弱环节

输入整句会返回“未找到论文(No Papers Found)”

价格

免费,无付费计划

测试内容

四次搜索及引用对话框,并与 Google Scholar 进行横向对比

搭配推荐

与 Jenni 搭配使用,可在草稿中引用并生成完整的参考文献

在寻找论文方面,Semantic Scholar 比 Google Scholar 更好吗?

在本次测试中并非如此。目标论文是一篇具体文献,即 Gillmore 等人发表在《新英格兰医学杂志》上的 2021 年首个应用于人体的 NTLA-2001 试验报告。我们在两个引擎中输入了相同的四个搜索词,并按相关性对结果进行了排序。

  • 完整输入的试验句子 - Semantic Scholar 返回“未找到论文”。Google Scholar 列出了约 254 个结果,并将 NEJM 的报告排在第 1 位。

  • LNP CRISPR transthyretin - 该试验在 Semantic Scholar 中排名第 15(共 454 个结果),在 Google Scholar 中排名第 1(约 2,580 个结果)。

  • first in human CRISPR transthyretin trial - Semantic Scholar 前 20 个结果中未显示该试验。Google Scholar 将其排在第 5 位。

  • CRISPR transthyretin amyloidosis - 两个引擎均将该试验排在第 1 位。

因此,在此处的每一次搜索中,Google Scholar 都与 Semantic Scholar 持平或更胜一筹。而 Semantic Scholar 处于领先地位的地方是在找到论文之后,即展示后续研究如何引用该论文的板块。

<ProTip title="🔎 搜索关键词,而非句子:" description="将论断简化为方法和疾病名称,例如“CRISPR transthyretin amyloidosis”。这个由三个词组成的搜索将该试验排在首位,而输入完整句子则一无所获。" />

什么是 Semantic Scholar

Semantic Scholar 是一个由 Ai2 开发的学术论文搜索引擎,其关于页面将其描述为一个非营利性研究机构。该页面还称其为一个免费的、人工智能驱动的科学文献研究工具,在测试当天,其搜索框提供了 238,539,980 篇论文。

在搜索功能之上,有四个特色功能使其有别于普通的索引:

  • TLDR - 显示在搜索结果中的简短 AI 摘要。其 FAQ 称这些摘要覆盖了计算机科学和生物医学领域的论文。

  • 引用类型 - 将引用文献分类为背景、方法和结果引用,并统计了具有高度影响力的引用次数。

  • 引用摘录 - 引用文献中对该源文献进行评述的具体句子,显示在其结果下方。

  • Semantic Reader - 针对部分论文提供的 PDF 阅读器,在其中点击文中引用会弹出一个卡片,显示被引论文的信息。

该试验的页面还带有“保存至文献库”和“创建提醒”按钮。本次测试未使用这两个功能,因为它们需要更改账户状态。

Semantic Scholar 适合谁使用

它适用于研究的文献阅读阶段,即已知主题词之后。以下三类读者可以从中获益最多:

  • 正在撰写文献综述的博士生 - 需要了解后来的研究引用了某篇关键论文的哪些具体“结果”,而不仅仅是其被引用的频次。

  • 正在修改手稿的科研人员 - 希望检查自发表以来,某项被引用的临床试验是如何被后续文献描述的。

  • 被导师询问某个论断出处的硕士生 - 只要搜索词是以关键词的形式表达即可。

它不是一个写作工具。它的功能是寻找和解读论文,而引用的具体操作仍需在其他地方完成。

搜索测试

测试用的论断来自于这些工具评测中通用的 CRISPR 段落:“首个在人体内进行的、通过 LNP 递送的 CRISPR 疗法的系统性临床试验报告称,在单次输注较高剂量后,第 28 天时患者血清转甲状腺素蛋白的平均降低幅度达到 87%。”

完整输入句子

将该句子输入到 Semantic Scholar 的搜索框并运行,结果返回了一个标题为“未找到论文(No Papers Found)”的页面,其中有一行提示:“抱歉,没有找到相关结果:”并重复了该句子。去掉句末的句号再次运行,依然出现相同的页面。

在搜索框中输入试验句子后的 Semantic Scholar 界面

Google Scholar 接收了相同的句子(包括句号),并返回了大约 254 个结果,其中 NEJM 的报告排在第 1 位。对于习惯于通过从草稿中复制论断来检索文献的学生来说,这就是最关键的差距所在。

改用三个关键词

搜索“CRISPR transthyretin amyloidosis”返回了约 7,930 个结果,首位即是该试验报告,日期为 2021 年 6 月 26 日,拥有 1,239 次引用,并在作者行下方显示了 TLDR 摘要。

“CRISPR transthyretin amyloidosis”的首个搜索结果及其 TLDR

结果上方的筛选栏提供了“研究领域”、“日期范围”、“有 PDF”、“作者”以及“期刊与会议”等选项。在此处不需要使用任何筛选,因为该试验已经排在第一位。

具有相同标题的第二条记录

该页面上的第 10 个结果带有与该试验完全相同的标题、相同的期刊和 2021 年 10 月 28 日的日期,其自身拥有 83 次引用。其 DOI 结尾为 NEJMc2114592,PubMed 将其列为作者对该试验相关来信的 2 页答复,而试验报告的 DOI 结尾为 NEJMoa2107454。

如果学生保存了错误的记录,就会引用一篇答复而不是试验本身。Google Scholar 同样在完整句子搜索的第 4 个结果中列出了这篇具有相同标题的第二条记录,因此在这两个引擎中都需要进行核对。

<ProTip title="🧾 保存前对比 DOI:" description="当两个结果共享同一个标题时,打开两者并对比其 DOI。在此例中,试验报告结尾为 NEJMoa2107454,而来信答复结尾为 NEJMc2114592" />

所显示内容的可信度

TLDR 遗漏了具体数字

该试验的 TLDR 显示:“在患有伴有周围神经病变的遗传性 ATTR 淀粉样变性的一小群患者中,给予 NTLA-2001 仅与轻度不良事件相关,并通过靶向敲除 TTR 导致血清 TTR 蛋白浓度降低。”

这与摘要的结论部分一字不差。它没有包含剂量和百分比,因此无法证实草稿中提到的 87%。

而数据只需点击一下即可获得。点击“展开(Expand)”即可打开摘要,其结果部分显示在第 28 天时,0.1 mg/kg 剂量下的降低幅度为 52%,0.3 mg/kg 剂量下为 87%,这与 PubMed 记录相符。

<ProTip title="📑 引用前先打开摘要:" description="在这项试验中,TLDR 指出了结果但未给出具体数字。点击“展开”,并从摘要的结果部分获取所需的任何数字" />

不同引擎之间的引用计数存在差异

Semantic Scholar 显示该试验有 1,239 次引用。而在同一天晚上,Google Scholar 显示同一篇论文的被引频次为 2180。

因此,在写明引用次数时,请注明其来源搜索引擎,并且仅将其与该搜索引擎中的其他引用次数进行对比。

“引用”按钮需要二次核对

“引用(Cite)”对话框提供了 BibTeX、MLA、APA 和 Chicago 格式,以及 BibTeX 和 EndNote 导出选项。对于该试验,APA 选项卡生成了以下内容:

Semantic Scholar 中该试验引用对话框的 APA 选项卡

与 PubMed 记录(卷号 385,期号 6,页码 493 至 502)对比,该条目存在四个问题:

  • 无卷号、期号或页码 - 该条目在期刊名称处即结束。

  • 无 DOI - Purdue OWL 指出,APA 第 7 版要求在有 DOI 时必须包含 DOI,而该试验是有 DOI 的。

  • 列出了全部 26 位作者 - APA 第 7 版要求列出前 19 位作者,然后是省略号,最后是最后一位作者,这在 Purdue OWL 和 APA 多作者引用指南中均有明确规定。

  • 期刊名称大小写 - 期刊名称显示为“The New England journal of medicine”。

MLA 选项卡以“n. pag.”结尾,意为无页码,而该论文实际上是有页码的。BibTeX 条目中没有卷号、页码或 DOI 字段,且其 URL 指向了 Semantic Scholar 的 API。

Google Scholar 为同一篇论文提供的 APA 版本更为接近,包含了卷号 385、期号 6 和页码 493-502。它列出了 6 位作者,然后在最后一位作者之前使用了省略号和 & 符号,但它同样没有提供 DOI。

<ProTip title="🧩 对照 PubMed 核对参考文献:" description="在 PubMed 上打开该论文,将卷号、期号、页码和 DOI 复制到条目中。在此试验中,“引用”对话框将这四项全部遗漏了" />

Semantic Scholar 展现其价值的地方

按类型分类的引用面板

该试验的页面显示总共有 1,239 次引用,并按类型对其中一部分进行了分类:“高度影响力引用”显示为 55 次,“背景引用” 209 次,“方法引用” 43 次,“结果引用” 4 次。

Semantic Scholar 试验页面上的引用面板

Google Scholar 只给出了单一的被引频次。对于文献综述而言,这个“结果引用”列表是快速进入引用该试验结果的论文的捷径。

摘录展示了引用文献的具体叙述

将引用筛选为“结果引用(Results Citations)”后剩下 4 篇论文,每篇都带有“高度影响力(Highly Influenced)”标记。在《全球心脏病学科学与实践》(Global Cardiology Science and Practice)2023 年的一篇述评中打开摘录,即可看到引用的具体句子。

一篇引用论文及其摘录,标有“引用结果来自”

其内容为:“在这项临床试验中,TTR 水平降低超过 90% 是通过比先前报道的该研究周围神经病变组中使用的剂量更高的剂量实现的 40 ;然而,没有发生显著的不良事件。” 这在打开任何一篇论文之前就展示了该试验是如何被使用的,而普通的引用计数是无法做到这一点的。

<ProTip title="🧭 按“结果”筛选引用:" description="在关键论文上,将“引用类型”设置为“结果引用”,然后打开摘录。每一条都会显示后续论文引用其研究结果的具体句子" />

阅读器内部的引用卡片

该试验报告本身只能通过 nejm.org 和 PubMed 打开,没有阅读器链接。而 2023 年的那篇述评带有阅读器链接,并在 Semantic Reader 中打开。

在 Semantic Reader 中点击引用文献 40,弹出了被引试验的卡片

点击其引用编号 40,弹出了该 NEJM 试验的卡片,显示了标题、作者、期刊、日期和 TLDR,以及标有 1,239 和 55 的标记,这些数据与该试验的引用总数和高度影响力引用数完全一致。

Semantic Scholar 的费用

完全免费。Semantic Scholar 没有付费计划,其 FAQ 称其为免费工具,因此选择使用它的理由在于其在本次评测中表现出的任务处理能力,而非价格因素。

工具

价格

功能范围

Semantic Scholar

免费

搜索、TLDR、引用类型、文献摘录、Semantic Reader

Jenni

免费;Plus 计划每月 $30 或每年 $144;Pro 计划每月 $73 或每年 $348

撰写草稿、光标处即时引用、五项评测、导出为 Word 和 LaTeX

2026 年 10 月价格,于 10 月 4 日读取自 semanticscholar.org/faq 和 jenni.ai/pricing。

Semantic Scholar 与其他替代工具的对比

Google Scholar - 在本次测试中,它是输入论断并找回其文献出处的更佳选择。Google Scholar 指南涵盖了其搜索运算符,例如双引号和 OR。

Elicit - Elicit 在同一天接受了相同的完整句子作为“寻找论文”的请求,并在一个 3 行表格中将 NEJM 报告排在首位。在这次运行中,它通过论断成功找到了来源,而 Semantic Scholar 却一无所获。

Jenni - 它在流程的另一端——草稿撰写中发挥作用。其“引用”按钮可在光标处打开论文搜索,一键即可将文中引用和参考文献一并归档。

在 10 月 1 日的测试中,它为该试验生成的 APA 条目列出了前 19 位作者、省略号和最后一位作者,接着是卷号 385、期号 6、页码 493 到 502 以及 DOI。

当在搜索中输入标题时,Jenni 将一篇具有相同标题的 2022 年重印本排在 NEJM 报告之上,因此在该工具中同样需要进行 DOI 核对。

在 Semantic Scholar 中找到的论文可以通过 DOI 导入,或者通过 Zotero 和 Mendeley 导入。Jenni 与 ChatGPT 的对比评测针对聊天机器人进行了类似的“寻找试验”测试,而医学研究数据库指南则列出了搜索临床研究的其他推荐去处。

你应该在撰写论文时使用 Semantic Scholar 吗?

应该使用,但建议将其与 Google Scholar 搭配使用,而非取而代之。在本次测试中,Google Scholar 帮助追踪到了论断的文献来源,而 Semantic Scholar 则展示了谁引用了该试验的结果以及他们是如何进行评述的。

不要直接将这两个工具的“引用”按钮生成的文献直接当作最终成品。请对照 PubMed 记录核对 DOI、卷号和页码,并确保源文献的内容确实支持您句子中所表达的论断,正如错误论断背后的真实文献来源所阐述的那样。

<CTA title="引用论文并获取完整参考文献" description="Jenni 在归档此试验时保留了卷号、期号、页码和 DOI,且样式选择器支持 10,000 多种引用样式" buttonLabel="开始免费写作" link="https://cn.app.jenni.ai/register" />

对于写作本身,可以在 Jenni 中撰写论文草稿,其引用和参考文献列表与章节处于同一个文件中,并且其论断可信度(Claim confidence)功能会根据已发表的文献来源对您的每个论断进行审核。

目录

今天就开启你的非凡写作之旅

从今天起,用 Jenni 写下你的 第一篇论文,开启全新篇章

免费开始

无需信用卡

随时取消

500万+

遍布全球的学者

5.2小时

每篇论文平均节省

超过1500万篇

在鉴研上完成的论文

今天就开启你的非凡写作之旅

从今天起,用 Jenni 写下你的 第一篇论文,开启全新篇章

免费开始

无需信用卡

随时取消

500万+

遍布全球的学者

5.2小时

每篇论文平均节省

超过1500万篇

在鉴研上完成的论文

今天就开启你的非凡写作之旅

从今天起,用 Jenni 写下你的 第一篇论文,开启全新篇章

免费开始

无需信用卡

随时取消

500万+

遍布全球的学者

5.2小时

每篇论文平均节省

超过1500万篇

在鉴研上完成的论文