Обзор Semantic Scholar: находит ли он научные работы лучше, чем Google Scholar?

Введенное целиком в Semantic Scholar, одно предложение из черновика о CRISPR совпало с 0 из 238 539 980 статей, которые предлагает его поисковая строка. Google Scholar, получив то же предложение, поставил отчет о клиническом исследовании NEJM 2021 года на первое место.

При сокращении до ключевых слов CRISPR transthyretin amyloidosis, поиск вывел это исследование на первое место и в Semantic Scholar, причем на странице исследования цитирования его вводной части, методов и результатов были подсчитаны отдельно. В этом тесте Semantic Scholar вознаградил поиск по ключевым словам и проверку того, как читался источник, а не ввод утверждения с запросом его источника.

<CTA title="Ищите статью, не выходя из черновика" description="Ищите статью прямо из документа, и в один клик оформляйте внутритекстовую ссылку вместе со списком литературы" buttonLabel="Попробовать Jenni бесплатно" link="https://app.jenni.ai/register" />

TLDR

Лучше ли Semantic Scholar, чем Google Scholar, для поиска статей?

Не в этом тесте. Целью была одна статья — отчет 2021 года о первом на людях исследовании NTLA-2001 автора Gillmore и др. в New England Journal of Medicine, и в обе поисковые системы вводились одни и те же четыре запроса с сортировкой результатов по релевантности.

• Предложение из исследования, введенное целиком — Semantic Scholar выдал «Статьи не найдены». Google Scholar показал около 254 результатов и поставил отчет NEJM на 1-е место.

• LNP CRISPR transthyretin — исследование заняло 15-е место из 454 в Semantic Scholar и 1-е место из примерно 2580 в Google Scholar.

• first in human CRISPR transthyretin trial — Semantic Scholar не показал исследование в числе первых 20 результатов. Google Scholar поставил его на 5-е место.

• CRISPR transthyretin amyloidosis — обе поисковые системы поставили исследование на 1-е место.

Таким образом, Google Scholar сравнился или превзошел Semantic Scholar в каждом поиске. Semantic Scholar вырвался вперед уже после того, как статья была найдена, благодаря тому, как он показал цитирование этой статьи в последующих работах.

<ProTip title="🔎 Ищите по ключевым словам, а не предложениям:" description="Сократите утверждение до метода и состояния, например, CRISPR transthyretin amyloidosis. Этот поиск из трех слов вывел исследование на первое место, тогда как полное предложение не дало результатов" />

Что такое Semantic Scholar

Semantic Scholar — это поисковая система по научным статьям от Ai2, которую страница «О проекте» описывает как некоммерческий исследовательский институт. Та же страница называет его бесплатным инструментом на базе ИИ для работы с научной литературой, а его поисковая строка предлагала 238 539 980 статей в день проведения теста.

Четыре функции дополняют поиск и отличают его от обычного индекса:

• TLDR — краткое ИИ-резюме, отображаемое в результатах. В разделе FAQ говорится, что они охватывают статьи по компьютерным наукам и биомедицине.

• Типы цитирований — цитирующие статьи распределены по категориям: вводная часть (background), методы (methods) и результаты (results), с подсчетом наиболее влиятельных из них.

• Выдержки — предложение, в котором цитирующая работа упоминает источник, отображаемое под ее результатом.

• Semantic Reader — программа для чтения PDF, предлагаемая для некоторых статей, в которой внутритекстовая ссылка открывает карточку с информацией о цитируемой статье.

На странице исследования также были кнопки «Сохранить в библиотеку» и «Создать оповещение». В этом тесте они не использовались, так как обе требуют изменения настроек аккаунта.

Для кого предназначен Semantic Scholar

Он отлично подходит для этапа чтения литературы, когда ключевые слова темы уже известны. Наибольшую пользу от него получат три типа читателей:

• Аспирант в процессе написания обзора литературы — которому нужно видеть, какие последующие исследования цитируют результаты ключевой статьи, а не просто как часто она цитировалась.

• Исследователь, редактирующий рукопись — который хочет проверить, как цитируемое исследование описывалось с момента публикации.

• Магистрант, у которого научный руководитель спрашивает источник утверждения — при условии, что запрос сформулирован в виде ключевых слов.

Это не инструмент для письма. Он находит и объясняет статьи, а само цитирование происходит в другом месте.

Тест поиска

Тестовое утверждение было взято из абзаца о CRISPR, который использовался во всех этих обзорах инструментов: "The first in-human systemic trial of an LNP delivered CRISPR therapy reported a mean reduction in serum transthyretin of 87 percent at the higher dose after a single infusion."

Предложение, введенное целиком

При вводе предложения в строку поиска Semantic Scholar открылась страница с заголовком «Статьи не найдены», строкой «К сожалению, нет результатов для» и повторенным предложением. Удаление точки в конце и повторный запуск дали ту же страницу.

Semantic Scholar после ввода предложения из исследования в строку поиска

Google Scholar принял то же предложение вместе с точкой и выдал около 254 результатов, где отчет NEJM стоял на первом месте. Для студента, который работает путем копирования утверждений из черновика, это самая критическая разница.

Вместо этого три ключевых слова

Поисковый запрос CRISPR transthyretin amyloidosis выдал около 7 930 результатов, и первым был отчет об исследовании от 26 июня 2021 года с 1 239 цитированиями и блоком TLDR под строкой авторов.

Первый результат для CRISPR transthyretin amyloidosis с его TLDR

Панель фильтров над результатами предлагает выбор областей исследования, диапазона дат, наличия PDF, автора, а также журналов и конференций. Здесь ничего из этого не потребовалось, так как исследование и так было первым.

Вторая запись с тем же названием

Результат № 10 на этой странице имел точно такое же название исследования, тот же журнал и дату 28 октября 2021 года с 83 собственными цитированиями. Его DOI заканчивается на NEJMc2114592, который PubMed указывает как 2-страничный ответ авторов на письма по поводу исследования, в то время как сам отчет об исследовании заканчивается на NEJMoa2107454.

Студент, сохранивший не ту запись, процитирует ответ на письма вместо самого исследования. Google Scholar также вывел вторую запись с названием исследования на 4-м месте по результатам поиска всего предложения, так что проверку нужно делать в обеих системах.

<ProTip title="🧾 Сравнивайте DOI перед сохранением:" description="Когда два результата имеют одинаковое название, откройте оба и сравните DOI. Здесь исследование заканчивалось на NEJMoa2107454, а ответ на письма — на NEJMc2114592" />

Насколько можно доверять тому, что он показывает

TLDR не содержит цифр

TLDR для исследования гласит: "In a small group of patients with hereditary ATTR amyloidosis with polyneuropathy, administration of NTLA-2001 was associated with only mild adverse events and led to decreases in serum TTR protein concentrations through targeted knockout of TTR."

Это дословное предложение из выводов аннотации. Оно не содержит дозировок и процентов, поэтому не может подтвердить 87% в черновике.

Цифры находятся в одном клике. Кнопка Expand раскрывает аннотацию, раздел результатов которой показывает снижение на 52% при дозе 0,1 мг на килограмм и 87% при дозе 0,3 мг на килограмм на 28-й день, что соответствует записи в PubMed.

<ProTip title="📑 Открывайте аннотацию перед цитированием:" description="В этом исследовании в TLDR был назван результат, но не было цифр. Нажмите Expand и возьмите любые цифры из раздела результатов аннотации" />

Количество цитирований отличается в разных системах

Semantic Scholar показал 1239 цитирований для исследования. Google Scholar в тот же вечер показал «Цитируется: 2180» для той же статьи.

Поэтому указывайте количество цитирований со ссылкой на систему, из которой оно взято, и сравнивайте его только с другими показателями этой же системы.

Кнопка Cite требует перепроверки

Окно цитирования предлагает форматы BibTeX, MLA, APA и Chicago, а также экспорт в BibTeX и EndNote. Вкладка APA выдала для исследования следующее:

Вкладка APA в диалоговом окне цитирования Semantic Scholar для этого исследования

В сравнении с записью в PubMed, в которой указаны том 385, выпуск 6, страницы с 493 по 502, запись имеет четыре проблемы:

• Нет тома, выпуска или страниц — запись обрывается на названии журнала.

• Нет DOI — Purdue OWL отмечает, что стандарт APA 7 включает DOI, когда он доступен, а у этого исследования он есть.

• Перечислены все 26 авторов — APA 7 требует указывать первые 19 авторов, затем многоточие и последнего автора, как предписывают Purdue OWL и руководство по цитированию нескольких авторов в APA.

• Регистр букв в названии журнала — название журнала записано как The New England journal of medicine.

Вкладка MLA закончилась пометкой n. pag., что означает отсутствие номеров страниц для статьи, у которой они есть. Запись BibTeX не содержала полей тома, страниц или DOI и вела по ссылке на API Semantic Scholar.

Версия APA в Google Scholar для той же статьи была точнее: указаны том 385, выпуск 6 и страницы 493-502. Там были перечислены 6 авторов, затем многоточие и амперсанд перед последним автором, но DOI также отсутствовал.

<ProTip title="🧩 Проверяйте ссылку по PubMed:" description="Откройте статью в PubMed и скопируйте том, выпуск, страницы и DOI в библиографическую запись. Окно цитирования упустило все четыре параметра для этого исследования" />

В чем Semantic Scholar действительно хорош

Панель цитирований, отсортированная по типам

Страница исследования показывает 1239 цитирований в общей сложности и разбивает некоторые из них по типам. Highly Influential Citations (очень влиятельные) — 55, Background Citations (вводные) — 209, Methods Citations (методологические) — 43 и Results Citations (по результатам) — 4.

Панель цитирований на странице исследования в Semantic Scholar

Google Scholar выдает только общее число цитирований. Для обзора литературы список Results — это быстрый способ перейти к статьям, которые ссылаются именно на результаты исследования.

Выдержки показывают, что именно сказано в цитирующей статье

Фильтрация цитирований по Results Citations оставила 4 статьи, каждая с пометкой Highly Influenced. Открытие выдержек из комментария 2023 года в Global Cardiology Science and Practice показало само цитирующее предложение.

Цитирующая статья и выдержка из нее с пометкой Cites results from

Оно гласит: "Reductions in TTR levels over 90% in this trial were achieved with higher doses than those used in the previously reported polyneuropathy arm of the study 40 ; however, there were no significant adverse events." Это показывает, как используется исследование, еще до открытия самих статей, чего не может дать простой подсчет цитирований.

<ProTip title="🧭 Фильтруйте цитирования по категории Results:" description="Для ключевой статьи установите Citation Type на Results Citations, затем откройте выдержки. Каждая из них покажет предложение, в котором последующая статья цитирует ее результаты" />

Карточки цитирований внутри ридера

Сам отчет об исследовании открывался только через nejm.org и PubMed, без ссылки на ридер. Но у комментария 2023 года ссылка на ридер была, и он открылся в Semantic Reader.

При нажатии на цитату 40 в Semantic Reader открылась карточка для цитируемого исследования

При нажатии на номер цитирования 40 открылась карточка для исследования NEJM с названием, авторами, журналом, датой и TLDR, а также значками с цифрами 1239 и 55 — теми же показателями общего числа цитирований и количества очень влиятельных цитирований исследования.

Сколько стоит Semantic Scholar

Нисколько. У Semantic Scholar нет платных тарифов, а в разделе FAQ он называется бесплатным инструментом, поэтому целесообразность его использования определяется задачами из этого обзора, а не ценой.

Цены на октябрь 2026 года, взяты 4 октября с сайтов semanticscholar.org/faq и jenni.ai/pricing.

Semantic Scholar в сравнении с альтернативами

Google Scholar — в данном тесте лучший выбор для ввода утверждения с целью поиска его первоисточника. В руководстве по Google Scholar описаны его операторы поиска, такие как кавычки и OR.

Elicit — Elicit в тот же день принял то же самое полное предложение в качестве запроса Find papers и вывел отчет NEJM на первое место в таблице из 3 строк. В этом запуске он нашел источник по утверждению, тогда как Semantic Scholar не выдал ничего.

Jenni — работает на другом этапе, непосредственно в черновике. Его кнопка Cite открывает поиск статей в месте курсора, и в один клик добавляет внутритекстовую ссылку и источник в список литературы.

В тесте от 1 октября его запись APA для этого же исследования содержала первых 19 авторов, многоточие и последнего автора, а затем том 385, выпуск 6, страницы с 493 по 502 и DOI.

При вводе названия в этот поиск Jenni поставила репринт 2022 года с тем же названием выше отчета NEJM, так что проверка DOI актуальна и здесь.

Статьи, найденные в Semantic Scholar, можно перенести по DOI или через импорт из Zotero и Mendeley. В сравнении Jenni и ChatGPT проводился аналогичный тест по поиску исследования против чат-бота, а в руководстве по базам данных медицинских исследований перечислены другие места для поиска клинических работ.

Стоит ли использовать Semantic Scholar для диссертации?

Да, но вместе с Google Scholar, а не вместо него. В этом тесте Google Scholar помог отследить утверждение до его источника, а Semantic Scholar показал, кто цитировал результаты исследования и что именно они писали.

Не принимайте готовое цитирование из кнопок Cite без проверки. Сверяйте DOI, том и страницы с записью в PubMed и проверяйте, действительно ли источник говорит то, что утверждается в предложении, как объясняет статья о реальном источнике, стоящем за неверным утверждением.

<CTA title="Процитируйте статью и получите полное описание источника" description="Jenni сохранила это исследование с указанием тома, выпуска, страниц и DOI, а выбор стилей оформления включает более 10 000 вариантов" buttonLabel="Начать писать бесплатно" link="https://app.jenni.ai/register" />

Для самого процесса написания пишите черновик диссертации в Jenni, где цитаты и список литературы находятся в том же файле, что и главы, а функция Claim confidence проверяет каждое утверждение на соответствие опубликованным источникам.