Elicit против SciSpace: кто точнее извлекает данные из научных статей?

Одно и то же пробное предложение было введено в оба инструмента в один и тот же вечер с разницей в несколько минут. Elicit выдал таблицу из 3 строк, в которой на первом месте стоял отчет NEJM за 2021 год, а в столбце извлечения данных было указано 52% для 0,1 мг/кг и 87% для 0,3 мг/кг, что соответствует статье.

Отвечая на основе своих 5 лучших статей, среди которых не было этого отчета, резюме SciSpace отнесло 87% к дозе 0,7 мг/кг. Для обзора литературы, в котором обязательно должно быть процитировано первичное исследование, начните с Elicit, а более широкую таблицу SciSpace оставьте для ознакомления.

<CTA title="Ищите по сохраненным статьям вплоть до текста PDF" description="Библиотека Jenni ищет по названиям, авторам, аннотациям и полному тексту PDF по смыслу или ключевым словам, поэтому проверенную цифру легко найти снова" buttonLabel="Попробовать Jenni бесплатно" link="https://app.jenni.ai/register" />

Elicit или SciSpace: решение на берегу

• Выбирайте Elicit - когда в черновике содержится утверждение и необходимо найти и процитировать первоисточник, стоящий за ним. Этот инструмент поставил исследование на первое место и правильно извлек обе цифры дозировок.

• Выбирайте SciSpace - когда задача состоит в широком первичном обзоре темы. Он показал 10 из 100 статей, написал резюме и предложил готовые столбцы, такие как «Выводы», «Используемые методы» и «Ограничения».

• В любом случае - проверяйте каждую извлеченную цифру по первоисточнику, прежде чем она попадет в главу. В одной ячейке SciSpace содержалась цифра, которой не было в самой статье.

Процесс работы, шаг за шагом

В качестве входных данных использовалось одно предложение из абзаца о CRISPR, которое применялось во всех этих обзорах инструментов: «В первом клиническом исследовании системного введения CRISPR-терапии на людях с использованием LNP сообщалось о среднем снижении уровня сывороточного транстиретина на 87 процентов при более высокой дозе после однократной инфузии».

Статья, стоящая за этим утверждением, — это работа Gillmore et al. (2021) в New England Journal of Medicine, в которой сообщается о среднем снижении на 52% при дозе 0,1 мг на килограмм и на 87% при дозе 0,3 мг на килограмм к 28-му дню, согласно записи в PubMed.

Одно и то же предложение в обоих инструментах

Elicit - вкладка «Поиск статей», затем само предложение. В первой строке статуса было написано: «Выполнен поиск клинического исследования, стоящего за зарегистрированным снижением TTR».

На отметке 30,5 секунд инструмент все еще извлекал данные, а таблица была полностью готова на 66,9 секундах.

Она содержала 3 строки, каждая со столбцами «Резюме» и «Релевантность»:

• Строка 1 - отчет об исследовании NEJM за 2021 год, 1204 цитирования, пометка «Доступен полный текст». Релевантность: «Прямое соответствие зарегистрированному результату в 87%».

• Строка 2 - Fontana et al. (2024), более позднее исследование той же терапии при кардиомиопатии в NEJM, помеченное как последующее клиническое наблюдение.

• Строка 3 - комментарий к исследованию 2021 года в журнале Molecular Therapy, пометка «Только аннотация». Релевантность: «Вторичный взгляд на оригинальное исследование; для получения результатов используйте первичную статью NEJM».

SciSpace - страница Обзор литературы с заголовком «Поиск литературы», в стандартном режиме (одном из 3-х). Режимы High Quality и Deep Review не запускались. Ответ и таблица появились на экране при первой проверке, примерно через 16 секунд после клика.

Таблица показала 10 из 100 статей. Отчета NEJM за 2021 год среди этих 10 не оказалось, а на первом месте стоял пресс-релиз компании «Intellia и Regeneron объявляют обновленные данные Фазы 1». Второй пресс-релиз расположился на 5-м месте.

Остальные статьи включали работу Kotit за 2023 год, исследование Fontana 2024 года, последующее исследование NEJM 2025 года по полинейропатии, главу из книги, 2 другие статьи и тезисы конференции по другой генетической мишени.

Каждая строка содержит ячейку Insights (Инсайты), в которой объясняется, как статья связана с запросом. Строка 2, доклиническое исследование липидов, была отмечена предупреждением: «Название статьи соответствует вашему запросу, но в ней не рассматривается ваш конкретный вопрос».

Панель инструментов над таблицей предлагает фильтры «Открытый доступ», «Лучшие статьи», фильтрацию и сортировку по релевантности, а кнопка «Загрузить еще статьи» позволяет пролистать остальные 90 публикаций.

<ProTip title="🏛️ Запрашивайте журнальную статью:" description="Если на первом месте в результатах поиска стоит пресс-релиз, повторите поиск, указав название исследования и название журнала. Отчет NEJM за 2021 год — это именно то цитирование, которое научный руководитель ожидает увидеть для этой цифры" />

Ответ, который сформулировал каждый инструмент

В чат-ответе Elicit правильно указал название статьи и дозировку: «Утверждение соответствует первичному отчету Gillmore et al. 2021 года» и «сообщает о среднем снижении сывороточного TTR на 87% на 28-й день в когорте 0,3 мг/кг после однократной дозы».

Затем инструмент предложил два последующих действия: найти полный текст и DOI для статьи 2021 года и сравнить первое исследование с более поздними результатами NTLA-2001.

В ответе SciSpace, составленном на основе 5 лучших статей, говорилось, что в ходе исследования «было зарегистрировано среднее снижение сывороточного TTR на 93% при наибольшей дозе 1,0 мг/кг». В пункте о зависимости «доза-эффект» далее значилось: «Более низкие дозы также показали значительное снижение, составившее 87% при 0,7 мг/кг» со ссылкой на пресс-релиз с обновленными данными.

Ответ SciSpace со строкой, в которой 87% соотносятся с дозой 0,7 мг/кг

Сам пресс-релиз от 28 февраля 2022 года дает показатели 52%, 87% и 86% для групп 0,1, 0,3 и 0,7 мг на килограмм соответственно, и 93% для 1,0 мг/кг. Таким образом, 87% относится к дозе 0,3 мг/кг, а для 0,7 мг/кг показатель составлял 86%.

Колонка Insights пошла еще дальше в строке 1, сообщив автору, что в исследовании зарегистрировано 93% при 1,0 мг/кг, «а не 87%». 87% — это цифра из статьи NEJM для ее более высокой дозы, а 93% при 1,0 мг/кг взяты из более позднего обновления по дополнительным группам доз.

<ProTip title="📏 Проверяйте дозу, а не только процент:" description="Цифра может быть верной, но при этом относиться к неверной группе дозирования. Сопоставляйте каждый процент с его дозировкой в статье, прежде чем вставлять его в предложение" />

Столбец извлечения данных

Панель «Новый столбец» в Elicit предлагает ввести примеры извлечения в тексте-заполнителе, поэтому инструкция содержала один пример. Поле инструкций SciSpace является необязательным, имеет ограничение в 150 слов и приняло тот же текст без изменений.

Оба инструмента получили столбец с одинаковым названием «Снижение TTR по дозам» и одинаковой инструкцией: «Для каждой группы дозирования укажите среднее процентное снижение сывороточного TTR на 28-й день (например, "1.0 mg/kg: 40%"). Напишите "not reported", если в статье не приводится показатель для уровня дозы».

Elicit - кнопка «Добавить столбец» открыла панель создания нового столбца, и он был заполнен на отметке 30,4 секунды. В строке исследования значилось «0.1 mg/kg: 52%; 0.3 mg/kg: 87%», что соответствует аннотации, а в строках Fontana и комментария было указано «not reported» (не сообщается).

В примечании к чату объяснялось, почему в этих двух строках было указано «not reported»: в статье о более позднем исследовании и в комментарии «в исходном тексте не сообщаются средние значения на 28-й день для конкретных доз». Аннотация Fontana подтверждает это, так как там приводятся только объединенные данные.

Таблица Elicit со строкой исследования и ячейкой извлечения данных

SciSpace - панель «Добавить столбец» предлагает функцию «Создать новый столбец» и список предлагаемых колонок, включая TL;DR, «Выводы», «Результаты», «Используемые методы» и «Ограничения». Строки с 1 по 3 были заполнены на отметке 20,1 секунды, а остальные заполнялись по мере прокрутки таблицы.

Строка 1 таблицы SciSpace с ячейкой Insights и ячейкой извлечения данных

Шесть ячеек SciSpace были проверены на соответствие первоисточникам:

• Пресс-релиз с обновленными данными - 52%, 87%, 86% и 93% для четырех дозировок, что полностью соответствует релизу.

• Onuma et al. (2024) - снижение более чем на 98% после однократной дозы оптимального липида, процитированное из аннотации доклинического исследования, с пометкой, что это не показатель дозы на 28-й день.

• Kotit (2023) - 92% при 0,7 мг/кг и 92% при 1,0 мг/кг у пациентов с NYHA I/II, и 94% при 0,7 мг/кг у пациентов с NYHA III, что соответствует аннотации.

• Fontana et al. (2024) - не сообщается по дозам. В аннотации приводятся только объединенные показатели: -89% на 28-й день и -90% через 12 месяцев.

• Gillmore et al. (2025) - -90% на 28-й день, объединенные данные, что соответствует аннотации.

• Brannagan et al. (2022) - "1.0 mg/kg: 40%". В полном тексте на PubMed Central нет цифры 40%. Там сообщается о дозозависимом снижении без конкретного числа, а в Таблице 1 указана доза до 1 мг/кг однократно.

Ячейка Brannagan слово в слово повторяет пример из инструкции. Две другие строки — глава из книги 2024 года и статья 2026 года — вернули прочерк вместо цифры.

<ProTip title="🧩 Следите за ячейками, которые копируют пример:" description="Одна из ячеек SciSpace дословно совпала с примером из инструкции. Обязательно сверяйте любую ячейку, которая повторяет ваш пример, с текстом статьи перед ее внесением в таблицу" />

Шаблон матрицы обзора литературы — это способ составить такие же столбцы вручную.

Сравнение бок о бок

SciSpace оказался быстрее и охватил более широкий круг источников. Elicit выдал меньше статей, но его таблица началась именно с той работы, о которой шла речь в предложении.

<ProTip title="🎯 Ищите по предложению из черновика:" description="Первая строка статуса Elicit показывала поиск статьи исследования, стоящей за цифрой, и эта статья вернулась первой. Вставляйте предложение в том виде, в каком оно есть в черновике, когда задача — найти его источник" />

Стоимость каждого инструмента

Цены взяты с сайтов elicit.com/pricing и scispace.com/pricing.

Elicit также указывает коммерческие цены (без тарифа Plus): Pro за $75 в месяц или $588 в год, и Scale за $279 в месяц или $2028 в год. В академическом тарифе Plus доступен экспорт в форматы RIS, CSV, BIB, PDF и DOCX, а также вывод до 5 столбцов таблицы одновременно, в то время как тариф Pro увеличивает этот лимит до 20 столбцов.

SciSpace рассчитывает использование в кредитах, и согласно его руководству по кредитам, инструменты обзора литературы (Literature Review) и извлечения данных (Extract Data) их не расходуют. Тариф Premium предоставляет 1200 ежемесячных кредитов и неограниченное число обзоров литературы.

Использование обоих инструментов

В этом тесте оба инструмента проявили себя хорошо в разных аспектах, поэтому при обзоре литературы их можно использовать последовательно:

• Найдите первичные статьи в Elicit - введите утверждение в готовом виде и сохраните строки, отмеченные как точные соответствия.

• Оцените тему шире в SciSpace - задайте тему в виде вопроса и добавьте предложенные столбцы, такие как «Используемые методы» и «Ограничения», чтобы увидеть общую картину исследований.

• Проверяйте каждую цифру по статье - открывайте первоисточник и подтверждайте число и дозировку перед любым копированием.

• Ссылайтесь на журнальную статью - а не на пресс-релиз, даже если в релизе приводится та же самая цифра.

Для детального ознакомления с процессом обратитесь к пошаговому руководству по систематическому обзору литературы, вопросы организации найденных материалов раскрывает статья по систематизации источников для обзора литературы, а о том, что считается первоисточником, есть отдельный материал.

<ProTip title="✍️ Ссылайтесь на проверенную статью:" description="Как только цифра подтверждена по первоисточнику, сошлитесь на эту статью прямо в черновике. В Jenni кнопка Cite ищет источник в месте курсора и одновременно формирует внутритекстовую ссылку и список литературы" />

Вердикт: Elicit или SciSpace?

Elicit — для научных работ, где необходимо сослаться на первичное клиническое исследование, стоящее за утверждением. Он нашел эту статью первой только по самому утверждению, и в его ответе, и в ячейке извлечения доза в 87% была правильно соотнесена с 0,3 мг на килограмм, как и в самой статье.

SciSpace — для быстрого и широкого первоначального ознакомления с темой благодаря предложенным столбцам и возможности просмотреть 100 статей. Сверяйте его ответы с собственными источниками, так как в данном случае резюме и колонка извлечения данных разошлись во мнении относительно дозировки.

После того как статьи найдены, а цифры проверены, сам процесс написания текста происходит в Jenni, где каждое цитирование вставляется непосредственно к тому предложению, которое оно подтверждает.

<CTA title="Вставляйте цитату прямо там, где находится утверждение" description="Откройте Cite у курсора, найдите нужную статью, и внутритекстовая ссылка вместе с библиографической записью добавятся одновременно" buttonLabel="Начать писать бесплатно" link="https://app.jenni.ai/register" />

В руководстве по медицинским базам данных перечислены другие ресурсы для проведения аналогичного поиска, а в хабе обзоров инструментов можно найти больше сервисов, протестированных на этом же абзаце.