Semantic Scholar im Test: Findet es bessere Arbeiten als Google Scholar?

Eingegeben als Ganzes in Semantic Scholar, stimmte ein Satz aus einem CRISPR-Entwurf mit 0 der 238.539.980 Arbeiten überein, die das Suchfeld anbietet. Google Scholar, dem derselbe Satz vorgegeben wurde, stufte den NEJM-Studienbericht von 2021 auf Platz eins ein.

Reduziert auf die Schlüsselwörter CRISPR transthyretin amyloidosis, setzte die Suche diese Studie auch in Semantic Scholar an die Spitze, und die Seite der Studie zählte die Zitate für Hintergrund, Methoden und Ergebnisse separat. In diesem Test belohnte Semantic Scholar die Keyword-Suche und das Überprüfen, wie eine Quelle gelesen wurde, und nicht das Eingeben einer Behauptung und die Frage nach ihrer Quelle.

<CTA title="Nach dem Dokument suchen, ohne den Entwurf zu verlassen" description="Suchen Sie von innerhalb des Dokuments nach einer Arbeit, und archivieren Sie mit einem Klick das In-Text-Zitat zusammen mit seiner Referenz" buttonLabel="Jenni kostenlos testen" link="https://app.jenni.ai/register" />

TLDR

Ist Semantic Scholar besser als Google Scholar, um Arbeiten zu finden?

Nicht bei diesem Test. Ziel war eine einzige Arbeit, Gillmore et al.s Bericht von 2021 über die erste NTLA-2001-Studie am Menschen im New England Journal of Medicine, und dieselben vier Suchen wurden in beide Suchmaschinen eingegeben, wobei die Ergebnisse nach Relevanz sortiert wurden.

• Der Studiensatz, als Ganzes eingegeben – Semantic Scholar gab Keine Arbeiten Gefunden zurück. Google Scholar listete etwa 254 Ergebnisse auf und stufte den NEJM-Bericht auf Platz 1 ein.

• LNP CRISPR transthyretin – die Studie belegte Platz 15 von 454 in Semantic Scholar und Platz 1 von etwa 2.580 in Google Scholar.

• first in human CRISPR transthyretin trial – Semantic Scholar zeigte die Studie nicht unter den ersten 20 Ergebnissen an. Google Scholar stufte sie auf Platz 5 ein.

• CRISPR transthyretin amyloidosis – beide Suchmaschinen stuften die Studie auf Platz 1 ein.

Google Scholar hat also Semantic Scholar bei jeder Suche hier erreicht oder geschlagen. Wo Semantic Scholar die Nase vorn hatte, war nach dem Auffinden der Arbeit, in dem, was es darüber zeigte, wie spätere Arbeiten sie zitiert haben.

<ProTip title="🔎 In Schlüsselwörtern suchen, nicht in Sätzen:" description="Reduzieren Sie die Behauptung auf die Methode und den Zustand, wie z.B. CRISPR transthyretin amyloidosis. Diese Drei-Wort-Suche setzte die Studie auf Platz eins, während der vollständige Satz keine Treffer erzielte" />

Was Semantic Scholar ist

Semantic Scholar ist eine Suchmaschine für Forschungsarbeiten von Ai2, einer gemeinnützigen Forschungseinrichtung, wie die Über-uns-Seite beschreibt. Dieselbe Seite nennt es ein kostenloses, KI-gestütztes Recherche-Tool für wissenschaftliche Literatur, und das Suchfeld bot am Tag des Tests 238.539.980 Arbeiten an.

Vier Funktionen setzen auf der Suche auf und heben sie von einem einfachen Index ab:

• TLDR – eine kurze KI-Zusammenfassung, die bei den Ergebnissen angezeigt wird. Die FAQ besagt, dass diese Informatik- und biomedizinische Arbeiten abdecken.

• Zitierungstypen – zitierende Arbeiten sortiert nach Hintergrund, Methoden und Ergebniszitaten, mit einer Zählung der besonders einflussreichen.

• Auszüge – der Satz, den eine zitierende Arbeit über die Quelle geschrieben hat, angezeigt unter ihrem Ergebnis.

• Semantic Reader – ein PDF-Reader, der für einige Arbeiten angeboten wird, bei dem ein In-Text-Zitat eine Karte über die zitierte Arbeit öffnet.

Die Seite der Studie enthielt auch die Schaltflächen Save to Library (In Bibliothek speichern) und Create Alert (Benachrichtigung erstellen). In diesem Test wurde keines von beiden verwendet, da beide das Konto verändern.

Für wen Semantic Scholar gedacht ist

Es eignet sich für die Lesephase der Forschung, sobald die Fachbegriffe bekannt sind. Drei Lesergruppen profitieren am meisten davon:

• Doktoranden mitten in der Literaturrecherche – die sehen müssen, welche späteren Studien die Ergebnisse einer Schlüsselarbeit zitieren, nicht nur, wie oft sie zitiert wurde.

• Forscher, die ein Manuskript überarbeiten – die überprüfen möchten, wie eine zitierte Studie seit der Veröffentlichung beschrieben wurde.

• Masterstudenten, deren Betreuer fragt, woher eine Behauptung stammt – solange die Suche als Schlüsselwörter formuliert ist.

Es ist kein Schreibwerkzeug. Es findet und erklärt Arbeiten, das eigentliche Zitieren findet weiterhin an anderer Stelle statt.

Der Suchtest

Die Testbehauptung stammte aus dem CRISPR-Abschnitt, der in diesen Tool-Reviews verwendet wurde: „The first in-human systemic trial of an LNP delivered CRISPR therapy reported a mean reduction in serum transthyretin of 87 percent at the higher dose after a single infusion.“

Der Satz, als Ganzes eingegeben

In das Suchfeld von Semantic Scholar eingegeben und ausgeführt, lieferte der Satz eine Seite mit der Überschrift Keine Arbeiten Gefunden zurück, mit der Zeile „Sorry, there are no results for“ und dem wiederholten Satz. Das Entfernen des abschließenden Punktes und ein erneutes Ausführen führten zur selben Seite.

Semantic Scholar, nachdem der Studiensatz in das Suchfeld eingegeben wurde

Google Scholar nahm denselben Satz, inklusive Punkt, und lieferte etwa 254 Ergebnisse mit dem NEJM-Bericht auf Platz 1. Für Studenten, die eine Behauptung direkt aus einem Entwurf kopieren, ist dies der entscheidende Unterschied.

Stattdessen drei Schlüsselwörter

Die Suche CRISPR transthyretin amyloidosis lieferte etwa 7.930 Ergebnisse, und das erste war der Studienbericht vom 26. Juni 2021 mit 1.239 Zitaten und einem TLDR unter der Autorenzeile.

Das erste Ergebnis für CRISPR transthyretin amyloidosis mit seinem TLDR

Die Filterleiste über den Ergebnissen bietet Fachbereiche, Datumsbereich, Hat PDF, Autor sowie Zeitschriften & Konferenzen. Nichts davon war hier nötig, da die Studie ohnehin an erster Stelle stand.

Ein zweiter Datensatz mit demselben Titel

Ergebnis 10 auf dieser Seite trug den exakten Titel der Studie, dieselbe Zeitschrift und das Datum 28. Oktober 2021, mit 83 eigenen Zitaten. Ihre DOI endet auf NEJMc2114592, was PubMed als die zweiseitige Antwort der Autoren auf Leserbriefe zur Studie auflistet, während der eigentliche Studienbericht auf NEJMoa2107454 endet.

Wer fälschlicherweise das falsche Dokument speichert, würde eine Antwort anstelle einer Studie zitieren. Google Scholar listete ebenfalls einen zweiten Datensatz mit dem Titel der Studie an Position 4 für den gesamten Satz auf, sodass diese Überprüfung bei beiden Suchmaschinen ratsam ist.

<ProTip title="🧾 Vergleichen Sie die DOIs vor dem Speichern:" description="Wenn zwei Ergebnisse denselben Titel haben, öffnen Sie beide und vergleichen Sie die DOIs. Hier endete die Studie auf NEJMoa2107454 und die Antwort auf die Leserbriefe auf NEJMc2114592" />

Wie weit man den Angaben vertrauen kann

Das TLDR lässt die Zahlen weg

Das TLDR zur Studie lautet: „In a small group of patients with hereditary ATTR amyloidosis with polyneuropathy, administration of NTLA-2001 was associated with only mild adverse events and led to decreases in serum TTR protein concentrations through targeted knockout of TTR.“

Das ist wortwörtlich der Schlusssatz des Abstracts. Er enthält keine Dosis und keinen Prozentsatz, kann also die 87 % im Entwurf nicht bestätigen.

Die Zahlen sind jedoch nur einen Klick entfernt. Ein Klick auf „Expand“ öffnet das Abstract, dessen Ergebnissektion 52 % bei 0,1 mg pro Kilogramm und 87 % bei 0,3 mg pro Kilogramm an Tag 28 angibt, was mit dem PubMed-Eintrag übereinstimmt.

<ProTip title="📑 Öffnen Sie das Abstract, bevor Sie zitieren:" description="In dieser Studie nannte das TLDR das Ergebnis, gab aber keine Zahl an. Klicken Sie auf Expand und entnehmen Sie die gewünschten Zahlen dem Ergebnisteil des Abstracts" />

Zitationszahlen unterscheiden sich je nach Suchmaschine

Semantic Scholar zeigte 1.239 Zitate für die Studie an. Google Scholar zeigte am selben Abend 2.180 Zitate für dieselbe Arbeit an.

Geben Sie eine Zitationszahl daher immer mit der Suchmaschine an, aus der sie stammt, und vergleichen Sie sie nur mit anderen Zahlen aus derselben Suchmaschine.

Die Schaltfläche „Zitieren“ erfordert einen zweiten Blick

Der Zitier-Dialog bietet BibTeX, MLA, APA und Chicago sowie den Export für BibTeX und EndNote an. Die Registerkarte APA lieferte Folgendes für die Studie:

Die APA-Registerkarte des Semantic Scholar Zitier-Dialogs für die Studie

Verglichen mit dem PubMed-Eintrag, der Band 385, Ausgabe 6, Seiten 493 bis 502 angibt, weist der Eintrag vier Fehler auf:

• Kein Band, keine Ausgabe oder Seiten – der Eintrag endet beim Namen der Zeitschrift.

• Keine DOI – Purdue OWL weist darauf hin, dass APA 7 eine DOI enthält, wenn eine verfügbar ist, und diese Studie hat eine.

• Alle 26 Autoren aufgelistet – APA 7 listet die ersten 19 Autoren auf, gefolgt von Auslassungspunkten und dem letzten Autor, wie sowohl von Purdue OWL als auch im Leitfaden zum Zitieren mehrerer Autoren in APA dargelegt wird.

• Großschreibung des Zeitschriftentitels – der Name wird als „The New England journal of medicine“ angegeben.

Die MLA-Registerkarte endete mit „n. pag.“, was bedeutet, dass keine Seitenzahlen vorhanden sind, obwohl die Arbeit welche hat. Der BibTeX-Eintrag enthielt weder Band, Seiten noch ein DOI-Feld und leitete die URL an die Semantic Scholar-API weiter.

Die APA-Version von Google Scholar für dieselbe Arbeit war genauer, mit Band 385, Ausgabe 6 und den Seiten 493-502. Sie listete 6 Autoren auf, gefolgt von Auslassungspunkten und einem Kaufmanns-Und vor dem letzten Autor, hatte aber ebenfalls keine DOI.

<ProTip title="🧩 Gleichen Sie die Referenz mit PubMed ab:" description="Öffnen Sie die Arbeit auf PubMed und kopieren Sie Band, Ausgabe, Seiten und DOI in Ihren Eintrag. Der Zitier-Dialog hat bei dieser Studie alle vier Angaben weggelassen" />

Wo Semantic Scholar punktet

Eine nach Typ sortierte Zitationsübersicht

Die Seite der Studie zeigt insgesamt 1.239 Zitate an und schlüsselt einige davon nach Typ auf. „Highly Influential Citations“ (Hocheinflussreiche Zitate) liegt bei 55, „Background Citations“ (Hintergrund-Zitate) bei 209, „Methods Citations“ (Methoden-Zitate) bei 43 und „Results Citations“ (Ergebnis-Zitate) bei 4.

Die Zitationsübersicht auf der Studienseite in Semantic Scholar

Google Scholar lieferte lediglich eine einzige Gesamtzahl an Zitaten. Für eine Literaturrecherche ist die Ergebnisliste ein schneller Weg zu den Arbeiten, die die Ergebnisse der Studie tatsächlich zitieren.

Auszüge zeigen, was die zitierende Arbeit geschrieben hat

Das Filtern der Zitate nach „Results Citations“ hinterließ 4 Arbeiten, jede versehen mit einem „Highly Influenced“-Badge. Das Öffnen der Auszüge bei einem Kommentar von 2023 in Global Cardiology Science and Practice zeigte den zitierenden Satz selbst.

Eine zitierende Arbeit und ihr Auszug, gekennzeichnet mit „Cites results from“

Dort steht: „Reductions in TTR levels over 90% in this trial were achieved with higher doses than those used in the previously reported polyneuropathy arm of the study 40 ; however, there were no significant adverse events.“ Dies zeigt, wie die Studie herangezogen wird, noch bevor man eine der beiden Arbeiten öffnet – etwas, das eine reine Zitationszahl nicht leisten kann.

<ProTip title="🧭 Zitate nach Ergebnissen filtern:" description="Setzen Sie bei einer wichtigen Arbeit den Zitationstyp auf Results Citations und öffnen Sie dann die Auszüge. Jeder zeigt den Satz, in dem eine spätere Arbeit deren Ergebnisse zitiert" />

Zitationskarten direkt im Reader

Der Studienbericht selbst ließ sich nur über nejm.org und PubMed öffnen, ohne Reader-Link. Der Kommentar von 2023 hatte jedoch einen Reader-Link und öffnete sich im Semantic Reader.

Das Anklicken von Zitat 40 im Semantic Reader öffnete eine Karte für die zitierte Studie

Das Anklicken der Zitationsnummer 40 öffnete eine Karte für die NEJM-Studie mit Titel, Autoren, Zeitschrift, Datum und TLDR sowie Badges mit den Werten 1.239 und 55 – den gleichen Zahlen wie bei den Zitations- und hocheinflussreichen Werten der Studie.

Was Semantic Scholar kostet

Nichts. Semantic Scholar bietet keinen kostenpflichtigen Tarif an, und in den FAQ wird es als kostenloses Tool bezeichnet. Die Entscheidung dafür hängt also von den in diesem Testbericht beschriebenen Aufgaben ab und nicht vom Preis.

Preise Stand Oktober 2026, am 4. Oktober von semanticscholar.org/faq und jenni.ai/pricing abgerufen.

Semantic Scholar im Vergleich zu den Alternativen

Google Scholar – bei diesem Test die bessere Wahl, um eine Behauptung einzugeben und deren Quelle zurückzuerhalten. Der Google Scholar Leitfaden erklärt die Suchoperatoren wie Anführungszeichen und OR.

Elicit – Elicit nahm denselben vollständigen Satz am selben Tag als Suchanfrage für Arbeiten entgegen und setzte den NEJM-Bericht an die erste Stelle einer dreizeiligen Tabelle. Bei diesem Durchlauf fand es die Quelle anhand der Behauptung, während Semantic Scholar nichts zurückgab.

Jenni – es setzt am anderen Ende an, direkt im Entwurf. Seine Zitierschaltfläche öffnet eine Literatursuche direkt am Cursor, und mit einem Klick werden das In-Text-Zitat und die Referenz zusammen abgespeichert.

In einem Test am 1. Oktober listete der APA-Eintrag für diese Studie die ersten 19 Autoren, Auslassungspunkte und den letzten Autor auf, gefolgt von Band 385, Ausgabe 6, Seiten 493 bis 502 und der DOI.

Als der Titel in diese Suche eingegeben wurde, stufte Jenni einen Nachdruck von 2022 mit demselben Titel höher ein als den NEJM-Bericht, sodass die DOI-Überprüfung auch dort ratsam ist.

In Semantic Scholar gefundene Arbeiten können über die DOI oder über den Zotero- und Mendeley-Import übertragen werden. Der Vergleich zwischen Jenni und ChatGPT führte einen ähnlichen Test zum Auffinden der Studie mit einem Chatbot durch, und der Leitfaden für medizinische Forschungsdatenbanken listet auf, wo man sonst noch nach klinischen Arbeiten suchen kann.

Sollten Sie Semantic Scholar für eine Abschlussarbeit nutzen?

Ja, allerdings eher an der Seite von Google Scholar und nicht als dessen Ersatz. In diesem Test verfolgte Google Scholar die Behauptung zurück zu ihrer Quelle, während Semantic Scholar zeigte, wer die Ergebnisse der Studie zitiert hat und was dazu geschrieben wurde.

Übernehmen Sie Zitate von keiner der beiden Schaltflächen ungeprüft. Vergleichen Sie DOI, Band und Seiten mit dem PubMed-Eintrag und stellen Sie sicher, dass die Quelle tatsächlich das aussagt, was der Satz behauptet, wie im Artikel Eine echte Quelle hinter einer falschen Behauptung erläutert wird.

<CTA title="Zitieren Sie das Dokument und erhalten Sie die vollständige Referenz" description="Jenni speicherte diese Studie mit Band, Ausgabe, Seiten und DOI ab, und die Stil-Auswahl umfasst mehr als 10.000 Zitierstile" buttonLabel="Kostenlos mit dem Schreiben beginnen" link="https://app.jenni.ai/register" />

Für das Schreiben selbst empfiehlt es sich, die Arbeit in Jenni zu entwerfen, wo die Zitate und das Literaturverzeichnis im selben Dokument wie die Kapitel liegen, während die Funktion Claim Confidence jede Behauptung mit veröffentlichten Quellen abgleicht.