Elicit AI Test: Findet es die richtigen Arbeiten für eine Doktorarbeit?

Elicit erhielt einen Satz aus einem Entwurf, die Behauptung, dass eine CRISPR-Studie das Serum-Transthyretin um 87 % senkte, und wurde gebeten, die dahinter stehenden Arbeiten zu finden. Der NEJM-Bericht von 2021 erschien als Erster, und der Nachdruck von 2022, der denselben Titel trägt, tauchte nie auf.

Eine zu dieser Tabelle hinzugefügte Spalte fragte nach der Reduktion bei der jeweiligen Dosis. Elicit lieferte 52 % für die Gruppe mit 0,1 mg pro Kilogramm und 87 % für die Gruppe mit 0,3 mg und schrieb „not reported“ (nicht gemeldet) statt einer Vermutung, wenn eine Arbeit selbst keine Dosisangaben enthielt.

<CTA title="Sichern Sie jede gefundene Arbeit in einer Bibliothek" description="Durchsuchen Sie Ihre eigenen Arbeiten nach Bedeutung oder Schlüsselwort, über Titel, Autoren, Zusammenfassungen und den vollständigen PDF-Text" buttonLabel="Jenni kostenlos testen" link="https://app.jenni.ai/register" />

TLDR

Was Elicit ist

Elicit ist ein Forschungsassistent, der mit einem wissenschaftlichen Index arbeitet, und seine Homepage beziffert diesen Index auf über 138 Millionen akademische Arbeiten und 545.000 klinische Studien.

Das Eingabefeld enthält eine Modus-Schaltfläche mit der Aufschrift „Research agent“ (Forschungsassistent), und darunter befinden sich fünf Chips, die festlegen, was der Assistent erstellen soll:

• Find papers - liefert eine sortierbare Tabelle von Quellen mit einer Spalte „Summary“ (Zusammenfassung) und „Relevance“ (Relevanz) für jede Quelle.

• Draft report - verfasst einen Bericht mit Quellenangaben und zeigt die verwendeten Quellen an.

• Build deck - der Präsentationsmodus, der in diesem Test nicht ausgeführt wurde.

• Strategy and Landscapes - zwei weitere Modi, die hier ebenfalls ungetestet blieben.

Die linke Navigationsleiste enthält „New“, „Search“, „Recents“ und „Library“, sodass Sitzungen und gespeicherte Arbeiten in einem Konto und nicht in einem Dokument verbleiben.

Für wen Elicit gedacht ist

Elicit gehört eher zur Phase des Lesens als zur Phase des Schreibens. Es passt zu dem Zeitpunkt einer Abschlussarbeit, an dem die Fragestellung feststeht, die dahinter stehenden Arbeiten jedoch noch nicht.

Es eignet sich auch für jeden, der dieselbe Kennzahl aus jeder Arbeit einer Reihe extrahieren muss, da genau das die Tabellenspalten tun. Es ist kein Editor, und der Entwurf muss dennoch an anderer Stelle geschrieben werden.

Für Forschende, die bereits ein fertiges Manuskript vorliegen haben, ist der Nutzen begrenzter. Elicit sagt Ihnen zwar, was die Fachwelt zu einer von Ihnen aufgestellten Behauptung sagt, markiert jedoch nicht den Satz, der diese Behauptung aufstellt.

Der Test, Durchlauf für Durchlauf

Zwei Sätze aus dem CRISPR-Absatz, der für diese Testberichte verwendet wurde, durchliefen in einer einzigen Sitzung drei Elicit-Modi.

• Die Behauptung - Serum-Transthyretin sank nach einer Infusion in der höheren Dosierung um durchschnittlich 87 % (Gillmore et al., NEJM 2021).

• Die Falle - ein Nachdruck von 2022 trägt denselben Titel wie diese Arbeit, sodass eine Suche das falsche Ergebnis liefern kann.

• Die zu schützenden Zahlen - das PubMed-Abstract gibt 52 % bei 0,1 mg pro Kilogramm und 87 % bei 0,3 an.

• Wie protokolliert wurde - jede Zählung und zitierte Zeile hier wurde der Seite entnommen, und jede Zeitmessung erfolgte durch Abgleich mit der Uhr.

Find papers: Eine Behauptung rein, vier Arbeiten raus

Der Durchlauf - die Behauptung wurde als einzelner Satz eingegeben, wobei der Chip „Find papers“ ausgewählt war. Etwa 50 Sekunden nach dem Klick erschienen die ersten Zeilen, und beim Check nach 80 Sekunden war die Tabelle vollständig.

Das Ergebnis war eine vierspaltige Tabelle unter der Überschrift „Papers on first-in-human systemic LNP-CRISPR therapy for transthyretin“ mit den Spalten „Source“, „Summary“ und „Relevance“.

Zeile eins war die NEJM-Arbeit von 2021, gekennzeichnet mit „Full text available“, wobei das Relevanzfeld den Text enthielt: „Direct primary evidence for the trial and the 87% figure in the prompt.“ (Direkter Primärbeleg für die Studie und den Wert von 87 % in der Eingabe). Der Nachdruck von 2022 war nicht in der Tabelle enthalten.

Die „Find papers“-Tabelle mit dem NEJM-Bericht von 2021 in der ersten Zeile und der entsprechenden Relevanznotiz daneben.

Die anderen drei Zeilen waren ein Kommentar aus dem Jahr 2021, eine Übersichtsarbeit aus dem Jahr 2023 über eine Kardiomyopathie-Kohorte und eine präklinische Studie aus dem Jahr 2018. Jede Zeile enthielt das Journal, das Jahr, eine Zitationshäufigkeit, einen DOI-Chip und eine Volltext-Plakette.

Neben der Tabelle fasste Elicit die Ergebnisse im Fließtext zusammen, nannte die Studie, die sechs Teilnehmenden, die Dosis und den Tag der Messung, wobei das Zitat an den Satz angehängt war.

Eine methodische Notiz unter dieser Antwort besagt, dass die Ergebnisse in einer mit Quellen verknüpften Sammlung kuratiert wurden, wobei die Primärstudie priorisiert und angrenzende Interpretationen hinzugefügt wurden. Es ist eine kurze Zeile darüber, wie die vier Zeilen ausgewählt wurden.

Unter der Antwort wurden drei Folgefragen angeboten, darunter eine, die nach den 12-Monats-Ergebnissen suchen würde, und eine, die die Sammlung als Literaturverzeichnis exportieren würde.

<ProTip title="🔎 Eine Behauptung pro Suche:" description="Fügen Sie den einzelnen Satz ein, den Sie belegen müssen, anstatt des gesamten Absatzes. Je spezifischer die Behauptung, desto genauer stimmt die erste Zeile damit überein" />

Eine Spalte hinzufügen: Die Dosen, die es richtig erfasst hat

Der Durchlauf - die Schaltfläche „Add a column“ öffnet ein Fenster mit den Feldern „Name“ und „Instructions“. Die Spalte wurde „TTR reduction by dose“ genannt, und die Anweisungen verlangten die durchschnittliche Reduzierung bei jeder Dosis mit dem Vermerk „not reported“, wenn eine Arbeit keine Zahlen lieferte.

Die Spalte füllte sich in unter 40 Sekunden. Bei der NEJM-Arbeit hieß es: „0.1 mg/kg: 52%; 0.3 mg/kg: 87%.“, was mit dem Abstract zu beiden Dosierungen übereinstimmt.

Die hinzugefügte Spalte mit den beiden aus der Studienarbeit extrahierten Dosiswerten.

Sowohl der Kommentar als auch die präklinische Studie kamen mit „not reported“ zurück, was bedeutet, dass der Anweisung gefolgt wurde, anstatt eine Lücke mit einer Vermutung zu füllen.

<ProTip title="🧪 Nennen Sie die Einheit in der Spalte:" description="Schreiben Sie die Einheit und ein Beispiel in das Anweisungsfeld, wie z. B. eine Dosis in mg pro kg. Spalten, nach denen in einfachen Worten gefragt wird, kommen in gemischten Formaten zurück" />

Draft report: Wo es widersprach

Der Durchlauf - der Chip „Draft report“ übernahm die Einschränkung aus demselben Absatz, die behauptet, dass ionisierbare Lipidchemie der Haupthebel für das Targeting außerhalb der Leber sei. Der Bericht traf etwa zwei Minuten nach dem Klick ein.

Die Fortschrittsanzeigen sind sehr präzise, was den Umfang betrifft. Elicit meldete, dass Belege aus 56 gesichteten Quellen verglichen wurden, und anschließend direkte Ergebnisse mit Delivery-Proxys in 10 Studien verglichen wurden.

Der Bericht beantwortete die erste Hälfte der Frage mit Ja und lehnte die zweite Hälfte ab. Der Bericht besagt, dass die Belege die Bezeichnung der Lipidchemie als universellen oder einzigen Hebel nicht stützen, und nennt die anderen Variablen, die das Ergebnis beeinflussen.

Der Anfang des generierten Berichts, abgeschlossen mit einem Zitations-Chip am Ende der Zusammenfassung.

Er unterscheidet auch drei Dinge, die ein unachtsamer Leser vermengen würde: Partikel, die ein Organ erreichen, die Expression nach dem Transport und das Editieren in den Zielzellen. Wo ein zitiertes Ergebnis von schwächerer Art war, wird dies im Bericht so ausgewiesen.

Jede Behauptung im Bericht enthält einen Inline-Zitations-Chip, der einen Autor und ein Jahr nennt, und ein Chip, der mehrere Quellen abdeckt, gibt eine Anzahl nach dem Namen an. Unter dem Bericht selbst gibt es kein nummeriertes Literaturverzeichnis.

Der letzte Abschnitt trägt die Überschrift „Overall assessment and remaining gap“ (Gesamtbewertung und verbleibende Lücke) und schließt mit dem, was die Belege noch nicht klären können, anstatt mit einer Wiederholung.

<ProTip title="🧭 Geben Sie die Behauptung ein, an der Sie zweifeln:" description="Geben Sie Ihre eigene Einschränkung in das Eingabefeld ein und prüfen Sie, ob der Bericht sie verteidigt. Ein Tool, das Kontra gibt, erledigt die Arbeit, die sonst ein Betreuer tun würde" />

Wo Elicit zu einem zweiten Blick rät

Das Berichtsfenster enthält eine Ansicht „Sources“ (Quellen), und in dieser Ansicht zeigen sich die Grenzen. Es listete 13 Quellen für einen Bericht auf, der rund 9.400 Zeichen umfasste.

Von diesen 13 waren 8 als „Full text available“ und 5 als „Abstract only“ gekennzeichnet. Das bedeutet, dass 5 der dem Bericht zugrunde liegenden Quellen nur auf Abstract-Ebene gelesen wurden.

Die Quellenansicht, in der die Plakette an der ersten Quelle zeigt, dass sie nur auf Abstract-Ebene gelesen wurde.

Der Menüpunkt, der die Ansicht öffnet, zeigt die Anzahl der Quellen direkt daneben an, sodass die 13 sichtbar ist, ohne etwas öffnen zu müssen. Die Aufteilung zwischen Volltext und Abstract ist jedoch nicht direkt sichtbar und erfordert ein Nachzählen.

Nichts davon macht den Bericht unbrauchbar. Es bedeutet lediglich, dass man die Plakette prüfen sollte, bevor ein Satz aus dem Bericht zu einem Satz in einem Kapitel wird.

Die Spalte „Relevance“ leistet in der Tabelle der wissenschaftlichen Arbeiten ähnliche Dienste. Bei der Übersichtsarbeit von 2023 heißt es dort: „Related cardiac-amyloidosis cohort context; distinct from the initial six-patient polyneuropathy report.“ (Zugehöriger Kontext der Herz-Amyloidose-Kohorte; unterscheidet sich vom ursprünglichen Polyneuropathie-Bericht über sechs Patienten), womit Elicit eine Zeile als angrenzend und nicht als äquivalent kennzeichnet.

<ProTip title="📄 Erst die Plakette prüfen, dann die DOI:" description="Öffnen Sie die Quellenansicht und suchen Sie nach der Kennzeichnung „Abstract-only“. Alles, was Sie zitieren möchten, sollte im Volltext gelesen werden – über die DOI statt über die Zusammenfassung" />

Was Elicit kostet

Elicit listet auf seiner Preisseite zwei Preismodelle auf, eines für akademische Nutzer und eines für die Industrie, jeweils mit monatlichen und jährlichen Preisen.

Preise Stand Oktober 2026, abgerufen am 2. Oktober von elicit.com/pricing.

Die akademische Plus-Stufe ist diejenige, die für eine Abschlussarbeit relevant ist, da Elicit dort den Export in RIS, CSV, BIB, PDF und DOCX anbietet, zusammen mit fünf Tabellenspalten gleichzeitig und der Suche in mehr als 500 Tausend klinischen Studien.

Basic deckt unbegrenzte Suche, unbegrenzte Zusammenfassungen und den Chat mit Arbeiten ab, wobei die Nutzung von Assistenten und Berichten als eingeschränkt beschrieben wird. Pro fügt den Workflow für systematische Übersichtsarbeiten hinzu, der 5.000 Arbeiten sichtet, 20 Spalten gleichzeitig, benutzerdefinierte Extraktionen und API-Zugang.

Der Zugriff auf „Routines“ (Routinen) ist ebenfalls ein Pro-Feature. Elicit beschreibt diese so, dass der Assistent neue Belege findet, Ihre Arbeit aktualisiert und Bericht erstattet – das ideale Feature für eine Übersichtsarbeit, die auf dem neuesten Stand bleiben muss. Das Extrahieren aus Abbildungen liegt noch eine Stufe höher, bei Scale.

Elicit im Vergleich zu Alternativen

Jenni - der Unterschied liegt darin, wo das Ergebnis landet. Elicit erstellt eine Tabelle in seinem eigenen Arbeitsbereich, während Jenni die Quelle direkt in das zu schreibende Dokument einfügt.

Für denselben Absatz lieferte Claim confidence in etwa 47 Sekunden 4 Vorschläge, jeweils in Form einer Inline-Karte, die die vorgeschlagene Quelle, deren Zitationshäufigkeit und deren Impact-Factor nennt, wobei die zitierte Passage angehängt ist und direkt akzeptiert oder abgelehnt werden kann.

Jenni verfügt außerdem über eine Bibliothek, die Titel, Autoren, Zusammenfassungen und den vollständigen PDF-Text durchsucht, und erstellt das Literaturverzeichnis direkt unter dem Entwurf, während Zitate eingefügt werden.

Consensus - es beantwortet eine Forschungsfrage auf der Grundlage veröffentlichter Studien, anstatt eine Tabelle zurückzugeben, und die Consensus-Rezension befasst sich mit dem Wert dieser Antworten. Derselbe Absatz wurde in den Tool-Rezensionen bereits durch verschiedene andere Tools geschickt.

Sollte eine Promotionskraft für Elicit bezahlen?

Für die Phase des Lesens: Ja. Es fand die richtige Arbeit anhand einer Behauptung statt eines Titels, es extrahierte zwei Dosiswerte korrekt und es weigerte sich, eine Einschränkung zu bestätigen, die im Entwurf übertrieben dargestellt worden war.

Bewahren Sie die DOI von allem auf, was zitiert werden soll, und prüfen Sie die „Abstract-only“-Plakette, bevor ein Satz aus dem Bericht zu einem Satz im Kapitel wird.

<CTA title="Sehen Sie zu, wie sich das Literaturverzeichnis von selbst schreibt" description="Zitieren Sie, während Sie schreiben, und das Literaturverzeichnis baut sich im Hintergrund auf – in APA, MLA, Chicago, IEEE oder Harvard" buttonLabel="Kostenlos mitschreiben" link="https://app.jenni.ai/register" />

Für die Kapitel selbst schreiben Sie die Arbeit in Jenni, was den Text und die Quellen in derselben Datei hält. Nutzen Sie Elicit zu Beginn eines Kapitels, während die Literaturrecherche noch läuft.