GPT 3 und SEO: Warum KI Ihren Inhalt für immer revolutionieren wird

Wir haben den Hype inzwischen alle gehört.

OpenAI hat eine neue Version des Generative Pre-trained Transformer Version 3 (kurz GPT-3 oder GPT 3) mit Beta-API-Zugriff GPT 3 veröffentlicht, ähnlich wie sein Vorgänger GPT 2. GPT 3 ist ein großes tiefes neuronales Netz, das automatisch Text erzeugen kann, der realistisch genug ist, um den durchschnittlichen Menschen zu täuschen. Es ist eine fortschrittliche KI, die lernt, menschliches Schreiben aus dem Web zu imitieren.

Hier ist ein Auszug aus einem Artikel von GPT 3 generiert:

In den Jahren nach dem Zweiten Weltkrieg begannen sich die Wirtschaft der westlichen Welt und insbesondere die Volkswirtschaften Europas zu erholen und Wachstum zu zeigen. Der Wiederaufbau von Fabriken, Straßen und Brücken, Städten und Häusern, Häfen und Flughäfen hatte begonnen. Die Wirtschaft Europas war zu einem Motor des Wachstums für die gesamte westliche Welt geworden. Länder, Unternehmen und Menschen prosperierten, und in Europa begann eine große Phase des Wirtschaftswachstums, steigender Löhne und verbesserter Lebensstandards. Die Kombination aus Wiederaufbau und neuen Investitionen machte Europa zu einem großartigen Ort für Geschäfte. Für Unternehmen war Europa ein riesiger Markt, dessen Mitglieder hinsichtlich Marktregulierung, Infrastruktur, Investitionspolitik und Kultur mehr oder weniger vereinheitlicht waren. Firmen bauten Fabriken, investierten und erschlossen neue Märkte, und diese Investitionen wurden größtenteils durch Schulden finanziert.

Diese Ergebnisse haben die Öffentlichkeit zweifellos überrascht und viel Hype erzeugt. Der generierte Text liest sich gut und ist grammatikalisch korrekt - aber GPT 3 ist nicht nur ein leistungsstarker Textgenerator. Die Technologie markiert eine grundlegende Art und Weise, wie wir über Content-Erstellung, Marketing und SEO (Search Engine Optimization) nachdenken müssen. Kurze Inhaltsausschnitte wie der oben gezeigte können leicht und kostengünstig erstellt werden.

Als SEO-Experten und Content-Ersteller ist es unerlässlich zu verstehen, was GPT 3 ist. Bedeutet das, dass menschliches Schreiben obsolet ist? Kann es hochwertige Texte erzeugen? Bedeutet dies ein Weltuntergangsszenario, in dem SEO-Spam-Bots unbegrenzt Müll produzieren?

Auch wenn an diesen Befürchtungen einiges dran ist, finden wir, dass der übertriebene Hype rund um GPT 3 mehr Klarheit braucht. Um die Auswirkungen von Textgenerierungstechnologien auf SEO und Content Writing zu verstehen, müssen wir zunächst aufschlüsseln, was GPT 3 tut, warum es wichtig ist und wie es funktioniert.

Die Allgemeingültigkeit von GPT-3

GPT-3 und seine Vorgängertechnologien (GPT und GPT 2) sind eine Forschungsreihe zu allgemeinen NLP-Modellen (Natural Language Processing), die von OpenAI entwickelt wurden. Aber was bedeutet allgemein?

Maschinelles Lernen hat eine lange Geschichte in der Entwicklung von Systemen, die nur in einer Sache gut sind. Solche Systeme nennt man schmale KI. Wenn Sie eine KI wollen, die die Bewertung einer Amazon-Bewertung vorhersagt, können Sie leicht eine trainieren, wenn Sie genügend Trainingsdaten haben. Wenn Sie ein Modell entwickeln wollen, das auf ein Profilbild in sozialen Medien schaut und Ihnen sagt, wer es ist, können Sie ein anderes Modell trainieren, das diese Aufgabe erfüllt.

Das Problem ist, dass KI-Systeme, die auf eine dieser Aufgaben trainiert wurden, nichts anderes ausführen können - daher der Begriff schmal. Sie sind auf den Bereich beschränkt, auf den sie trainiert wurden. Der aktuelle Heilige Gral der KI-Forschung besteht darin, allgemeinere Technologien zu finden - KIs, die viele Dinge können. Hier ist der Grund, warum allgemeine Technologien echte Game-Changer sind.

Warum KI-Generalisten bauen?

Eine verbreitete Meinung lautet - sollten nicht spezialisierte Experten bevorzugt werden?

In den frühen Tagen der Computertechnik entwickelten Menschen spezialisierte Computer, die nur eine Art von Problem berechnen und lösen konnten. Stellen Sie sich einen spezialisierten Rechner vor, der nur addieren kann, aber sonst nichts. Sicher, er ist wirklich gut im Addieren und kann es sehr schnell, aber besonders nützlich wäre das nicht.

Stattdessen ist es viel nützlicher, einen Computer zu haben, der addieren, subtrahieren, online gehen, Videospiele spielen usw. kann. Moderne Computer auf Basis der von-Neumann-Architektur haben diese allgemeinen Fähigkeiten. Rückblickend ist es leicht zu sagen, dass allgemeines Rechnen eine der einflussreichsten Erfindungen der Menschheit ist.

Dasselbe Prinzip gilt für KI-Technologien wie GPT 3. Wir wollen Allgemeingültigkeit in unseren Systemen, weil sie es uns ermöglicht, viel mehr Probleme zu lösen, ohne verschiedene anstehende Aufgaben manuell zu konstruieren. Außerdem hat sich gezeigt, dass allgemeine Lernansätze die KI-Genauigkeit bei NLP-Aufgaben um mindestens 60% erhöhen.

Schließlich ist der Mensch eine Form allgemeiner Intelligenz. Allgemeine Intelligenz ermöglicht es uns, Fähigkeiten zu erwerben, von denen wir vorher nicht einmal wissen, dass sie nützlich sind. Für alle, die sich dafür interessieren, was allgemeine Intelligenz bedeutet, empfehlen wir Chollets Arbeit On the Measure of Intelligence.

Für SEO-Marketing bedeutet das, dass wir im Voraus nicht wissen müssen, welche Art von Inhalt wir produzieren wollen. Wir müssen nicht für einen leicht anderen Zweck eine andere KI erstellen.

GPT-3 ist ein KI-System, das einige Eigenschaften allgemeiner Intelligenz aufweist (manchmal als Proto-AGI bezeichnet). Zum Beispiel können wir die KI mit Beispielen von Charakterdialogen auffordern und sie bitten, sie fortzusetzen:

Rex ist ein Zeitreisender aus der Zukunft. Ada ist eine Adlige aus dem 19. Jahrhundert. Rex: Ich glaube, ich habe meine Zeitmaschine in eurem Garten zu Schrott gefahren. Ada: Verzeihung? Was haben Sie gesagt, junger Mann?

Es kann auch eine Vielzahl anderer Aufgaben ausführen und sogar HTML-Code erzeugen. Das ist eine große Sache, weil es bedeutet, dass wir mit GPT viele inhaltsbezogene Aufgaben lösen können.

Heißt das also, dass GPT 3 alle relevanten Aufgaben im Zusammenhang mit SEO lösen kann?  Kann es Blogbeiträge zu jedem Thema oder Inhalte für jede gewünschte Kategorie erstellen? Nicht ganz. Um diese Frage zu beantworten, müssen wir aufschlüsseln, wie GPT 3 funktioniert.

Wie GPT 3 lernt

Big Data nutzen

Modelle des maschinellen Lernens (und insbesondere tiefe neuronale Netze) sind datenhungrig und funktionieren nur gut, wenn man sie mit vielen Daten versorgt. Schließlich ist Daten das neue Öl.

Aber an Daten zu kommen ist schwierig und teuer. Die meisten nützlichen Machine-Learning-Systeme erfordern, dass Menschen mühsam jeden einzelnen Datenpunkt kennzeichnen. Beschriftete Daten sind in vielen Anwendungen meist der größte Engpass, weil sie teuer zu beschaffen sind - stellen Sie sich die Kosten vor, eine Flotte von Amazon Turkers anzustellen!

GPT 3 umgeht dieses Problem, indem es sein eigenes Trainingssignal erzeugt, indem es natürlich vorkommenden Text im Web modelliert. Es verwendet ein Machine-Learning-Paradigma namens unüberwachtes (oder selbstüberwachtes) Lernen. Das ermöglicht Lernen ohne von Menschen gelabelte Daten. Für alle, die sich in die technischen Details des unüberwachten Lernens vertiefen möchten, hat unser CTO hier eine ausführliche Analyse verfasst.

Aber selbst ohne Labels brauchen wir doch trotzdem viele Daten, oder?

Tatsächlich liegen die Daten direkt vor unserer Nase. Das Internet enthält eine Menge hochwertiger, gut geschriebener Artikel zu den unterschiedlichsten Themen - und sie sind alle leicht zugänglich. Das Schöne an der Trainingsmethode von GPT ist, dass es im Grunde nur lernen muss, diese von Menschen geschriebenen Artikel vorherzusagen, um gut zu funktionieren.

Aber Moment - gibt es im Web nicht auch jede Menge Müll? Würde GPT 3 das nicht ebenfalls lernen?

Das stimmt. Die Entwickler von GPT haben einige dieser Probleme abgemildert, indem sie Crowdsourcing zur Kuratierung der Daten verwendet haben. Eine Möglichkeit besteht darin, sich die URLs anzusehen, die Menschen auf Reddit teilen, und nur Inhalte und Beiträge von Websites mit einer großen Anzahl an Reddit-Upvotes zu crawlen.

Lernen durch Sprachgenerierung

Sobald Sie die Daten haben, können Sie GPT trainieren. Aber wie kann man GPT trainieren, damit es all diese allgemeinen Fähigkeiten entwickelt, die wir uns wünschen? Eine Idee ist einfach Textgenerierung. GPT lernt, natürliche Sprache zu erzeugen, indem es das nächste Wort vorhersagt in einem Artikel anhand der vorherigen Wörter.

Das ist der Hauptgrund, warum GPT Inhalte nur von links nach rechts erzeugt (rückwärts kann es das nicht). Diese Art des Lernens nennt man Sprachmodellierung.

So einfach ist das.

Indem die KI vorhersagt, welches Wort als Nächstes in einem Satz kommt, muss sie lernen, andere Wörter in ihrem Kontext zu nutzen. Das zwingt GPT implizit, viele weitere wichtige allgemeine Kenntnisse zu lernen.

Was ich nicht erschaffen kann, verstehe ich nicht.

-- Richard Feynman

Um das nächste Wort korrekt vorherzusagen, müssen Sie zusätzlich zu grundlegenden Dingen wie englischer Syntax und Grammatik auch ein gewisses Maß an gesundem Menschenverstand über unsere Welt besitzen. So ermöglicht das einfache Vorhersagen von Artikeln GPT, erstaunliche menschenähnliche Verhaltensweisen zu erlernen.

Sprachgenerierungssysteme haben eine lange Geschichte im Machine Learning, und GPT ist kein Neuling in diesem Bereich. Tatsächlich betrachten einige KI-Forscher GPT weniger als wissenschaftlich neuartige Leistung, sondern eher als beeindruckende Ingenieursleistung. Es lehrt uns eine wichtige Lektion darüber, was 4+ Millionen Dollar an Rechenressourcen zusammen mit einer großen Menge an Daten für uns leisten können - und was nicht.

Also, was ist das Fazit?

OpenAI hat uns gezeigt, dass das Skalieren von KI-Lösungen uns ziemlich weit bringen kann. GPT kann, wenn es auf seine größte Größe skaliert wird, viele allgemeine Fähigkeiten allein dadurch extrahieren, dass es beobachtet, wie Menschen schreiben. Deshalb sehen Sie von dem Modell so beeindruckende Leistungen. Google hat kürzlich eine Version von GPT namens Switch Transformers auf das 10-Fache der Größe von GPT-3 skaliert.

Es ist die bittere Lektion, die viele KI-Forscher erkannt haben: Lösungen, die von Rechenleistung und Lernen angetrieben werden, schlagen manuelle menschliche Arbeit. Durch das Skalieren eines einfachen Generierungsframeworks erhalten wir GPT 3, das fast wie ein Mensch schreibt.

Aber GPT 3 kommt nicht ohne seine Grenzen. Als SEO- und Content-Marketer ist es äußerst wichtig, diese Grenzen zu kennen, und sie beeinflussen, wie wir diese Technologie zur Sprachverarbeitung nutzen können.

Grenzen der Textgenerierung

Schlechtes Weltmodell und faktische Korrektheit

Trotz des Hypes versteht GPT unsere Welt nicht gut. Eine interessante Möglichkeit, diesen Mangel an einem Weltmodell zu erkennen, besteht darin, GPT mit etwas zu prompten, das mit gesunder Alltagsphysik oder der realen Welt zu tun hat. Wie in OpenAIs technischem Paper erwähnt, hat es Schwierigkeiten, Fragen wie „Wenn ich Käse in den Kühlschrank lege, schmilzt er dann?“ zu beantworten. Es kann auch andere menschliche Konzepte wie Wortspiele offensichtlich nicht verstehen.

Ein möglicher Grund dafür ist, dass die KI keine verkörperte Kognition ist - sie hat einen Kühlschrank nie wirklich gesehen oder gefühlt, obwohl sie im Trainingsmaterial oft darüber gelesen hat. Wenn Sie KI blind verwenden, um Texte für Ihre Content-Marketing-Bedürfnisse zu generieren, erhalten Sie einige Unstimmigkeiten und sachlich falsche Angaben.

Unerwünschte Verzerrung

GPT wird im Web trainiert und leidet daher unter denselben Verzerrungen, die Internetdaten mit sich bringen. Daher kann die direkte Verwendung von GPT dazu führen, dass unangemessene oder beleidigende Inhalte erstellt werden. Einige Möglichkeiten, dies zu mildern, wären Filter für anstößige Inhalte, die unangemessene Inhalte ablehnen. Die Reduktion unerwünschter Verzerrungen im Machine Learning ist nach wie vor ein aktives Forschungsgebiet.

Domänenanpassung

Obwohl GPT ein allgemeines Sprachverständnis gelernt hat, ist es möglicherweise nicht für Ihre Domäne geeignet. Aktuelle Forschung hat gezeigt, dass das Feinabstimmen und Anpassen von GPT-ähnlichen Modellen zu noch besseren Ergebnissen führen kann.

GPT arbeitet mit nur wenigen Beispielen, aber wenn man ihm eine größere Datenmenge zur Verfügung stellt, führt das definitiv zu besseren Ergebnissen. Eine weitere Einschränkung von GPT ist seine maximale Generierungslänge, weshalb es möglicherweise nicht geeignet ist, lange Dokumente als Eingabe zu verwenden.

Praktische Effizienz

Auch wenn es noch zu früh ist, um es sicher zu sagen, scheint OpenAI vorzuhaben, eine hohe Gebühr zu verlangen, um GPT zu nutzen. Diese Lösung könnte für einige Anwendungsfälle teuer sein, und der angebotene Dienst ist nicht für SEO zugeschnitten. GPT intern zu verwenden oder zu trainieren, ist aufgrund seiner enormen Parametergröße eine praktische Herausforderung.

Dieses Problem ist langfristig ein geringeres Anliegen. Es gibt einige Forschungsrichtungen, die effizientere Wege zur Ausführung von GPT ermöglichen und dadurch die langfristigen Kosten senken werden.

Die SEO-Chance von GPT-3

Also ist GPT-3 ein leistungsstarkes Textgenerierungssystem - aber was bedeutet das alles für Content-Marketing? Content-Marketing für SEO besteht aus vielen Schritten. Es reicht von der Keyword-Recherche über die Wettbewerbsanalyse bis hin zur eigentlichen Erstellung Ihrer Inhalte.

Wir sehen GPT vor allem bei der Content-Erstellung im Einsatz, aber es kann das nicht isoliert tun. Aufgrund der Grenzen der Technologie ist es offensichtlich, dass es keine großartigen Ergebnisse bringen würde, den Algorithmus einfach frei laufen zu lassen. Es muss einen Menschen in der Schleife geben.

Autoren werden zu Künstlern

GPT glänzt dann, wenn es am besten als Werkzeug in Verbindung mit menschlichen Autoren eingesetzt wird — wie Autoren KI-Tools nutzen, ohne ihre Stimme zu verlieren, wird zu einer Kernkompetenz für SEO-Teams. Das liegt daran, dass menschliche Autoren in mehreren Dingen besser sind, in denen KI schwach ist. Zum Beispiel sind menschliche Autoren besser im abstrakten Denken und darin, herauszufinden, was man schreiben soll. KI ist großartig bei низleveligen Aufgaben wie dem Erstellen von Kategorieseiten aus einer Liste von Webseiten auf einer Website.

Viel Aufwand beim Schreiben fließt in niedrigschwellige Probleme wie grammatikalische Korrektheit, Tonfall und sprachliche Flüssigkeit. Mit GPT wird die Rolle des menschlichen Autors zu der eines Editors. Stellen Sie sich vor, Sie malen breite Pinselstriche auf eine Leinwand, und die KI füllt die Details des Bildes aus; dann bearbeitet der Mensch diese Details, bis alles perfekt ist.

In gewisser Weise ist das großartig, weil Autoren sich auf Dinge konzentrieren können, die interessanter sind - hochwertige Content-Ideen zu entwickeln und sich auf die kreativere Seite des Schreibens zu konzentrieren. Das ist besser, als Kategorieseiten zu erstellen, sich darauf zu konzentrieren, wie viele Keywords nötig sind, um einen Artikel zu stopfen, damit er eine optimale Menge erreicht, und/oder sicherzustellen, dass jeder Satz flüssig ist.

Werkzeuge, um Menschen und KI zu verbinden

Die Folge daraus ist, dass wir eine großartige Benutzererfahrung und Werkzeuge brauchen, die GPT nutzen, damit es gut zusammen mit Autoren arbeiten kann. Grob gesagt gibt es mehrere Möglichkeiten, GPT-ähnliche Technologie als nützliche Werkzeuge für das Schreiben von Inhalten umzusetzen. Hier sind einige Beispiele für KI-Technologien, die als verschiedene Werkzeuge realisiert wurden:

Lesbarkeitsanalyse

Eine gute Lesbarkeit ist ein wichtiger Teil großartiger Inhalte. Sie hilft Ihren Nutzern, engagiert zu bleiben und mehr Zeit auf Ihrer Seite zu verbringen, was ein wichtiger Faktor für ein hohes Ranking bei Google ist. Aber Artikel zu schreiben, die leicht zu lesen sind, ist leichter gesagt als getan.

Hier bei Jenni haben wir ein Tool entwickelt, das diese Aufgabe für Sie übernimmt. Wir haben eine GPT-3-ähnliche Technologie verwendet, sie aber für automatische Satzumformulierungen angepasst, damit der Text lesbarer wird.

Intelligentes Umformulieren

Paraphrasieren ist die Kunst, eine Quelle zu verwenden, ohne den Quelltext direkt zu zitieren.  Immer wenn Sie Informationen aus einer Quelle verwenden, die nicht von Ihnen stammt, müssen Sie angeben, woher Sie diese Informationen haben. Diese Frage taucht auch bei KI oft auf; unsere Analyse zu KI-Schreiben, Plagiat und Originalität behandelt, worauf Sie achten sollten.

Der obige Absatz wurde mithilfe unserer automatischen Umformulierungs-KI nach Purdues Definition paraphrasiert. Eine KI, die intelligentes Umformulieren ausführt, kann jeden Satz so umschreiben, dass er sich vom Quelltext unterscheidet, oder ihn in verschiedene gewünschte Schreibstile umformulieren.

Bei Jenni haben wir Studien mit unseren Autoren durchgeführt und festgestellt, dass die Automatisierung des Umformulierens mindestens 30% der Zeit eines Autors sparen kann. Außerdem können Autoren mit alternativen Formulierungen von Sätzen experimentieren, von denen einige flüssiger als der ursprüngliche Text sein oder die Absicht besser vermitteln können.

Themenoptimierung

Viele SEO-Experten verlassen sich auf Themenoptimierung als eine Möglichkeit, sicherzustellen, dass ihre Inhalte in Suchmaschinen gut ranken. Tatsächlich ist die Entwicklung einer Reihe von Themen wichtig, um für bestimmte Suchanfragen relevant zu sein, aber sicherzustellen, dass ein Artikel alle thematischen Anforderungen erfüllt, ist herausfordernd.

Unsere Redakteure verbrachten früher 1-4 Stunden mit manueller Themenoptimierung. Der Einsatz von KI-Systemen zur Erkennung der Themenrelevanz in Ihrem Artikel kann Ihnen helfen, Ihre Texte auf Kurs zu halten, wodurch Redakteure davon befreit werden, irrelevante Inhalte neu zu schreiben.

Zusammenfassung

Wie wir bereits besprochen haben, ist KI hervorragend bei niedrigschwelligen Aufgaben, und Zusammenfassen ist keine Ausnahme. Wenn es um das Schreiben von Inhalten geht, haben wir festgestellt, dass eine häufige Aufgabe von Autoren darin besteht, andere Texte zusammenzufassen.

Zusammenfassen ist eine Aufgabe, bei der sich KI-Systeme in produktiven und kommerziellen Systemen als leistungsfähig erwiesen haben. Warum also einen dichten Textblock durchlesen, wenn eine KI Ihnen stattdessen eine knappe Liste mit Stichpunkten liefern kann? In ähnlicher Weise können Sie KI verwenden, um Indizes oder Kategorieseiten zu erstellen, wenn Sie Ihre Website bereits aufgebaut haben.

Kann generierter Inhalt ranken?

Einige SEO-Praktiker sind besorgt geworden, wenn es um den Einsatz automatisierter Inhaltserstellung und mögliche Strafen durch Google geht.

Google will, wie viele Suchmaschinen, seinen Nutzern die relevantesten Inhalte liefern. Das Hauptproblem mit generierten Inhalten ist also nicht, dass sie generiert sind, sondern eher, dass die Absicht meist darin besteht, Spam zu erzeugen. Google hat erklärt, dass generierte Inhalte in Ordnung sind, solange sie dem Nutzer einen echten Mehrwert bieten und nicht dazu verwendet werden, das System auszutricksen.

Tatsächlich nutzen viele große Nachrichten- und Medienhäuser wie Forbes bereits Technologien zur Inhaltserzeugung, um sich Unterstützung zu holen. Der Schlüssel liegt hier darin, das Beste aus beiden Welten zu verbinden - menschliche und künstliche Intelligenz - um überzeugende Inhalte zu schaffen. Wenn Sie der Internetwelt wertvolles Wissen beitragen, können Sie sicher sein, dass Sie an der Spitze ranken, selbst wenn ein Teil Ihrer Inhalte generiert ist.

Die Zukunft von KI und SEO

Die Grenze zwischen Wissenschaft und Fiktion verschwimmt immer mehr mit der Veröffentlichung modernster KI-Modelle wie GPT. Die enorme Qualitätsverbesserung zwischen GPT 2 und GPT 3 innerhalb nur eines Jahres ist atemberaubend. Mit der Zeit ist die Zeitung, die Sie vor dem Frühstück lesen, immer wahrscheinlicher von jemandem oder etwas geschrieben worden zu sein, das in seinem Leben noch nie ein Omelett hatte.

Deshalb glauben wir, dass es wichtig ist, ein tieferes Verständnis von KI-Technologie zu entwickeln, das über den bloßen Hype hinausgeht. Wer nicht im SEO-Bereich arbeitet, wird vielleicht einfach von den Fortschritten der KI beeindruckt sein. Wer im SEO-Bereich Inhalte erstellt, muss sich an diese Werkzeuge anpassen, um an der Spitze zu bleiben.