GPT 3 und SEO: Warum KI Ihren Inhalt für immer revolutionieren wird

Wir haben alle den Hype inzwischen gehört.

OpenAI hat eine neue Version des Generative Pre-trained Transformer Version 3 (kurz GPT-3 oder GPT 3) mit dem Beta-API-Zugriff veröffentlicht. GPT 3, ähnlich wie sein Vorgänger GPT 2, ist ein großes tiefes neuronales Netzwerk, das automatisch Texte erzeugen kann, die realistisch genug sind, um den durchschnittlichen Menschen zu täuschen. Es handelt sich um eine fortschrittliche KI, die lernt, menschliches Schreiben aus dem Web zu imitieren.

Hier ist ein Auszug aus einem Artikel, der von GPT 3 generiert wurde:

In den Jahren nach dem Zweiten Weltkrieg begann sich die Wirtschaft der westlichen Welt, insbesondere die Wirtschaft Europas, zu erholen und zu wachsen. Der Wiederaufbau von Fabriken, Straßen und Brücken, von Städten und Häusern, von Häfen und Flughäfen hatte begonnen. Die Wirtschaft Europas war zu einem Motor des Wachstums für die gesamte westliche Welt geworden. Länder, Unternehmen und Menschen gediehen, und eine großartige Periode des wirtschaftlichen Wachstums, steigender Löhne und verbesserter Lebensstandards begann in Europa. Die Kombination aus Wiederaufbau und neuen Investitionen machte Europa zu einem großartigen Ort, um Geschäfte zu tätigen. Für Unternehmen war Europa ein riesiger Markt, dessen Mitglieder in Bezug auf Marktvorschriften, Infrastruktur, Investitionspolitik und Kultur mehr oder weniger vereint waren. Unternehmen errichteten Fabriken, investierten und fanden neue Märkte, und diese Investitionen wurden größtenteils durch Schulden finanziert.

Diese Ergebnisse haben zweifellos die Öffentlichkeit überrascht und viel Hype erzeugt. Der generierte Text liest sich gut und ist grammatikalisch korrekt, aber GPT 3 ist nicht nur ein leistungsstarker Textgenerator. Die Technologie markiert eine grundlegende Veränderung unseres Denkens über die Erstellung von Inhalten, Marketing und SEO (Suchmaschinenoptimierung). Kurze Textausschnitte wie der oben gezeigte können zu niedrigen Kosten leicht erstellt werden.

Als SEO-Experten und Content-Ersteller ist es unerlässlich, GPT 3 zu verstehen. Bedeutet dies, dass menschliches Schreiben überflüssig ist? Kann es eine qualitativ hochwertige Kopie erstellen? Markiert dies ein Szenario des Jüngsten Gerichts, in dem Spam-Bots für SEO unbegrenzten Müll produzieren?

Obwohl an diesen Aussagen etwas Wahres dran ist, denken wir, dass der Hype um GPT 3 mehr Klarheit benötigt. Um die Auswirkungen von Textgenerierungstechnologien auf SEO und Content-Erstellung zu verstehen, müssen wir zunächst untersuchen, was GPT 3 tut, warum es wichtig ist und wie es funktioniert.

Die Allgemeinheit von GPT-3

GPT-3 und seine Vorgängertechnologien (GPT und GPT 2) sind eine Reihe von Forschungen zu allgemeinen NLP (Natural Language Processing)-Modellen, die von OpenAI entwickelt wurden. Aber was bedeutet es, allgemein zu sein?

Das maschinelle Lernen hat eine lange Geschichte der Entwicklung von Systemen, die nur gut in einer Sache sind. Diese Systeme werden enge KI genannt. Wenn Sie eine KI wollen, die die Bewertung einer Amazon-Rezension vorhersagt, können Sie leicht eine trainieren, wenn Sie genügend Trainingsdaten haben. Wenn Sie ein Modell entwickeln möchten, das sich ein Profilbild in den sozialen Medien anschaut und Ihnen sagt, wer es ist, können Sie ein anderes Modell trainieren, das die Aufgabe erledigen wird.

Das Problem ist, dass KI-Systeme, die auf eine dieser Aufgaben trainiert wurden, nicht in der Lage sind, an etwas anderem zu arbeiten - daher der Begriff eng. Es ist auf den Bereich beschränkt, für den es trainiert wurde. Der aktuelle heilige Gral der KI-Forschung ist es, allgemeinere Technologien zu suchen - KIs, die viele Dinge tun können. Hier ist, warum allgemeine Technologien Spielveränderer sind.

Warum KI-Allrounder bauen?

Ein verbreitetes Gefühl lautet: Sollten spezialisierte Experten bevorzugt werden?

Zurück in den Anfangstagen des Computerwesens haben die Menschen spezialisierte Computer geschaffen, die nur eine Art von Problem berechnen und lösen können. Stellen Sie sich vor, Sie hätten einen spezialisierten Taschenrechner, der nur Addition machen kann, aber nichts anderes. Sicher, er ist wirklich gut in der Addition und kann das sehr schnell machen, aber das wäre nicht allzu nützlich.

Stattdessen ist es viel nützlicher, einen Computer zu haben, der addieren, subtrahieren, online gehen, Videospiele spielen usw. kann. Moderne Computer, die auf der von Neumann-Architektur basieren, haben diese allgemeinen Fähigkeiten. Im Nachhinein ist es leicht zu sagen, dass allgemeine Zweckberechnungen eine der wirkungsvollsten Erfindungen der Menschheit sind.

Derselbe Grundsatz gilt für KI-Technologien wie GPT 3. Wir möchten Allgemeinheit in unseren Systemen haben, weil uns das in die Lage versetzt, viele weitere Probleme zu lösen, ohne verschiedene Aufgaben manuell zu erledigen. Darüber hinaus wurde gezeigt, dass allgemeine Lernansätze die Genauigkeit von KI bei NLP-Aufgaben um mindestens 60 % erhöhen.

Immerhin sind Menschen eine Form von allgemeiner Intelligenz. Allgemeine Intelligenz ermöglicht es uns, Fähigkeiten zu erwerben, von denen wir vorher nicht einmal wussten, dass sie nützlich sind. Für diejenigen, die daran interessiert sind, was es bedeutet, eine allgemeine Intelligenz zu haben, empfehlen wir Chollets Papier Zur Messung der Intelligenz.

Im Bereich des SEO-Marketings bedeutet dies, dass wir nicht im Voraus wissen müssen, welche Art von Inhalten wir produzieren möchten. Wir müssen keine unterschiedliche KI für einen etwas anderen Zweck erstellen.

GPT-3 ist ein KI-System, das einige Eigenschaften generalisierter Intelligenz (manchmal Proto-AGI genannt) aufweist. Zum Beispiel können wir die KI mit Beispielen von Charakterdialogen füttern und sie auffordern, sie zu vervollständigen:

Rex ist ein Zeitreisender aus der Zukunft. Ada ist eine Adlige aus dem 19. Jahrhundert. Rex: Ich glaube, ich habe meine Zeitmaschine in deinem Garten abgestürzt. Ada: Verzeihung? Was hast du gesagt, junger Mann?

Sie kann auch eine Vielzahl anderer Aufgaben erledigen und sogar HTML-Code generieren. Das ist wichtig, denn das bedeutet, dass wir viele Aufgaben im Zusammenhang mit Inhalten mit GPT lösen können.

Bedeutet das also, dass GPT 3 alle relevanten Aufgaben im Zusammenhang mit SEO lösen kann? Kann es Blog-Beiträge zu einem beliebigen Thema erstellen oder Inhalte für jede gewünschte Kategorie produzieren? Nicht ganz. Um diese Frage zu beantworten, müssen wir analysieren, wie GPT 3 funktioniert.

Wie GPT 3 lernt

Die Nutzung von Big Data

Maschinelle Lernmodelle (insbesondere tiefe neuronale Netze) benötigen viel Daten und funktionieren nur gut, wenn Sie ihnen viele Daten zur Verfügung stellen. Immerhin ist Daten das neue Öl.

Aber das Beschaffen von Daten ist schwierig und teuer. Die meisten nützlichen maschinellen Lernsysteme erfordern, dass Menschen jeden Datenpunkt mühsam beschriften. Beschriftete Daten sind in vielen Anwendungen in der Regel der primäre Engpass, da das Sammeln teuer ist - stellen Sie sich die Kosten für die Anstellung einer Flotte von Amazon Turkers vor!

GPT 3 umgeht dieses Problem, indem es sein eigenes Trainingssignal erstellt, indem es natürlich vorkommende Texte im Web modelliert. Es verwendet ein maschinelles Lernparadigma namens unüberwachtes (oder selbstüberwachtes) Lernen. Dies ermöglicht es zu lernen, ohne dass Daten von Menschen beschriftet werden. Für diejenigen, die sich in die technischen Details des unüberwachten Lernens vertiefen wollen, hat unser CTO eine ausführliche Analyse hier geschrieben.

Aber selbst ohne Beschriftungen brauchen wir viele Daten, nicht wahr?

Es stellt sich heraus, dass die Daten direkt vor unserer Nase liegen. Das Internet enthält eine Unmenge hochwertiger, gut geschriebener Artikel zu einer Vielzahl von Themen - und sie sind alle leicht zugänglich. Das Schöne an GPTs Trainingstechnik ist, dass es lediglich lernen muss, diese von Menschen geschriebenen Artikel vorherzusagen, um gute Leistungen zu erbringen.

Aber Moment mal - gibt es nicht viele Müllseiten im Internet? Würde GPT 3 das nicht auch lernen?

Das ist wahr. Die Schöpfer von GPT haben einige dieser Probleme durch die Nutzung von Crowdsourcing zur Kuration ihrer Daten abgemildert. Eine Möglichkeit, dies zu tun, besteht darin, sich die URLs anzusehen, die die Leute auf Reddit teilen, und nur Inhalte und Beiträge von Websites mit einer großen Anzahl von Reddit-Upvotes zu durchsuchen.

Lernen durch Sprachgenerierung

Sobald Sie die Daten haben, können Sie GPT nun trainieren. Aber wie können Sie GPT trainieren, all diese allgemeinen Fähigkeiten zu bekommen, die wir uns wünschen? Eine Idee ist einfach die Textgenerierung. GPT lernt, natürliche Sprache zu generieren, indem es das nächste Wort vorhersagt in einem Artikel anhand der vorherigen Wörter.

Deshalb generiert GPT nur Inhalte von links nach rechts (es kann das nicht umgekehrt tun). Diese Art des Lernens wird Sprachmodellierung genannt.

Es ist so einfach wie das.

Indem es vorhersagt, welches Wort als nächstes in einem Satz kommt, muss die KI lernen, wie sie andere Wörter in ihrem Kontext verwenden kann. Dies zwingt GPT implizit, viele andere wichtige allgemeine Kenntnisse zu lernen.

Was ich nicht erstellen kann, das verstehe ich nicht.

-- Richard Feynman

Um das nächste Wort korrekt vorhersagen zu können, muss man auch ein gesundes Verständnis unserer Welt haben, zusätzlich zu grundlegenden Dingen wie englischer Syntax und Grammatik. So ermöglicht es GPT, durch einfache Artikelvorhersagen erstaunliches humanenähnliches Verhalten zu lernen.

Sprachgenerierungssysteme haben eine lange Geschichte im maschinellen Lernen, und GPT ist in dieser Hinsicht kein Neuling im Spiel. Tatsächlich betrachten einige KI-Forscher GPT eher als einen beeindruckenden technischen Erfolg als eine wissenschaftlich neue Errungenschaft. Es lehrt uns eine wichtige Lektion darüber, was 4+ Millionen USD für Rechenressourcen in Verbindung mit einer großen Menge an Daten erreichen kann und auch nicht erreichen kann.

Also, wie ist das Ergebnis?

OpenAI hat uns gezeigt, dass das Skalieren von KI-Lösungen uns ziemlich weit bringen kann. GPT, wenn es auf seine größte Größe skaliert wird, kann eine Menge allgemeiner Fähigkeiten extrahieren, indem es darauf achtet, wie Menschen schreiben. Das ist der Grund, warum Sie solch beeindruckende Leistungen des Modells sehen. Google hat kürzlich eine Version von GPT namens Switch Transformers auf die 10-fache Größe von GPT-3 skaliert.

Es ist die bittere Lehre, die von vielen KI-Forschern erkannt wurde, dass Lösungen, die auf Berechnung und Lernen basieren, manuelle menschliche Anstrengungen übertreffen. Durch die Skalierung eines einfachen Generierungsrahmens erhalten wir GPT 3, das fast wie ein Mensch schreibt.

Aber GPT 3 kommt nicht ohne seine Einschränkungen. Als SEO- und Content-Marketer ist es wichtig, diese Einschränkungen zu kennen, da sie beeinflussen, wie wir diese Natural Language-Technologie nutzen können.

Die Grenzen der Textgenerierung

Schwaches Weltmodell und faktische Richtigkeit

Trotz des Hypes hat GPT kein gutes Verständnis unserer Welt. Eine interessante Möglichkeit, dieses Mangel an Weltmodell zu sehen, besteht darin, GPT mit allem zu konfrontieren, was mit elementarer Physik oder der realen Welt zu tun hat. Wie in OpenAIs technischem Papier erwähnt, hat es Schwierigkeiten, Fragen wie