私たちは皆、今やその噂を耳にしていることでしょう。
OpenAIは、Generative Pre-trained Transformerバージョン3（略してGPT-3またはGPT 3）の新しいバージョンをリリースし、ベータAPIアクセスを提供しています。GPT 3は、前身であるGPT 2と同様、一般的な人間を騙せるほどリアルなテキストを自動的に生成できる大規模な深層ニューラルネットワークです。これは、ウェブから人間の文章の書き方を模倣することを学習する高度なAIです。
こちらは、GPT 3によって生成された記事の抜粋です：
第二次世界大戦後の数年間、西側諸国の経済、特にヨーロッパの経済は回復し始め、成長を示し始めました。工場、道路や橋、都市や家屋、港湾や空港の再建が始まりました。ヨーロッパの経済は、西側世界全体の成長の原動力となりました。国、企業、人々は繁栄し、ヨーロッパでは大きな経済成長、賃金の上昇、生活水準の向上という素晴らしい時期が始まりました。再建と新たな投資の組み合わせにより、ヨーロッパはビジネスを行う上で素晴らしい場所となりました。企業にとって、ヨーロッパは巨大な市場であり、その加盟国は市場規制、インフラ、投資政策、文化の面で多かれ少なかれ統一されていました。企業は工場を設立し、投資を行い、新しい市場を見つけ、これらの投資の大部分は負債によって賄われました。
これらの結果は間違いなく世間を驚かせ、大きな話題を呼びました。生成されたテキストは読みやすく、文法敵にも正しいものですが、GPT 3は単なる強力なテキストジェネレーターではありません。このテクノロジーは、私たちがコンテンツ作成、マーケティング、そしてSEO（検索エンジン最適化）について考えなければならない根本的な方法を示しています。上に示したような短いコンテンツの断片は、低コストで簡単に作成できます。
SEO専門家やコンテンツクリエイターとして、GPT 3を理解することは不可欠です。これは人間の執筆が時代遅れになることを意味するのでしょうか？ 高品質なコピーを作成できるのでしょうか？ これは、SEOスパムボットが無制限にゴミを量産する終末的なシナリオを意味するのでしょうか？
これらの感情には一部真実もありますが、GPT 3を取り巻く過剰な期待には、もっと明確さが必要であると私たちは考えています。テキスト生成テクノロジーがSEOやコンテンツ執筆に与える影響を理解するために、まずはGPT 3が何を行うのか、なぜ重要なのか、そしてどのように機能するのかを分解する必要があります。
GPT-3の汎用性
GPT-3とその前身となるテクノロジー（GPTおよびGPT 2）は、OpenAIによって開発された汎用的なNLP（自然言語処理）モデルに関する一連の研究です。しかし、汎用的であるとはどういう意味でしょうか？
機械学習には、たった一つのことだけが得意なシステムを開発してきた長い歴史があります。これらのシステムは特化型AIと呼ばれます。Amazonのレビューの評価を予測するAIが欲しい場合、十分なトレーニングデータがあれば簡単にトレーニングできます。SNSのプロフィール写真を見て、それが誰であるかを特定できるモデルを開発したい場合、そのタスクを行う別のモデルをトレーニングできます。
問題は、これらのタスクのいずれかでトレーニングされたAIシステムは、他のタスクでは動作できない点です。そのため特化型という言葉が使われます。トレーニングされた範囲に制限されます。現在のAI研究の究極の目標は、より汎用的なテクノロジー、つまり多くのことができるAIを模索することです。汎用テクノロジーがゲームチェンジャーである理由は以下の通りです。
なぜ汎用型AIを構築するのか？
よくある意見として、専門分野に特化したエキスパートが好まれるべきではないかというものがあります。
コンピュータの初期の頃、人々は計算や一種類の問題しか解決できない特殊なコンピュータを作成しました。足し算しかできない特殊な電卓を想像してみてください。確かに足し算は非常に得意で高速ですが、それほど便利ではありません。
代わりに、足し算、引き算、インターネットへの接続、コンピュータゲームのプレイなどができるコンピュータを持つ方がはるかに便利です。ノイマン型アーキテクチャに基づく現代のコンピュータは、これらの汎用的な能力を持っています。後から振り返れば、汎用目的のコンピューティングが人類で最も影響力のある発明の一つであると言うのは容易なことです。
同じ原則がGPT 3のようなAIテクノロジーにも当てはまります。私たちはシステムに汎用性を求めています。なぜなら、これにより手元の様々なタスクを手作業でエンジニアリングすることなく、より多くの問題を解決できるようになるからです。さらに、汎用的な学習アプローチは、NLPタスクにおけるAIの精度を少なくとも60%向上させることが示されています。
結局のところ、人間は一種の汎用知能です。汎用知能のおかげで、私たちは事前に役立つかどうかもわからないスキルを習得することができます。汎用知能を持つことが何を意味するのかに興味がある方には、Cholletの論文『知能の測定について』をお勧めします。
SEOマーケティングにおいて、これは制作したいコンテンツの種類を事前に知る必要がないことを意味します。少し異なる目的のために異なるAIを作成する必要はありません。
GPT-3は、汎用知能（プロトAGIと呼ばれることもあります）のいくつかの特性を示すAIシステムです。例えば、AIにキャラクターの対話の例を提示して、それを補完するように求めることができます：
レックスは未来から来たタイムトラベラーです。エイダは19世紀の貴族の女性です。レックス：君の庭にタイムマシンを不時着させてしまったようだ。エイダ：失礼ですが？ 若いお方、今何とおっしゃいましたか？
また、他の様々なタスクを実行したり、HTMLコードを生成することもできます。これは、GPTを使用してコンテンツに関連する多くのタスクを解決できることを意味するため、大きな進歩です。
では、これはGPT 3がSEOに関連するすべてのタスクを解決できることを意味するのでしょうか？私たちが望むあらゆるトピックのブログ記事や、あらゆるカテゴリのコンテンツを作成できるのでしょうか？そうとは言えません。その疑問に答えるためには、GPT 3がどのように機能するかを分解する必要があります。
GPT 3の学習方法
ビッグデータの活用
機械学習モデル（特に深層ニューラルネットワーク）はデータを渇望しており、大量のデータを提供したときにのみうまく機能します。結局のところ、データは新しい石油なのです。
しかし、データを取得することは困難でコストがかかります。最も有用な機械学習システムは、人間が骨を折ってすべてのデータポイントにラベルを付ける必要があります。ラベル付きデータは収集するのに費用がかかるため、通常、多くのアプリケーションにおいて最大のボトルネックとなります。Amazon Turkersのフリートを雇うコストを想像してみてください！
GPT 3は、ウェブ上に自然に存在するテキストをモデル化することで、独自のトレーニングシグナルを作成し、この問題を回避しています。これは、アンスーパーバイズド（または自己教師あり）学習と呼ばれる機械学習パラメータを採用しています。これにより、人間がラベルを付けたデータなしで学習が可能になります。自己教師あり学習の技術的詳細を深く掘り下げたい方のために、弊社のCTOがここで詳細な分析を書いています。
しかし、ラベルがなくても、大量のデータが必要ですよね？
実は、そのデータは私たちの目の前にあります。インターネットには、様々なトピックに関する高品質でよく書かれた記事が大量に存在し、それらはすべて簡単にアクセスできます。GPTのトレーニング技術の優れた点は、うまく機能させるために、単にこれらの人間が書いた記事を予測する方法を学習すればよいという点です。
しかし、ちょっと待ってください。ウェブ上には大量のゴミが存在しませんか？GPT 3はそれらも学習してしまうのではないでしょうか？
それは事実です。GPTの作成者は、クラウドソーシングを使用してデータをキュレートすることで、これらの問題の一部を緩和しました。これを行う一つの方法は、人々がRedditで共有するURLを調べ、Redditのアップボート数が多いウェブサイトからのコンテンツや投稿のみをクロールすることです。
言語生成による学習
データを入手したら、いよいよGPTをトレーニングできます。しかし、私たちが望むこれらすべての汎用的な能力を獲得するために、どのようにGPTをトレーニングするのでしょうか？一つの考え方は、単純にテキスト生成を行うことです。GPTは、記事内の前の単語から次の単語を予測することによって、自然言語を生成することを学習します。
これが、GPTがコンテンツを左から右にのみ生成する（逆方向には生成できない）主な理由です。このタイプの学習は言語モデリングと呼ばれます。
それほどにシンプルなことです。
文の中で次にどの単語が来るかを予測することにより、AIはそのコンテキストにおける他の単語の活用方法を学習しなければなりません。これにより、GPTは他の多くの重要な一般知識を暗黙的に学習することを余儀なくされます。
創り出せないものは、理解できない。
-- リチャード・ファインマン
次の単語を正確に予測するためには、英語の構文や文法といった基本的なことに加え、私たちの世界に関するある程度の常識的な理解もしていなければなりません。このように単に記事の予測を行うだけで、GPTは驚くほど人間らしい振る舞いを学習できるのです。
言語生成システムは機械学習において長い歴史があり、GPTは新しいものではありません。実際、一部のAI研究者は、GPTを科学的に新しい成果というよりも、素晴らしいエンジニアリングの偉業であると考えています。大量のデータと組み合わせて計算資源に費やされた400万ドル以上の資金が、私たちに何をもたらし、何をもたらさないのかについて、重要な教訓を与えてくれます。
それで、結論はどうなのでしょうか？
OpenAIは、AIソリューションをスケーリングすることで、かなり遠くまで到達できることを示しました。GPTを最大のサイズに拡張すると、人間がどのように書くかを観察するだけで、多くの汎用的な能力を抽出することができます。これが、このモデルからこれほど印象的なパフォーマンスが得られる理由です。Googleは最近、GPT-3の10倍のサイズにスケーリングされたSwitch Transformersと呼ばれるGPTのバージョンを公開しました。
これは、計算と学習によるソリューションが手作業による人間の努力に勝るという、多くのAI研究者が実感している手痛い教訓です。シンプルな生成フレームワークをスケーリングすることで、ほぼ人間のように書くGPT 3が得られます。
しかし、GPT 3には制限がないわけではありません。SEOやコンテンツマーケターとして、これらの制限を知ることは非常に重要であり、この自然言語テクノロジーをどのように活用できるかに影響を与えます。
テキスト生成の限界
不十分な世界モデルと事実の正確性
話題性はあるものの、GPTは私たちの世界を十分に理解していません。この世界モデルの欠如を確認する興味深い方法の一つは、物理の常識や現実世界に関する内容をGPTにプロンプトとして入力することです。OpenAIの技術論文で言及されているように、「チーズを冷蔵庫に入れたら溶けますか？」といった質問に答えるのは困難です。また、駄洒落のような他の人間の概念を理解できないことも明らかです。
この現象の考えられる原因の一つは、このAIが身体化された認知ではないことです。トレーニングデータを通じて何度も読んだことはあるものの、実際に冷蔵庫を見たり触ったりしたことは一度もありません。コンテンツマーケティングのニーズにAIを盲目的に使用してテキストを生成すると、いくつかの矛盾や事実と異なる項目が生じることになります。
望ましくない偏見
GPTはウェブ上でトレーニングされているため、インターネットのデータが持つものと同じ偏見に悩まされます。したがって、GPTを直接使用すると、不適切または攻撃的なコンテンツが作成される可能性があります。これを緩和するための一部の方法には、不適切なコンテンツを拒否する不適切なフィルターが含まれます。機械学習における望ましくない偏見を減らすことは、依然として活発な研究分野です。
ドメイン適応
GPTは言語の一般的な理解を学習していますが、それがあなたのドメインに適しているとは限りません。最近の研究では、GPTのようなモデルをチューニングおよび微調整することで、さらに優れた結果が得られることが示されています。
GPTはわずかな例でも動作しますが、より大量のデータを提供することで、間違いなくより良い結果が得られます。GPTのもう一つの制限は、最大生成長であり、長いドキュメントを入力として使用するのには適さない可能性があります。
実用的な効率性
まだ時期尚早ではありますが、OpenAIはGPTの使用に対してプレミアム価格を請求することを計画しているようです。このソリューションは一部のユースケースにとっては高価である可能性があり、提供されるサービスはSEO向けに調整されていません。社内でGPTを使用またはトレーニングすることは、その膨大なパラメータサイズのために実用的な課題となります。
この問題は、長期的にはさほど懸念事項ではありません。長期的コストを削減する、より効率的にGPTを実行する方法を可能にするいくつかの研究の方向性が存在します。
GPT-3 SEOの機会
そのため、GPT-3は強力なテキスト生成システムですが、これがコンテンツマーケティングにとって何を意味するのでしょうか？SEOのためのコンテンツマーケティングは多くのステップで構成されています。それはキーワード調査、競合分析、そして最終的なコンテンツ作成にまで及びます。
私たちはGPTが主にコンテンツの作成に使用されていると考えますが、それを単独で行うことはできません。このテクノロジーの限界を考慮すると、アルゴリズムを自由に走らせても素晴らしい結果は得られないことは明らかです。そこには人間が関与する必要があります。
作家がアーティストに
GPTが最も輝くのは、人間のライターと連携してツールとして最適に使用されたときです。— ライターが自身の個性を失わずにAIツールを使用する方法は、SEOチームの核となるスキルになりつつあります。それは、人間のライターがAIの苦手な複数のことにおいて優れているからです。例えば、人間のライターは高レベルの思考や、何を書くべきかを判断することに優れています。AIは、サイト上のウェブページのリストからカテゴリページを作成するような、低レベルのタスクに優れています。
執筆における多くの努力は、文法の正確さ、トーン、流暢さといった低レベルの問題に費やされます。GPTを使用することで、人間のライターの役割はエディターへと移行します。キャンバスに太い筆でラフ画を描き、AIがその画像の詳細を埋め、人間がその詳細を完璧になるまで編集する様子を想像してください。
ある意味で、これは素晴らしいことです。なぜなら、ライターはより興味深いこと、つまり高品質なコンテンツのアイデアを生み出し、執筆のよりクリエイティブな側面に執筆に集中できるからです。これは、カテゴリページを作成したり、最適な量になるよう記事に含めるべきキーワードの数を気にしたり、各文が流暢であるか確認したりするよりもはるかに優れています。
人間とAIを解きほぐすツール
上記の当然の結果として、ライターと連携してうまく機能するようにGPTを活用した優れたユーザーエクスペリエンスとツールが必要です。大まかに言えば、GPTのようなテクノロジーを便利なコンテンツ執筆ツールとして実現する方法はいくつかあります。以下は、様々なツールとして実現されたAIテクノロジーの例です：
可読性分析
優れた可読性を持つことは、素晴らしいコンテンツを開発する上で重要な要素です。これによりユーザーは惹きつけられ、ページ上でより長い時間を過ごすようになります。これはGoogleで上位にランクインするための重要な要因です。しかし、読みやすい記事を書くことは言うほど簡単ではありません。
ここJenniでは、その役割を果たすツールを開発しました。私たちはGPT 3に類似したテクノロジーを使用しましたが、自動的な文章書き換えに適応させ、より読みやすくなるようにしました。
スマート言い換え
言い換え（パラフレーズ）とは、元のテキストを直接引用せずに情報源を使用する技術です。自分自身のものではない情報源から情報を取得する場合は常に、その情報をどこから取得したかを特定する必要があります。その疑問はAIでも頻繁に発生します；私たちのAI執筆、盗作、オリジナリティの分析では、何に注意すべきかをカバーしています。
上記の段落は、私たちの自動言い換えAIを使用して、Purdueの定義を言い換えたものです。スマート言い換えを実行するAIは、任意の文を元の情報源とは異なる方法で書き換えたり、異なる望ましい執筆スタイルで言い換えたりすることができます。
Jenniで行われたライターに関する調査では、自動言い換えによってライターの時間を少なくとも30%節約できることが分かりました。また、これによりライターは文章の代替表現を試すことができ、その中には元の書き方よりもスムーズに流れたり、意図をより良く伝えられたりするものもあります。
トピックの最適化
多くのSEOエキスパートは、コンテンツが検索エンジンで確実に上位にランクインするように、トピックの最適化に依存しています。確かに、特定の検索クエリに関連性を持たせるために一連のトピックを開発することは重要ですが、記事がすべてのトピックの要件を満たしているか確認することは困難です。
私たちのエディターは、以前は1〜4時間を費やして手作業でトピックを最適化していました。記事内のトピックの関連性を検出するためにAIシステムを使用すると、執筆の軌道を維持することができ、エディターが関連性のないコンテンツを書き直す手間を省くことができます。
要約
先ほど説明したように、AIは低レベルのタスクにおいて優れており、要約も例外ではありません。コンテンツ執筆において、ライターが頻繁に行う一般的なタスクは、他のテキストの要約であることが分かりました。
要約は、AIシステムが本番システムや商用システムで優れたパフォーマンスを発揮することが実証されているタスクです。密度の高いテキストブロックを読み進める代わりに、AIに簡潔な箇条書きリストを作成してもらうのはいかがでしょうか？同様の趣旨で、すでにウェブサイトを構築している場合は、AIを使用してインデックスやカテゴリページを作成することができます。
生成されたコンテンツはランクインできるか？
一部のSEO実務者は、自動化されたコンテンツ生成を使用することと、Googleからペナルティを受けることについて懸念を抱くようになっています。
Googleは多くの検索エンジンと同様、最も関連性の高いコンテンツをユーザーに届けたいと考えています。そのため、生成されたコンテンツにおける主な問題は、それが生成されたという事実ではなく、通常その目的がスパムを作成することにある点です。Googleは、コンテンツがユーザーに真の価値を提供し、システムを操作するために使用されていない限り、生成されたコンテンツは問題ないと主張しています。
実際、Forbesのような多くの大手ニュース・メディアは、すでにコンテンツ生成テクノロジーを活用しています。ここでの鍵は、人間と人工知能という両方の世界の最高の部分を融合させて、魅力的なコンテンツを作成することです。インターネットに価値ある知識を提供することで、コンテンツの一部が生成されたものであっても、最上位にランクインすることができます。
AIとSEOの未来
GPTのような最先端のAIモデルのリリースにより、科学とフィクションの境界線は曖昧になり続けています。わずか1年の間にGPT 2とGPT 3の品質が大幅に向上したことは、驚くべきことです。時間が経つにつれて、あなたが朝食前に読む新聞は、これまでにオムレツを食べたことのない誰か、あるいは何かによって書かれたものである可能性が高くなります。
だからこそ、単なる誇大広告を超えてAIテクノロジーへの深い理解を把握することが重要であると私たちは信じています。SEOの分野にいない人々は、AIの進歩にただ感銘を受けるだけかもしれません。SEOの分野にいて、コンテンツを作成する人々は、トップにあり続けるためにこれらのツールに適応していく必要があります。