到目前为止，我们都听说过这一热点消息。
OpenAI 发布了生成式预训练 Transformer 第 3 版（简称 GPT-3 或 GPT 3）的新版本，并提供 测试版 API 访问权限。与前身 GPT 2 非常相似，GPT 3 是一个大型深度神经网络，可以自动生成足够真实、足以愚弄普通人类的文本。它是一种先进的 AI，可以从网络上学习如何模仿人类的写作。
以下是 GPT 3 生成的 文章摘录：
在第二次世界大战后的几年里，西方世界的经济，特别是欧洲的经济，开始复苏并呈现增长。工厂、公路、桥梁、城市、房屋、港口和机场的重建工作已经开始。欧洲经济已成为整个西方世界增长的引擎。国家、公司和人民繁荣昌盛，欧洲开始了一个经济大增长、工资上涨和生活水平提高的伟大时期。重建与新投资的结合使欧洲成为开展业务的好地方。对于公司而言，欧洲是一个巨大的市场，其成员国在市场监管、基础设施、投资政策和文化方面或多或少保持统一。公司建立工厂、投资并开拓新市场，而这些投资主要是通过债务融资的。
这些结果无疑让公众感到惊讶，并引发了大量的炒作。生成的文本读起来很通顺且语法正确，但 GPT 3 不仅仅是一个强大的文本生成器。该技术标志着我们必须思考内容创作、营销和 SEO（搜索引擎优化）的一种根本性转变。像上面展示的那样简短的内容片段，可以轻松地以低成本创建。
作为 SEO 专家和内容创作者，势必需要理解 GPT 3。这是否意味着人类写作已经过时？它能生产出高质量的文案吗？这是否标志着 SEO 垃圾邮件机器人会无限量制造垃圾内容的末日场景？
虽然这些情绪中有一些属实，但我们认为围绕 GPT 3 的 过度炒作 需要更多的澄清。为了了解文本生成技术对 SEO 和内容写作的影响，我们首先需要剖析 GPT 3 的作用、其重要性以及它的工作原理。
GPT-3 的通用性
GPT-3 及其前身技术（GPT 和 GPT 2）是 OpenAI 开发的关于 通用 NLP（自然语言处理）模型的一系列研究。但通用意味着什么？
机器学习在开发 仅擅长一件事 的系统方面有着悠久的历史。这些系统被称为 狭义 AI。如果你想要一个能够 预测亚马逊评论评分 的 AI，只要有足够的训练数据，你就可以轻松训练出一个。如果你想开发一个模型来观察社交媒体上的头像并告诉你这是谁，你可以训练另一个模型来完成这项工作。
问题在于，针对这两项任务中的任何一项进行训练的 AI 系统都无法在其他任何事情上工作，因此被称为 狭义 。它被限制在它所接受训练的范围内。目前 AI 研究的终极目标是寻求更通用的技术——能够做很多事情的 AI。这就是为什么通用技术能成为游戏规则改变者的原因。
为什么要构建通用型 AI？
一种普遍的看法是——难道不应该更偏好专业专家吗？
在计算技术发展的早期，人们创建了只能计算和解决一种问题的专用计算机。想象一下，有一个只能做加法、其他什么都做不了的专用计算器。当然，它确实非常擅长加法，算得也很快，但那并没有太大用处。
相反，拥有一台可以做加法、减法、上网、玩游戏等的计算机要有用得多。基于 冯·诺依曼架构 的现代计算机就具备了这些通用能力。事后看来，可以很容易地说，通用计算是人类最具影响力的发明之一。
同样的原理也适用于像 GPT 3 这样的 AI 技术。我们希望系统具有通用性，因为这使我们能够解决更多的问题，而无需对各种具体任务进行手动工程设计。此外，事实证明，通用学习方法已被证明可以将 AI 在 NLP 任务上的准确性提高 至少 60%。
毕竟，人类就是一种通用智能。通用智能使我们能够获得我们甚至事先不知道是否有用的技能。对于那些对何为通用智能感兴趣的人，我们推荐 Chollet 的论文 《论智能的衡量》 (On the Measure of Intelligence)。
对于 SEO 营销来说，这意味着我们不需要提前知道我们想要制作什么类型的内容。我们不需要为了稍微不同的目的去创建一个又一个不同的 AI。
GPT-3 是一种展现出通用智能某些特性的 AI 系统（有时被称为 Proto-AGI）。例如，我们可以通过 角色对话示例 来引导 AI，并要求其补充完整：
Rex 是来自未来的时间旅行者。Ada 是十九世纪的贵妇。Rex：我想我的时光机坠毁在您的花园里了。Ada：对不起？你刚才说什么，年轻人？
它还可以执行各种其他任务，甚至可以生成 HTML 代码。这是一件大事，因为这意味着我们可以通过 GPT 解决许多与内容相关的任务。
那么，这是否意味着 GPT 3 可以解决所有与 SEO 相关的任务呢？它能为我们想要的任何主题创建博客文章，或为我们想要的任何类别创建内容吗？并不完全如此。为了回答这个问题，我们需要剖析 GPT 3 的工作原理。
GPT 3 如何学习
利用大数据
机器学习模型（尤其是深度神经网络）对数据非常饥渴，只有提供大量数据时才能表现良好。毕竟， 数据是新的石油。
但是获取数据困难且成本昂贵。大多数有用的机器学习系统都需要人类费力地为每一个数据点贴上标签。标注数据通常是许多应用中的主要瓶颈，因为收集它的成本很高——想象一下雇用一整队 亚马逊众包工人（Amazon Turkers） 的成本！
GPT 3 通过模拟网络上自然产生的文本来创建自己的训练信号，从而绕过了这个问题。它采用了被称为无监督（或自监督）学习的机器学习范式。这使得在没有人工标注数据的情况下进行学习成为可能。对于那些想深入研究无监督学习技术细节的人，我们的首席技术官在这篇 深度分析文章 中进行了阐述。
但即使没有标签，我们也需要大量数据，对吧？
事实证明，数据就在我们眼前。互联网包含大量关于各种主题的高质量、撰写良好的文章，而且它们都很容易获取。GPT 训练技术的精美之处在于，它只需学习如何预测这些人类撰写的文章就能取得良好的表现。
但是等等——网络上不是有很多垃圾内容吗？GPT 3 难道不会也学到那些吗？
确实如此。GPT 的创造者通过使用众包来筛选其数据，从而减轻了其中一些问题。一种方法是查看人们在 Reddit 上分享的 URL，并只抓取来自具有高 Reddit 点赞数的网站的内容和帖子。
通过语言生成进行学习
拥有数据后，你就可以开始训练 GPT 了。但是， 如何 训练 GPT 才能使其获得我们所需要的所有这些通用能力？一个想法就是简单地进行文本生成。GPT 通过从先前的单词 预测文章中的下一个单词 来学习生成自然语言。
这就是 GPT 只能从左到右生成内容（它不能反向生成）的主要原因。这种类型的学习被称为 语言建模。
就是这么简单。
通过预测句子中接下来会出现什么词，AI 必须学习如何利用其上下文中的其他词。这 隐式地 迫使 GPT 学习许多其他重要的通用知识。
我无法创造的事物，我就无法理解。
—— 理查德·费曼 (Richard Feynman)
为了准确预测下一个词，除了英语句法和语法等基础知识外，你还必须对我们的世界有一些常识性的理解。这就是为什么简单地进行文章预测就能让 GPT 学习到令人惊讶的、类似人类的行为。
语言生成系统在机器学习中有着悠久的历史，GPT 并不是这个领域的新玩家。事实上，一些 AI 研究人员认为 GPT 不太算是一项科学上的新颖成就，而更像是一项令人瞩目的工程壮举。它给我们上了一堂重要的一课：将 超过 400 万美元 的计算资源花在算力并结合大量数据上，能带给我们什么，不能带给我们什么。
那么，结论是什么？
OpenAI 向我们展示了，扩大 AI 解决方案的规模可以让我们走得很远。当 GPT 被扩展到最大规模时，只需通过观察人类如何写作，就可以提取出大量的通用能力。这就是你看到该模型表现如此惊人的原因。谷歌最近将名为 Switch Transformers 的 GPT 版本扩展到了 GPT-3 尺寸的 10 倍。
这是许多 AI 研究人员意识到的 惨痛教训：由计算和学习主导的解决方案胜过人工努力。通过扩展一个简单的生成框架，我们得到了写作几乎像人类一样的 GPT 3。
但 GPT 3 并非没有局限性。作为 SEO 和内容营销人员，了解这些局限性非常重要，并且会影响我们利用这种自然语言技术的方式。
文本生成的局限性
贫瘠的世界模型和事实正确性
尽管炒作很热，但 GPT 对我们的世界并没有很好的理解。一个能够观察到这种世界模型缺失的有趣方法是，用任何与常识物理或现实世界有关的内容来提示 GPT。正如 OpenAI 的技术论文 中所提到的，它很难回答诸如“如果我把奶酪放进冰箱，它会融化吗？”之类的问题。它显然也无法理解其他人类概念， 比如双关语。
造成这种现象的一个可能原因是，AI 并不是一种 具身认知，尽管它在训练数据中多次读到过冰箱，但它从未真正见过或感受过冰箱。如果你盲目地使用 AI 生成文本来满足你的内容营销需求，你会遇到一些前后矛盾和不符合事实的内容。
不必要的偏见
GPT 是在网络上进行训练的，因此会受到互联网数据带来的相同偏见的影响。因此，直接使用 GPT 可能会导致 产生不合适或具有攻击性的内容。减轻这种情况的一些方法包括使用拒绝不合适内容的攻击性过滤器。在机器学习中减少不必要的偏见仍然是 一个活跃的研究领域。
领域自适应
虽然 GPT 已经习得了对语言的通用理解，但它可能不适合你的特定领域。 最近的研究 表明，微调和调整类似 GPT 的模型可以带来更好的效果。
GPT 仅凭几个示例就能工作，但为其提供更大量的数据肯定会产生更好的结果。GPT 的另一个局限性是其最大生成长度，这可能会使其不适合将长文档作为输入。
实际效率
虽然现在下结论还为时过早，但 OpenAI 似乎 计划收取 高额费用来使用 GPT。对于某些应用场景，这种解决方案可能昂贵，且提供的服务并不是为 SEO 定制的。由于其庞大的参数规模，在内部使用或训练 GPT 是一个实际的挑战。
从长远来看，这个问题不太令人担忧。目前有一些 研究方向 将能够实现更高效运行 GPT 的方法，从而降低长期成本。
GPT-3 SEO 契机
因此，GPT-3 是一个强大的文本生成系统——但这对内容营销意味着什么呢？SEO 的内容营销包括多个步骤。范围涵盖了关键词研究、竞争对手分析，以及最后的内容创作。
我们看到 GPT 主要用于创建内容，但它不能孤立地完成。由于该技术的局限性，显而易见，放任算法自由运作是不会产生好结果的。必须要有一个 人在环路中（human in the loop）。
写作者蜕变为艺术家
当 GPT 最好地用作与写作者相协作的工具时，它的表现最为亮眼——写作者如何在不失去自己独特风格的情况下使用人工智能工具，正在成为 SEO 团队的核心技能。这是因为人类作者在一些人工智能不擅长的事情上表现出色。例如，人类作者在宏观思维和思考写 什么 方面更好。而人工智能则擅长执行低阶任务，比如根据网站上的一系列网页创建类别页面。
写作中的大量精力都花在语法正确性、语气和流畅度等低阶问题上。有了 GPT，人类作家的角色将转变为编辑。想象一下在画布上画出大致的线条，AI 填补画面的细节，然后人类修改这些细节，直到完美。
在某种程度上，这很棒，因为写作者可以专注于更有趣的事情——构建高质量的内容创意并专注于写作中更具创造性的一面。这比制作类别页面、专注于需要填充多少个关键词才能让文章达到最佳数量，以及/或者确保每句话都流畅要好得多。
架起人类与 AI 桥梁的工具
上述结论是，我们需要极佳的用户体验和能够利用 GPT 的工具，以便它可以与写作者很好地协作。广义上讲，有几种方法可以将类似 GPT 的技术转化为有用的内容写作工具。以下是实现为各种工具的 AI 技术示例：
可读性分析
拥有良好的可读性是开发优秀内容的重要组成部分。它可以帮助你的用户保持参与并在你的页面上花费更多时间，这是在 Google 上获得高排名的重要因素。但是，撰写易于阅读的文章说起来容易做起来难。
在 Jenni，我们开发了一个可以为你完成这项工作的工具。我们使用了类似于 GPT 3 的技术，但将其应用在了自动句子重写上，使其变得更具可读性。
智能改写
改写是在不直接引用源材料的情况下使用源文本的艺术。 每当你要从非你自己的来源获取信息时，你都需要指明你从哪里获得了这些信息。AI 也经常出现这个问题；我们对 AI 写作、抄袭和原创性 的剖析涵盖了需要注意的事项。
上面的段落是使用我们的自动再表达 AI 从 普渡大学（Purdue）的定义 改写而来的。具有智能改写功能的 AI 可以用不同于源文本的方式重写任何句子，或者以不同所需的写作风格重新表达。
在 Jenni，我们对我们的写作者进行了研究，发现自动化改写可以节省 至少 30% 的时间。它还允许写作者尝试句子的其他表达方式，其中一些可能比原始写作更流畅，或者能更好地传达意图。
主题优化
许多 SEO 专家依赖于主题优化作为确保其内容在搜索引擎中名列前茅的方法。确实，开发一套主题对于与某些搜索查询高度相关非常重要，但确保一篇文章能满足所有的主题要求是具有挑战性的。
我们的编辑过去常常要花费 1-4 个小时手动优化主题。使用 AI 系统来检测你文章中的主题相关性，可以帮助你保持写作不偏离轨道，从而避免编辑重写无关的内容。
文本摘要
正如我们之前讨论的，AI 在低阶任务上表现优异，摘要也不例外。在内容写作方面，我们发现写作者执行的一项常见任务就是总结其他文本。
文本摘要是一项人工智能在 生产和商业系统已被证实表现良好 的任务。与其通读一大块密集的文本，为什么不让人工智能给你一个简洁的要点列表呢？本着类似的精神，如果你已经构建好了自己的网站，你可以使用人工智能来创建索引或分类页面。
生成的内容能获得排名吗？
一些 SEO 从业者开始担心，使用自动内容生成会受到 Google 的惩罚。
与许多搜索引擎一样，Google 希望将最相关的内容呈现给用户。因此，生成内容的核心问题不在于它是生成的，而在于其用意通常是为了制造垃圾内容。Google 曾 声称，只要内容能为用户增加真正的价值，而不是用于操纵系统，生成的内容就是可以接受的。
事实上，许多大型新闻和媒体机构（如《福布斯》）已经开始使用内容生成技术来帮助他们。这里的关键是融合两者的优势——人类和人工智能——来创造引人入胜的内容。向互联网贡献有价值的知识将确保你能够排在最前列，即使你的一些内容是生成的。
AI 和 SEO 的未来
随着像 GPT 这样前沿 AI 模型的发布，科学与幻想之间的界限继续模糊。仅在一年的时间里，GPT 2 和 GPT 3 之间在质量上的巨大进步就令人震惊。随着时间的推移，你早餐前读的报纸很可能是有生以来从未吃过煎蛋的人或 某种事物 写出来的。
这就是为什么我们认为极其重要的是深入理解 AI 技术，而不仅仅停留在噱头上。那些不属于 SEO 领域的人可能只是对 AI 的进步感到惊讶。而那些在 SEO 领域并从事内容创作的人，将需要去适应这些工具，从而保持领先地位。