GPT 3 e SEO: Por que a IA vai revolucionar seu conteúdo para sempre

Todos já ouvimos o burburinho.

A OpenAI lançou uma nova versão do Generative Pre-trained Transformer versão 3 (em resumo, GPT-3 ou GPT 3) com acesso beta à API GPT 3, assim como seu antecessor GPT 2, é uma grande rede neural profunda que pode gerar automaticamente texto realista o suficiente para enganar o humano médio. É uma IA avançada que aprende a imitar a escrita humana a partir da web.

Aqui está um trecho de um artigo gerado pelo GPT 3:

Nos anos após a Segunda Guerra Mundial, a economia do mundo ocidental, e especialmente as economias da Europa, começou a se recuperar e a mostrar crescimento. A reconstrução de fábricas, estradas e pontes, cidades e casas, portos e aeroportos havia começado. A economia da Europa havia se tornado um motor de crescimento para todo o mundo ocidental. Países, empresas e pessoas prosperaram, e um grande período de crescimento econômico, aumento de salários e melhora do padrão de vida começou na Europa. A combinação de reconstrução e novos investimentos tornou a Europa um ótimo lugar para fazer negócios. Para as empresas, a Europa era um vasto mercado, com seus membros mais ou menos unificados em termos de regulamentação de mercado, infraestrutura, política de investimento e cultura. As empresas montaram fábricas, investiram e encontraram novos mercados, e esses investimentos foram amplamente financiados por dívida.

Esses resultados, sem dúvida, surpreenderam o público e geraram muito hype. O texto gerado é bem escrito e gramaticalmente correto — mas o GPT 3 não é apenas um poderoso gerador de texto. A tecnologia marca uma maneira fundamental de pensarmos sobre criação de conteúdo, marketing e SEO (Otimização para Mecanismos de Busca). Trechos curtos de conteúdo, como o mostrado acima, podem ser criados facilmente por um baixo custo.

Como especialistas em SEO e criadores de conteúdo, é imperativo entender o GPT 3. Isso significa que a escrita humana está obsoleta? Ele pode produzir um texto de alta qualidade? Isso anuncia um cenário apocalíptico em que bots de spam de SEO produzem lixo ilimitado?

Embora haja alguma verdade nesses sentimentos, achamos que o excesso de hype em torno do GPT 3 precisa de mais clareza. Para entender o impacto das tecnologias de geração de texto em SEO e na redação de conteúdo, precisamos primeiro decompor o que o GPT 3 faz, por que isso importa e como ele funciona.

A Generalidade do GPT-3

GPT-3 e suas tecnologias predecessoras (GPT e GPT 2) são uma linha de pesquisa sobre modelos gerais de PLN (Processamento de Linguagem Natural) desenvolvidos pela OpenAI. Mas o que significa ser geral?

O aprendizado de máquina tem uma longa história de desenvolvimento de sistemas que são bons em apenas uma coisa. Esses sistemas são chamados de IA estreita. Se você quer uma IA que preveja a classificação de uma avaliação da Amazon — você pode treinar uma facilmente se tiver dados de treinamento suficientes. Se você quiser desenvolver um modelo que possa olhar para uma foto de perfil nas redes sociais e dizer quem é a pessoa — você pode treinar outro modelo que fará o trabalho.

O problema é que sistemas de IA treinados em uma dessas tarefas não conseguem trabalhar em mais nada — daí o termo estreita. Eles ficam limitados ao escopo em que foram treinados. O atual santo graal da pesquisa em IA é buscar tecnologias mais gerais — IAs que possam fazer muitas coisas. Veja por que tecnologias gerais mudam o jogo.

Por que construir generalistas de IA?

Uma sensação comum é: não deveriam ser preferidos os especialistas em tarefas específicas?

Nos primórdios da computação, as pessoas criavam computadores especializados que só podiam calcular e resolver um tipo de problema. Imagine ter uma calculadora especializada que só faz adição, e nada mais. Claro, ela é realmente boa em adição e faz isso muito rápido, mas isso não seria muito útil.

Em vez disso, é muito mais útil ter um computador que possa somar, subtrair, entrar na internet, jogar videogames etc. Os computadores modernos baseados na arquitetura de von Neumann têm essas capacidades gerais. Em retrospecto, é fácil dizer que a computação de propósito geral é uma das invenções de maior impacto da humanidade.

O mesmo princípio se aplica a tecnologias de IA como o GPT 3. Queremos generalidade em nossos sistemas porque isso nos permite resolver muito mais problemas sem precisar fazer engenharia manual de várias tarefas específicas. Além disso, descobriu-se que abordagens de aprendizado geral aumentam a precisão da IA em tarefas de PLN em pelo menos 60%.

No fim das contas, os seres humanos são uma forma de inteligência geral. A inteligência geral nos permite adquirir habilidades que nem sabemos, de antemão, que serão úteis. Para quem se interessa pelo que significa ter inteligência geral, recomendamos o artigo de Chollet Sobre a Medida da Inteligência.

Para marketing de SEO, isso significa que não precisamos saber de antemão que tipo de conteúdo queremos produzir. Não precisamos criar uma IA diferente para um propósito ligeiramente diferente.

O GPT-3 é um sistema de IA que apresenta algumas propriedades de inteligência geral (às vezes chamada de Proto-AGI). Por exemplo, podemos dar ao AI exemplos de diálogos de personagens e pedir que ele os complete:

Rex é um viajante do tempo vindo do futuro. Ada é uma nobre do século XIX. Rex: Acho que bati minha máquina do tempo no seu jardim. Ada: Perdão? O que o senhor disse, jovem?

Ele também pode לבצע uma variedade de outras tarefas e até gerar código HTML. Isso é muito importante porque significa que podemos resolver muitas tarefas relacionadas a conteúdo com GPT.

Então isso significa que o GPT 3 pode resolver todas as tarefas relevantes relacionadas a SEO?  Ele pode criar posts de blog para qualquer tema ou conteúdo para qualquer categoria que desejarmos? Não exatamente. Para responder a essa pergunta, precisamos decompor como o GPT 3 funciona.

Como o GPT 3 Aprende

Aproveitando Big Data

Modelos de aprendizado de máquina (e especialmente redes neurais profundas) são famintos por dados e só funcionam bem quando você fornece muitos dados. Afinal, dados são o novo petróleo.

Mas conseguir dados é difícil e caro. A maioria dos sistemas úteis de aprendizado de máquina exige que humanos rotulem laboriosamente cada ponto de dado. Dados rotulados costumam ser o principal gargalo em muitas aplicações porque são caros de reunir — imagine o custo de contratar uma frota de Turkers da Amazon!

O GPT 3 contorna esse problema criando seu próprio sinal de treinamento ao modelar texto que ocorre naturalmente na web. Ele adota um paradigma de aprendizado de máquina chamado aprendizado não supervisionado (ou auto-supervisionado). Isso permite aprender sem dados rotulados por humanos. Para quem quiser se aprofundar nos detalhes técnicos do aprendizado não supervisionado, nosso CTO escreveu uma análise aprofundada aqui.

Mas mesmo sem rótulos, ainda precisamos de muitos dados, certo?

Acontece que os dados estão bem diante dos nossos olhos. A internet contém uma enorme quantidade de artigos de alta qualidade e bem escritos sobre vários assuntos — e todos eles são facilmente acessíveis. A beleza da técnica de treinamento do GPT é que ele simplesmente precisa aprender a prever esses artigos escritos por humanos para ter um bom desempenho.

Mas espere — não há muito lixo na web? O GPT 3 não aprenderia isso também?

Isso é verdade. Os criadores do GPT atenuaram alguns desses problemas usando crowdsourcing para selecionar seus dados. Uma forma de fazer isso é observar as URLs que as pessoas compartilham no Reddit e rastrear apenas o conteúdo e as postagens de sites com um grande número de votos positivos no Reddit.

Aprendendo por Geração de Linguagem

Depois de ter os dados, você pode treinar o GPT. Mas como você pode treinar o GPT para obter todas essas capacidades gerais que desejamos? Uma ideia é simplesmente fazer geração de texto. O GPT aprende a gerar linguagem natural ao prever a próxima palavra em um artigo com base nas palavras anteriores.

Essa é a principal razão pela qual o GPT só gera conteúdo da esquerda para a direita (não consegue fazer isso ao contrário). Esse tipo de aprendizado é chamado de modelagem de linguagem.

É tão simples quanto isso.

Ao prever qual palavra vem a seguir em uma frase, a IA precisa aprender a fazer uso de outras palavras no seu contexto. Isso a força implicitamente a aprender muitos outros conhecimentos gerais importantes.

O que eu não posso criar, eu não entendo.

-- Richard Feynman

Para prever corretamente a próxima palavra, você também precisa ter algum entendimento de senso comum sobre o nosso mundo, além de coisas básicas como sintaxe e gramática do inglês. É assim que simplesmente fazer previsão de artigos permite que o GPT aprenda comportamentos humanos impressionantes.

Sistemas de geração de linguagem têm uma longa história no aprendizado de máquina, e o GPT não é novidade no jogo. De fato, alguns pesquisadores de IA consideram o GPT menos uma conquista cientificamente nova e mais um feito de engenharia impressionante. Ele nos ensina uma lição importante sobre o que US$ 4+ milhões gastos em recursos computacionais combinados com uma grande quantidade de dados podem e não podem nos trazer.

Então, qual é o veredito?

A OpenAI nos mostrou que escalar soluções de IA pode nos levar muito longe. O GPT, quando escalado ao seu maior tamanho, pode extrair muitas capacidades gerais simplesmente observando como os humanos escrevem. É por isso que você vê um desempenho tão impressionante do modelo. O Google recentemente escalou uma versão do GPT chamada Switch Transformers para 10x o tamanho do GPT-3.

É a lição amarga percebida por muitos pesquisadores de IA: soluções guiadas por computação e aprendizado superam o esforço humano manual. Ao escalar um framework simples de geração, obtemos o GPT 3 que escreve quase como um humano.

Mas o GPT 3 não vem sem suas limitações. Como profissionais de SEO e marketing de conteúdo, conhecer essas limitações é extremamente importante e influencia como podemos aproveitar essa tecnologia de linguagem natural.

Limitações da Geração de Texto

Modelo de Mundo Fraco e Correção Factual

Apesar do hype, o GPT não tem um bom entendimento do nosso mundo. Uma maneira interessante de ver essa falta de modelo de mundo é pedir ao GPT algo relacionado à física do senso comum ou ao mundo real. Como mencionado no artigo técnico da OpenAI, ele tem dificuldade em responder perguntas como "Se eu colocar queijo na geladeira, ele vai derreter?". Também claramente não consegue entender outros conceitos humanos como trocadilhos.

Uma possível razão para esse fenômeno é que a IA não tem cognição incorporada — ela nunca realmente viu nem sentiu uma geladeira antes, apesar de ter lido sobre ela muitas vezes nos dados de treinamento. Se você usar cegamente a IA para gerar texto para suas necessidades de marketing de conteúdo, terá algumas inconsistências e itens factualmente incorretos.

Viés Indesejado

O GPT é treinado na web e, portanto, sofre do mesmo viés que os dados da internet fornecem. Assim, usar o GPT diretamente pode levar à criação de conteúdo inadequado ou ofensivo. Algumas formas de mitigar isso envolveriam filtros ofensivos que rejeitam conteúdo inadequado. Reduzir viés indesejado em aprendizado de máquina ainda é uma área ativa de pesquisa.

Adaptação ao Domínio

Embora o GPT tenha aprendido uma compreensão geral da linguagem, ele pode não ser apropriado para o seu domínio. Pesquisas recentes mostraram que ajustar e refinar modelos do tipo GPT pode levar a resultados ainda melhores.

O GPT funciona com apenas alguns exemplos, mas fornecer uma quantidade maior de dados certamente produzirá melhores resultados. Outra limitação do GPT é o seu comprimento máximo de geração, o que pode torná-lo inadequado para usar documentos longos como entrada.

Eficiência Prática

Embora ainda seja cedo para dizer, parece que a OpenAI planeja cobrar um preço premium para usar o GPT. Essa solução pode ser cara para alguns casos de uso e o serviço fornecido não é voltado para SEO. Usar ou treinar o GPT internamente é um desafio prático devido ao seu enorme tamanho de parâmetros.

Essa questão é uma preocupação menor no longo prazo. Há algumas linhas de pesquisa que permitirão formas mais eficientes de executar o GPT, o que reduzirá o custo de longo prazo.

A Oportunidade de SEO do GPT-3

Então o GPT-3 é um poderoso sistema de geração de texto — mas o que tudo isso significa para marketing de conteúdo? O marketing de conteúdo para SEO consiste em muitas etapas. Ele vai da pesquisa de palavras-chave, análise da concorrência e, por fim, à criação do seu conteúdo.

Vemos o GPT sendo usado principalmente para criar conteúdo, mas ele não pode fazer isso isoladamente. Devido às limitações da tecnologia, é óbvio que deixar o algoritmo livre não produziria grandes resultados. Precisa haver um humano no ciclo.

Escritores se Tornando Artistas

O GPT brilha quando é melhor usado como ferramenta em conjunto com escritores humanos no ciclo — como escritores usam ferramentas de IA sem perder sua voz está se tornando uma habilidade central para equipes de SEO. Isso porque escritores humanos são ótimos em várias coisas que a IA não é. Por exemplo, escritores humanos são melhores no pensamento de alto nível e em descobrir o que escrever. A IA é ótima em tarefas de baixo nível, como criar páginas de categoria a partir de uma lista de páginas da web em um site.

Muito do esforço na escrita é gasto em problemas de baixo nível, como correção gramatical, tom e fluência. Com o GPT, o papel do escritor humano passa a ser o de editor. Imagine pintar grandes pinceladas em uma tela, e a IA preencher os detalhes da imagem; então o humano edita esses detalhes até ficar perfeito.

De certa forma, isso é ótimo porque os escritores podem se concentrar em coisas mais interessantes — criar ideias de conteúdo de qualidade e focar no lado mais criativo da escrita. Isso é melhor do que criar páginas de categoria, focar em quantas palavras-chave são necessárias para encher um artigo até atingir a quantidade ideal e/ou garantir que cada frase seja fluente.

Ferramentas para Conectar Humanos e IA

A consequência do que foi dito acima é que precisamos de uma ótima experiência do usuário e de ferramentas que aproveitem o GPT para que ele funcione bem em conjunto com escritores. Em termos gerais, há várias maneiras de transformar tecnologias do tipo GPT em ferramentas úteis de redação de conteúdo. Aqui estão alguns exemplos de tecnologias de IA realizadas como várias ferramentas:

Análise de Legibilidade

Ter uma boa legibilidade é uma parte importante para desenvolver ótimo conteúdo. Isso ajuda seus usuários a permanecerem engajados e passarem mais tempo na sua página, o que é um fator importante para ranquear bem no Google. Mas escrever artigos fáceis de ler é mais fácil dizer do que fazer.

Aqui na Jenni, desenvolvemos uma ferramenta que faz o trabalho para você. Usamos uma tecnologia semelhante ao GPT 3, mas adaptada para reescritas automáticas de frases, para que o texto fique mais legível.

Reformulações Inteligentes

Paráfrase é a arte de usar um texto-fonte sem citar diretamente o material original.  Sempre que você estiver tirando informações de uma fonte que não é sua, precisa especificar de onde obteve essas informações. Essa questão também surge frequentemente com IA; nossa análise sobre escrita por IA, plágio e originalidade cobre o que observar.

O parágrafo acima foi parafraseado da definição da Purdue usando nossa IA automática de reformulação. Uma IA que faz reformulações inteligentes pode reescrever qualquer frase de uma forma diferente da fonte ou reformulá-la em diferentes estilos de escrita desejados.

Na Jenni, fizemos estudos com nossos escritores e descobrimos que automatizar a reformulação pode economizar pelo menos 30% do tempo de um escritor. Isso também permite que os escritores experimentem frases alternativas, algumas das quais podem fluir melhor do que o texto original ou transmitir melhor a intenção.

Otimização de Tópicos

Muitos especialistas em SEO dependem da otimização de tópicos como forma de garantir que seu conteúdo ranqueie bem nos mecanismos de busca. De fato, desenvolver um conjunto de tópicos é importante para ser relevante para determinadas consultas de pesquisa, mas garantir que um artigo satisfaça todos os requisitos de tópico é desafiador.

Nossos editores costumavam gastar 1-4 horas otimizando tópicos manualmente. Usar sistemas de IA para detectar a relevância do tópico no seu artigo pode ajudar a manter sua escrita no rumo certo, economizando aos editores a necessidade de reescrever conteúdo irrelevante.

Resumo

Como discutimos anteriormente, a IA é excelente em tarefas de baixo nível e a sumarização não é exceção. Quando se trata de redação de conteúdo, descobrimos que uma tarefa comum realizada por escritores é resumir outros textos.

A sumarização é uma tarefa em que os sistemas de IA provaram desempenhar-se bem em sistemas de produção e comerciais. Em vez de ler um bloco denso de texto, por que não deixar uma IA fornecer uma lista concisa de tópicos? Em um espírito semelhante, você pode usar IA para criar índices ou páginas de categoria se já tiver estruturado seu site.

Conteúdo Gerado Pode Ranquear?

Alguns profissionais de SEO ficaram preocupados com o uso de geração automática de conteúdo e com a possibilidade de receber penalidades do Google.

O Google, como muitos mecanismos de busca, quer entregar o conteúdo mais relevante aos seus usuários. Então o principal problema com conteúdo gerado não é o fato de ele ser gerado, mas sim que a intenção costuma ser criar spam. O Google afirmou que, desde que o conteúdo agregue valor real ao usuário e não seja usado para manipular o sistema, conteúdo gerado está tudo bem.

Na verdade, muitos grandes veículos de notícias e mídia, como a Forbes, já usam tecnologias de geração de conteúdo para ajudá-los. A chave aqui é unir o melhor dos dois mundos — inteligência humana e artificial — para criar conteúdo envolvente. Contribuir com conhecimento valioso para a internet garantirá que você possa ranquear no topo mesmo que parte do seu conteúdo seja gerada.

O Futuro da IA e do SEO

A linha entre ciência e ficção continua a se confundir com o lançamento de modelos de IA de ponta como o GPT. A enorme melhoria na qualidade entre o GPT 2 e o GPT 3 em apenas um ano é impressionante. Com o passar do tempo, o jornal que você lê antes do café da manhã tem mais chance de ter sido escrito por alguém ou algo que nunca comeu uma omelete na vida.

É por isso que acreditamos ser importante compreender mais profundamente a tecnologia de IA, para além do hype. Quem não trabalha na área de SEO pode simplesmente ficar impressionado com o progresso da IA. Quem trabalha na área de SEO e cria conteúdo precisará se adaptar a essas ferramentas para continuar no topo.