GPT 3 e SEO: perché l'IA rivoluzionerà per sempre i tuoi contenuti

Abbiamo ormai tutti sentito il clamore.

OpenAI ha rilasciato una nuova versione del Generative Pre-trained Transformer versione 3 (in breve, GPT-3 o GPT 3) con accesso API beta GPT 3, proprio come il suo predecessore GPT 2, è una grande rete neurale profonda in grado di generare automaticamente testo abbastanza realistico da ingannare la persona media. È un’IA avanzata che impara a imitare la scrittura umana dal web.

Ecco un estratto di un articolo generato da GPT 3:

Negli anni successivi alla Seconda guerra mondiale, l’economia del mondo occidentale, e in particolare quelle europee, iniziò a riprendersi e a mostrare crescita. Era già iniziata la ricostruzione di fabbriche, strade e ponti, città e abitazioni, porti e aeroporti. L’economia europea era diventata un motore di crescita per l’intero mondo occidentale. Paesi, aziende e persone prosperavano, e in Europa ebbe inizio una grande fase di crescita economica, aumento dei salari e miglioramento del tenore di vita. La combinazione di ricostruzione e nuovi investimenti rese l’Europa un luogo ideale in cui fare affari. Per le aziende, l’Europa era un vasto mercato, con i suoi membri più o meno unificati in termini di regolamentazione del mercato, infrastrutture, politica degli investimenti e cultura. Le imprese aprivano stabilimenti, investivano e trovavano nuovi mercati, e questi investimenti erano in larga misura finanziati con debito.

Questi risultati hanno senza dubbio sorpreso il pubblico e generato molto clamore. Il testo generato si legge bene ed è grammaticalmente corretto - ma GPT 3 non è soltanto un potente generatore di testo. La tecnologia segna un cambiamento fondamentale nel modo in cui dobbiamo pensare alla creazione di contenuti, al marketing e alla SEO (Search Engine Optimization). Brevi frammenti di contenuto, come quello mostrato sopra, possono essere creati facilmente a basso costo.

Per gli esperti SEO e i creatori di contenuti, è imperativo comprendere GPT 3. Questo significa che la scrittura umana è obsoleta? Può produrre testi di alta qualità? Segna forse uno scenario apocalittico in cui bot spam SEO sfornano spazzatura senza limiti?

Sebbene vi siano alcune verità in queste affermazioni, riteniamo che il clamore eccessivo attorno a GPT 3 necessiti di maggiore chiarezza. Per comprendere l’impatto delle tecnologie di generazione del testo sulla SEO e sulla scrittura di contenuti, dobbiamo prima scomporre ciò che GPT 3 fa, perché è importante e come funziona.

La generalità di GPT-3

GPT-3 e le tecnologie che lo hanno preceduto (GPT e GPT 2) costituiscono una linea di ricerca su modelli NLP (Natural Language Processing) generali sviluppati da OpenAI. Ma cosa significa essere generale?

Il machine learning ha una lunga storia nello sviluppo di sistemi bravi in una sola cosa. Questi sistemi sono chiamati IA ristrette. Se vuoi un’IA che preveda il punteggio di una recensione Amazon, puoi addestrarne facilmente una se disponi di abbastanza dati di training. Se vuoi sviluppare un modello in grado di guardare la foto profilo di qualcuno sui social media e dirti chi sia, puoi addestrare un altro modello che svolgerà il compito.

Il problema è che i sistemi di IA addestrati su uno di questi compiti non sono in grado di lavorare su altro - da qui il termine ristretto. È vincolato all’ambito su cui viene addestrato. Il Santo Graal attuale della ricerca sull’IA è cercare tecnologie più generali - IA in grado di fare molte cose. Ecco perché le tecnologie generali sono rivoluzionarie.

Perché costruire generalisti dell’IA?

Un sentimento comune sostiene: non dovrebbero essere preferiti gli esperti specializzati?

Agli albori dell’informatica, si crearono computer specializzati che potevano solo calcolare e risolvere un solo tipo di problema. Immagina di avere una calcolatrice specializzata che può fare soltanto addizioni, e nient’altro. Certo, sarebbe davvero brava nelle addizioni e potrebbe farle molto velocemente, ma non sarebbe molto utile.

Molto più utile, invece, è avere un computer che sappia sommare, sottrarre, andare online, giocare ai videogiochi, ecc. I computer moderni basati sull’architettura di von Neumann possiedono queste capacità generali. Col senno di poi, è facile dire che l’informatica general-purpose è una delle invenzioni più impattanti dell’umanità.

Lo stesso principio si applica a tecnologie di IA come GPT 3. Vogliamo la generalità nei nostri sistemi perché ciò ci consente di risolvere molti più problemi senza dover progettare manualmente, uno per uno, i vari compiti. Inoltre, si è scoperto che gli approcci di apprendimento generale aumentano l’accuratezza dell’IA nei compiti NLP di almeno il 60%.

In fondo, gli esseri umani sono una forma di intelligenza generale. L’intelligenza generale ci consente di acquisire abilità che non sappiamo nemmeno in anticipo essere utili. Per chi è interessato a cosa significhi possedere intelligenza generale, consigliamo il saggio di Chollet On the Measure of Intelligence.

Per il marketing SEO, questo significa che non dobbiamo sapere in anticipo quale tipo di contenuto vogliamo produrre. Non dobbiamo creare un’IA diversa per uno scopo appena differente.

GPT-3 è un sistema di IA che mostra alcune proprietà dell’intelligenza generale (talvolta chiamata Proto-AGI). Per esempio, possiamo fornire all’IA esempi di dialoghi tra personaggi e chiederle di completarli:

Rex è un viaggiatore del tempo dal futuro. Ada è una nobildonna del diciannovesimo secolo. Rex: Credo di aver schiantato la mia macchina del tempo nel tuo giardino. Ada: Mi perdoni? Cosa ha detto, giovane uomo?

Può anche svolgere una varietà di altri compiti e persino generare codice HTML. Questo è molto importante perché significa che possiamo risolvere numerosi compiti legati ai contenuti con GPT.

Quindi questo significa che GPT 3 può risolvere tutti i compiti rilevanti legati alla SEO? Può creare articoli per blog su qualsiasi tema o contenuti per qualsiasi categoria desideriamo? Non proprio. Per rispondere a questa domanda, dobbiamo scomporre il funzionamento di GPT 3.

Come apprende GPT 3

Sfruttare i Big Data

I modelli di machine learning (e in particolare le reti neurali profonde) sono affamati di dati e funzionano bene solo quando si fornisce loro una grande quantità di dati. In fin dei conti, i dati sono il nuovo petrolio.

Ma ottenere dati è difficile e costoso. La maggior parte dei sistemi di machine learning utili richiede che gli esseri umani etichettino con pazienza ogni singolo punto dati. I dati etichettati sono di solito il principale collo di bottiglia in molte applicazioni perché sono costosi da raccogliere - immagina il costo di assumere una flotta di Amazon Turkers!

GPT 3 aggira questo problema creando il proprio segnale di training modellando il testo che emerge naturalmente sul web. Adotta un paradigma di machine learning chiamato apprendimento non supervisionato (o auto-supervisionato). Questo consente l’apprendimento senza dati etichettati da esseri umani. Per chi vuole approfondire i dettagli tecnici dell’apprendimento non supervisionato, il nostro CTO ha scritto qui un’analisi approfondita.

Ma anche senza etichette, servono comunque molti dati, giusto?

Si scopre che i dati sono proprio sotto i nostri occhi. Internet contiene un’enorme quantità di articoli di alta qualità, ben scritti e su una varietà di argomenti - e sono tutti facilmente accessibili. Il bello della tecnica di training di GPT è che deve semplicemente imparare a prevedere questi articoli scritti da esseri umani per funzionare bene.

Ma aspetta - non c’è anche molta spazzatura sul web? GPT 3 non imparerebbe anche quella?

È vero. I creatori di GPT hanno attenuato alcuni di questi problemi usando il crowdsourcing per curare i dati. Un modo per farlo è osservare gli URL che le persone condividono su Reddit e fare crawl solo dei contenuti e dei post provenienti da siti con un gran numero di upvote su Reddit.

Apprendimento tramite generazione linguistica

Una volta ottenuti i dati, si può addestrare GPT. Ma come si può addestrare GPT a ottenere tutte quelle capacità generali che desideriamo? Un’idea è semplicemente fare generazione di testo. GPT impara a generare linguaggio naturale prevedendo la parola successiva in un articolo a partire dalle parole precedenti.

Questo è il motivo principale per cui GPT genera contenuti solo da sinistra a destra (non può farlo al contrario). Questo tipo di apprendimento si chiama modellazione del linguaggio.

È semplice così.

Prevedendo quale parola viene dopo in una frase, l’IA deve imparare a usare le altre parole nel proprio contesto. Questo costringe implicitamente GPT ad apprendere molte altre nozioni generali importanti.

Ciò che non posso creare, non lo comprendo.

-- Richard Feynman

Per prevedere correttamente la parola successiva, occorre anche una certa comprensione di buon senso del nostro mondo, oltre a elementi di base come sintassi e grammatica inglese. È così che, semplicemente prevedendo articoli, GPT riesce ad apprendere comportamenti umani straordinariamente simili ai nostri.

I sistemi di generazione linguistica hanno una lunga storia nel machine learning, e GPT non è una novità nel settore. In effetti, alcuni ricercatori di IA considerano GPT meno come un risultato scientificamente innovativo e più come un notevole traguardo ingegneristico. Ci insegna una lezione importante su ciò che oltre 4 milioni di dollari spesi in risorse di calcolo, combinati con una grande quantità di dati, possono e non possono darci.

Quindi qual è il verdetto?

OpenAI ci ha mostrato che scalare le soluzioni di IA può portarci molto lontano. GPT, quando viene scalato alla sua dimensione massima, può estrarre molte capacità generali semplicemente osservando come scrivono gli esseri umani. Ecco perché il modello mostra prestazioni così impressionanti. Google ha recentemente scalato una versione di GPT chiamata Switch Transformers fino a 10 volte la dimensione di GPT-3.

È la amara lezione che molti ricercatori di IA hanno compreso: le soluzioni guidate dal calcolo e dall’apprendimento superano lo sforzo umano manuale. Scalando un semplice framework di generazione, otteniamo GPT 3, che scrive quasi come un essere umano.

Ma GPT 3 non è privo di limiti. Per gli esperti di SEO e content marketing, conoscere questi limiti è estremamente importante e influisce su come possiamo sfruttare questa tecnologia del linguaggio naturale.

Limiti della generazione testuale

Modello del mondo debole e correttezza fattuale

Nonostante il clamore, GPT non ha una buona comprensione del nostro mondo. Un modo interessante per vedere questa mancanza di modello del mondo è fornire a GPT prompt su argomenti legati alla fisica del senso comune o al mondo reale. Come indicato nel paper tecnico di OpenAI, ha difficoltà a rispondere a domande come "Se metto il formaggio nel frigorifero, si scioglierà?". Inoltre, chiaramente non riesce a comprendere altri concetti umani come i giochi di parole.

Una possibile ragione di questo fenomeno è che l’IA non è una forma di cognizione incarnata - non ha mai davvero visto né sentito un frigorifero, nonostante ne abbia letto molte volte nei dati di training. Se usi ciecamente l’IA per generare testo per le tue esigenze di content marketing, otterrai alcune incoerenze e contenuti fattualmente errati.

Pregiudizi indesiderati

GPT è addestrato sul web e, di conseguenza, soffre degli stessi pregiudizi forniti dai dati di Internet. Pertanto, usare GPT direttamente può portare alla creazione di contenuti inappropriati o offensivi. Alcuni modi per mitigare ciò includono filtri che rifiutano contenuti offensivi. Ridurre i pregiudizi indesiderati nel machine learning è ancora un’area di ricerca attiva.

Adattamento al dominio

Sebbene GPT abbia appreso una comprensione generale del linguaggio, potrebbe non essere adatto al tuo dominio. Ricerche recenti hanno mostrato che mettere a punto e adattare modelli simili a GPT può portare a risultati ancora migliori.

GPT funziona con pochissimi esempi, ma fornirgli una quantità maggiore di dati produrrà certamente risultati migliori. Un’altra limitazione di GPT è la lunghezza massima di generazione, che potrebbe renderlo poco adatto all’uso di documenti lunghi come input.

Efficienza pratica

Sebbene sia ancora presto per dirlo, sembra che OpenAI preveda di addebitare un prezzo premium per usare GPT. Questa soluzione può essere costosa per alcuni casi d’uso e il servizio fornito non è tarato per la SEO. Usare o addestrare GPT internamente rappresenta una sfida pratica a causa dell’enorme numero di parametri.

Nel lungo periodo, questo problema è meno preoccupante. Esistono alcune direzioni di ricerca che consentiranno modi più efficienti di eseguire GPT, riducendo così il costo nel lungo termine.

L’opportunità SEO di GPT-3

Quindi GPT-3 è un potente sistema di generazione testuale - ma cosa significa tutto questo per il marketing dei contenuti? Il content marketing per la SEO comprende molte fasi. Va dalla ricerca delle parole chiave, all’analisi dei concorrenti, fino alla creazione dei contenuti.

Vediamo GPT usato soprattutto per creare contenuti, ma non può farlo in modo isolato. A causa dei limiti della tecnologia, è evidente che lasciare l’algoritmo libero di agire non produrrebbe grandi risultati. Deve esserci un essere umano nel circuito.

Gli scrittori diventano artisti

GPT dà il meglio di sé quando viene usato come strumento insieme a scrittori umani nel circuito — come gli scrittori usano gli strumenti di IA senza perdere la propria voce sta diventando una competenza centrale per i team SEO. Questo perché gli scrittori umani sono migliori in diverse cose che l’IA non sa fare altrettanto bene. Per esempio, gli scrittori umani sono più bravi nel pensiero di livello alto e nel capire cosa scrivere. L’IA è eccellente in compiti di livello basso, come creare pagine di categoria a partire da un elenco di pagine web di un sito.

Gran parte dello sforzo nella scrittura viene speso su problemi di livello basso, come correttezza grammaticale, tono e fluidità. Con GPT, il ruolo dello scrittore umano si trasforma in quello di editor. Immagina di tracciare ampie pennellate su una tela, e l’IA riempie i dettagli dell’immagine, poi l’essere umano modifica questi dettagli finché tutto non è perfetto.

In un certo senso, questo è ottimo perché gli scrittori possono concentrarsi su aspetti più interessanti - costruire idee di contenuto di qualità e focalizzarsi sul lato più creativo della scrittura. È meglio che creare pagine di categoria, concentrarsi su quanti keyword servano per riempire un articolo fino a una quantità ottimale, e/o assicurarsi che ogni frase sia fluida.

Strumenti per mettere in relazione esseri umani e IA

La conseguenza di quanto sopra è che abbiamo bisogno di un’ottima esperienza utente e di strumenti che sfruttino GPT in modo che possa lavorare bene insieme agli scrittori. In termini generali, esistono diversi modi per trasformare tecnologie simili a GPT in strumenti utili per la scrittura di contenuti. Ecco alcuni esempi di tecnologie di IA realizzate come vari strumenti:

Analisi della leggibilità

Avere una buona leggibilità è una parte importante dello sviluppo di contenuti di qualità. Aiuta gli utenti a rimanere coinvolti e a trascorrere più tempo sulla tua pagina, il che è un fattore importante per posizionarsi bene su Google. Ma scrivere articoli facili da leggere è più facile a dirsi che a farsi.

Qui da Jenni, abbiamo sviluppato uno strumento che svolge il lavoro al posto tuo. Abbiamo usato una tecnologia simile a GPT 3, ma l’abbiamo adattata alla riscrittura automatica delle frasi affinché risultino più leggibili.

Riformulazione intelligente

La parafrasi è l’arte di usare un testo sorgente senza citare direttamente il materiale originale. Ogni volta che prendi informazioni da una fonte che non è tua, devi specificare da dove provengono. Questa domanda sorge spesso anche con l’IA; la nostra analisi su scrittura con IA, plagio e originalità spiega a cosa prestare attenzione.

Il paragrafo sopra è stato parafrasato dalla definizione di Purdue utilizzando la nostra IA di riformulazione automatica. Un’IA che esegue una riformulazione intelligente può riscrivere qualsiasi frase in modo diverso dalla fonte oppure riformularla in diversi stili di scrittura desiderati.

In Jenni, abbiamo condotto studi sui nostri scrittori e abbiamo scoperto che automatizzare la riformulazione può far risparmiare almeno il 30% del tempo di uno scrittore. Permette inoltre agli scrittori di sperimentare formulazioni alternative delle frasi, alcune delle quali possono scorrere meglio rispetto al testo originale o esprimere meglio l’intento.

Ottimizzazione degli argomenti

Molti esperti SEO fanno affidamento sull’ ottimizzazione degli argomenti per garantire che i propri contenuti si posizionino bene sui motori di ricerca. In effetti, sviluppare un insieme di argomenti è importante per essere pertinenti a determinate query di ricerca, ma assicurarsi che un articolo soddisfi tutti i requisiti tematici è impegnativo.

I nostri editor in passato trascorrevano 1-4 ore a ottimizzare manualmente gli argomenti. L’uso di sistemi di IA per rilevare la rilevanza tematica nel tuo articolo può aiutarti a mantenere la scrittura sulla giusta strada, facendo risparmiare agli editor la riscrittura di contenuti irrilevanti.

Riassunto

Come abbiamo discusso in precedenza, l’IA è eccellente nei compiti di livello basso e il riassunto non fa eccezione. Quando si tratta di scrittura di contenuti, abbiamo riscontrato che un compito comune svolto dagli scrittori è riassumere altri testi.

Il riassunto è un compito in cui i sistemi di IA hanno dimostrato di funzionare bene in sistemi di produzione e commerciali. Invece di leggere un blocco denso di testo, perché non lasciare che l’IA ti fornisca un elenco sintetico di punti? In modo simile, puoi usare l’IA per creare indici o pagine di categoria se hai già sviluppato il tuo sito web.

I contenuti generati possono posizionarsi?

Alcuni professionisti SEO hanno iniziato a preoccuparsi dell’uso della generazione automatica di contenuti e del rischio di ricevere penalizzazioni da Google.

Google, come molti motori di ricerca, vuole offrire ai propri utenti i contenuti più pertinenti. Quindi il problema principale dei contenuti generati non è il fatto che siano generati, ma piuttosto che l’intento è spesso quello di creare spam. Google ha sostenuto che, purché i contenuti aggiungano un valore reale per l’utente e non vengano usati per aggirare il sistema, i contenuti generati vanno bene.

In effetti, molte grandi testate giornalistiche e media come Forbes usano già tecnologie di generazione dei contenuti per aiutarli. La chiave qui è unire il meglio di entrambi i mondi - intelligenza umana e artificiale - per creare contenuti convincenti. Contribuire con conoscenze utili a Internet garantirà che tu possa posizionarti ai vertici anche se alcuni dei tuoi contenuti sono generati.

Il futuro dell’IA e della SEO

Il confine tra scienza e finzione continua a farsi più sfumato con il rilascio di modelli di IA all’avanguardia come GPT. Il miglioramento enorme della qualità tra GPT 2 e GPT 3 in un solo anno è sbalorditivo. Col passare del tempo, il giornale che leggi prima di colazione avrà sempre più probabilmente come autore qualcuno o qualcosa che non ha mai mangiato un’omelette in vita sua.

Ecco perché riteniamo importante comprendere in modo più profondo la tecnologia dell’IA, al di là del semplice clamore. Chi non lavora nel campo della SEO potrebbe essere semplicemente impressionato dal progresso dell’IA. Chi invece opera nella SEO e crea contenuti dovrà adattarsi a questi strumenti per rimanere al vertice.