Ultimamente sono di umore introspettivo.

All'inizio di quest'anno (15 anni dopo la fondazione di Distilled nel 2005), abbiamo creato una nuova società chiamata Pilota di ricerca per concentrarci sulla nostra tecnologia SEO e meta-CMS A/B testing (precedentemente nota come Distilled ODN), e abbiamo fuso il lato consulenza e conferenze dell'attività con Brainlabs.

Ora sono CEO di SearchPilot (che è principalmente di proprietà degli azionisti di Distilled) e sono anche SEO Partner di Brainlabs, quindi... Mi dispiace per tutti, ma rimango davvero nel settore SEO.

Per questo motivo, mi sembra un po' la fine di un capitolo piuttosto che la fine del libro, ma mi ha comunque permesso di guardare indietro a ciò che è cambiato e a ciò che non è cambiato negli ultimi 15 anni in cui ho lavorato nel settore.

Non posso affermare di far parte della prima generazione di esperti SEO, ma dato che costruisco siti web dal 1996 circa e ho visto la crescita di Google fin dall'inizio, mi sento un membro della seconda generazione e potrei avere alcune storie interessanti da condividere con chi è più recente.

Mi sono scervellato per ricordare ciò che mi sembrava importante all'epoca e ho anche rivisto le principali tendenze emerse nel corso della mia carriera nel settore, per arrivare a un interessante elenco di letture che la maggior parte delle persone che lavorano nel web oggi farebbe bene a conoscere.

Le grandi epoche della ricerca

Ho scherzato all'inizio di una presentazione che ho tenuto nel 2018 che le grandi epoche della ricerca hanno oscillato tra le linee guida dei motori di ricerca e la rapida rinuncia a tali linee guida da parte dei motori di ricerca quando hanno visto ciò che i webmaster stavano effettivamente facendo:

Anche se questa diapositiva era un po' ironica, credo che ci sia qualcosa su cui riflettere quando si parla di epoche come :

  1. Creare siti web: avete un sito web? Volete un sito web? Oggi è difficile da credere, ma agli albori del webPer farlo, è stato necessario convincere molte persone a mettere online la propria attività.
  2. Parole chiave: L'information retrieval di base si è trasformato in adversarial information retrieval quando i webmaster si sono resi conto che potevano giocare con il sistema riempiendo le parole chiave, nascondendo il testo, ecc.
  3. Collegamenti: Quando la scala del Web è cresciuta oltre gli elenchi generati dagli utenti, gli algoritmi di ricerca basati sui link hanno iniziato a dominare.
  4. Non quei link: Gli algoritmi basati sui link hanno iniziato a cedere il passo ad algoritmi basati sui link avversari, con i webmaster che commerciano, acquistano e manipolano i link attraverso il grafo web.
  5. Contenuti per la coda lunga: in parallelo a quest'epoca, la lunghezza della coda lunga ha iniziato a essere meglio compreso sia dai webmaster che da Google stesso, ed era nell'interesse di entrambe le parti creare quantità massicce di contenuti (spesso oscuri) e farli indicizzare quando servivano.
  6. Non questo contenuto: non a caso (vedete la tendenza?), la qualità media dei contenuti restituiti nei risultati di ricerca è diminuita drasticamente, e quindi vediamo i primi fattori di ranking del machine learning sotto forma di tentativi di valutare la "qualità" (insieme alla rilevanza e all'autorità del sito web).
  7. Machine learning: probabilmente tutto ciò che è accaduto da questo momento in poi è stata un'avventura nell'apprendimento automatico e nell'intelligenza artificiale, ed è accaduto anche nelle carriere della maggior parte dei marketer che lavorano nella SEO oggi. Quindi, per quanto mi piaccia scrivere di questo argomento, tornerò a parlarne un altro giorno.

Storia della SEO: i momenti cruciali

Sono sicuro che ci sono storie interessanti da raccontare sull'era SEO pre-Google, ma non sono la persona giusta per raccontarle (se avete una buona risorsa, condividetela nei commenti), quindi cominciamo dall'inizio del viaggio in Google:

La tecnologia di base di Google

Anche se state per entrare nel mondo della SEO nel 2020, in un mondo di fattori di ranking appresi dalle macchine, vi consiglio di tornare indietro e leggere i primi lavori accademici, sorprendentemente accessibili:

Se non si utilizzava il web all'epoca, è probabilmente difficile immaginare quanto l'algoritmo basato sul PageRank di Google sia stato migliorato rispetto allo stato dell'arte dell'epoca (ed è difficile ricordarlo, anche per quelli di noi che lo erano):

L'IPO di Google

Nel contesto delle "cose difficili da ricordare con chiarezza", al momento dell'IPO di Google nel 2004, ben pochi si aspettavano che Google sarebbe diventata una delle aziende più redditizie di tutti i tempi. All'epoca, i fondatori hanno espresso il loro disprezzo per la pubblicità e hanno sperimentato con riluttanza annunci basati su parole chiave. A causa di questo atteggiamento, anche all'interno dell'azienda, la maggior parte dei dipendenti non sapeva che razzo stava costruendo.

A quel punto, consiglio di leggere la lettera dei fondatori dell'IPO (si veda questo eccellente articolo di Danny Sullivan - che, ironia della sorte, è ora @RicercaLiaison a Google):

"I risultati della nostra ricerca sono i migliori che sappiamo produrre. Sono imparziali e oggettivi e non accettiamo alcun pagamento per essi o per l'inserimento o l'aggiornamento più frequente".

"Poiché non facciamo pagare i commercianti per l'inclusione in Froogle [ora Google shopping], i nostri utenti possono sfogliare le categorie di prodotti o cercare prodotti sapendo che i risultati che forniamo sono pertinenti e imparziali". - Deposito S1

Inoltre, Nel Plex è un libro piacevole pubblicato nel 2011 da Steven Levy. Racconta la storia di quella che l'allora amministratore delegato Eric Schmidt definì (all'epoca dell'IPO) "la strategia dell'insabbiamento":

"Coloro che conoscevano il segreto [...] ricevettero l'istruzione di non dire nulla al riguardo.

"Quello che Google nascondeva era il modo in cui aveva decifrato il codice per fare soldi su Internet".

Fortunatamente per Google, per gli utenti e anche per i marketer della ricerca organica, si è scoperto che questo non era davvero incompatibile con i loro puri ideali pre-IPO perché, come racconta Levy, "in test ripetuti, i ricercatori erano più soddisfatti delle pagine contenenti annunci rispetto a quelle in cui erano stati rimossi". Fiuuu!

Indice tutti

Nell'aprile 2003, Google ha acquisito un'azienda chiamata Applied Semantics e ha innescato un serie di eventi che, a mio parere, è la parte più sottovalutata della storia di Google.

La tecnologia di Applied Semantics è stata integrata con la propria tecnologia di annunci contestuali per formare quello che è diventato AdSense. Sebbene i ricavi di AdSense siano sempre stati superati da AdWords (ora semplicemente "Google Ads"), la sua importanza nella storia della SEO è difficile da sottovalutare.

Democratizzando la monetizzazione dei contenuti sul web e permettendo a chiunque di essere pagato per produrre contenuti oscuri, ha finanziato la creazione di quantità assurde di tali contenuti.

Molti di questi contenuti non sarebbero mai stati visti senza l'esistenza di un motore di ricerca che eccelleva nella capacità di fornire risultati eccellenti per le ricerche a coda lunga, anche se queste ricerche erano incredibilmente infrequenti o non erano mai state viste prima.

In questo modo, il motore di ricerca di Google (e la sua attività di pubblicità di ricerca) ha formato un potente volano con la sua attività AdSense, consentendo di finanziare la creazione di contenuti di cui aveva bisogno per differenziarsi dall'indice più grande e completo del web.

Tuttavia, come in molti capitoli della storia, ha anche creato un mostro sotto forma di contenuti di bassa qualità, persino generati automaticamente, che alla fine ha portato a crisi di pubbliche relazioni e a notevoli sforzi per porvi rimedio.

Se siete interessati all'era dell'all-index, potete leggere altre mie riflessioni sull'argomento nella sezione diapositive 47+ di Dalla bocca del cavallo.

Lo spam su Internet

Il prime forme di spam su Internet c'erano vari messaggi, che si sono diffusi come spam via e-mail. All'inizio degli anni 2000, Google ha iniziato a parlare di un problema che ha poi chiamato "web spam" (la prima volta che ho visto parlare di link spam è stato in una presentazione del 2005 di Amit Singhal, intitolata Sfide nella gestione di un motore di ricerca web commerciale [PDF]).

Sospetto che anche le persone che iniziano a lavorare nella SEO oggi possano aver sentito parlare di Matt Cutts, il capo originale del webspam, dato che viene ancora spesso citato nonostante non lavori più per Google dal 2014. Mi è piaciuto questo presentazione del 2015 che parla del suo percorso di carriera in Google.

L'era della qualità della ricerca

Nel corso del tempo, a causa della natura opposta dei webmaster che cercano di fare soldi e di Google (e di altri) che cercano di creare il miglior motore di ricerca possibile, il puro web spam non è stato l'unico problema di qualità che Google ha dovuto affrontare. Il gioco del gatto e del topo nell'individuare le manipolazioni (compresi i contenuti della pagina, i link esterni e il testo di ancoraggio) sarebbe stato un elemento caratterizzante del successivo decennio di ricerca.

È stato dopo la presentazione di Singhal che Eric Schmidt (allora amministratore delegato di Google) dettoI marchi sono la soluzione, non il problema... I marchi sono il modo per risolvere la fogna.

Chi è più recente nel settore avrà probabilmente sperimentato in prima persona alcuni degli aggiornamenti di Google (come i recenti "core update") e probabilmente avrà sentito parlare di alcuni specifici aggiornamenti più vecchi. Ma "Vince", che è arrivato dopo "Florida" (il primo aggiornamento importante confermato da Google) ed è stato lanciato poco dopo le dichiarazioni di Schmidt sui marchi, si è distinto soprattutto per favorire i grandi marchi. Se non avete seguito l'intera vicenda, potete leggere qui i principali aggiornamenti passati:

Una minaccia reale alla reputazione

Come ho già detto nella sezione AdSense, i webmaster avevano un forte incentivo a creare tonnellate di contenuti, mirando alla coda lunga della ricerca. Se il vostro dominio fosse sufficientemente potente, Google scansionerebbe e indicizzerebbe un numero enorme di pagine e, per query sufficientemente oscure, ogni contenuto corrispondente si classificherebbe potenzialmente. Ciò ha innescato la rapida crescita delle cosiddette "content farm", che estraevano dati sulle parole chiave ovunque potessero e producevano contenuti di bassa qualità corrispondenti alle parole chiave. Allo stesso tempo, i siti web hanno avuto successo consentendo l'indicizzazione di grandi database di contenuti, anche sotto forma di pagine molto scarne, o consentendo l'indicizzazione di un gran numero di pagine di contenuti generati dagli utenti.

Si trattava di una vera e propria minaccia per la reputazione di Google, in quanto veniva fuori da la camera d'eco della ricerca e del referenziamento. Era diventato un tale flagello per comunità come Hacker News e StackOverflow, che Matt Cutts ha presentato un aggiornamento personale alla comunità di Hacker News quando Google ha rilasciato un aggiornamento per correggere un sintomo specifico, ovvero che i siti di scraping si posizionavano costantemente più in alto rispetto ai contenuti originali che copiavano.

Poco dopo, Google ha rilasciato l'aggiornamento inizialmente denominato "The new aggiornamento degli agricoltori" . Dopo il suo lancio, abbiamo appreso che è stato reso possibile dalla scoperta di un ingegnere chiamato PandaPer questo motivo è noto internamente a Google come l'aggiornamento "big Panda" e da allora la comunità SEO si riferisce principalmente a questo aggiornamento come all'aggiornamento Panda.

Mentre ipotizzavamo che il funzionamento interno dell'aggiornamento fosse uno dei primi utilizzi reali dell'apprendimento automatico nel cuore dell'algoritmo di ricerca organica di Google, le caratteristiche che modellava erano più facilmente comprensibili come fattori di qualità incentrati sull'uomo, e così abbiamo iniziato a consigliare ai nostri clienti modifiche SEO mirate basate sui risultati delle indagini sulla qualità umana.

Tutto diventa mobile first

Ho fatto un presentazione a SearchLove London nel 2014 in cui ho parlato dell'incredibile crescita e delle dimensioni della telefonia mobile e di come ci siamo resi conto in ritardo di quanto Google stesse prendendo sul serio questo aspetto. Ho sottolineato la sorpresa che molti hanno provato quando hanno saputo che Google stava progettando per i dispositivi mobili:

"Alla fine dello scorso anno, abbiamo lanciato alcuni miglioramenti di design piuttosto significativi per la ricerca su dispositivi mobili e tablet. Oggi abbiamo trasferito molti di questi cambiamenti all'esperienza desktop". - Jon Wiley (ingegnere senior di Google Search) ha parlato su Google+, il che significa che non c'è un link a un riferimento perfetto per la citazione, ma si fa riferimento a essa qui e nella mia presentazione).

Questa sorpresa è arrivata nonostante il fatto che, quando ho tenuto questa presentazione nel 2014, sapevamo che la ricerca da mobile aveva iniziato a cannibalizzare la ricerca da desktop (e avevamo visto il primo calo dei volumi di ricerca da desktop):

E questo è avvenuto proprio mentre si cominciava a dire che il primo anno in cui Google ha realizzato la maggior parte dei suoi ricavi su dispositivi mobili era a meno di due anni di distanza:

Nel momento in cui scriviamo, nel 2020, riteniamo di aver interiorizzato appieno l'importanza del mobile, ma è interessante ricordare che c'è voluto un po' di tempo perché questo diventasse una realtà.

L'apprendimento automatico diventa la norma

Dopo l'aggiornamento Panda, l'apprendimento automatico è stato menzionato sempre più spesso nelle comunicazioni ufficiali di Google sugli aggiornamenti degli algoritmi ed è coinvolto in un numero ancora maggiore di essi. Sappiamo che storicamente c'è stata una certa resistenza da parte di alcuni (tra cui Singhal) all'uso dell'apprendimento automatico nell'algoritmo di base, per il modo in cui impediva agli ingegneri umani di spiegare i risultati. Nel 2015, Sundar Pichai ha assunto la carica di CEO, mettendo da parte Singhal (anche se questo potrebbe essere stato per d Altri motivi) e ha installato ventilatori AI / ML in posizioni chiave.

Il cerchio è completo

Prima dell'aggiornamento della Florida (in realtà, fino a quando Google non ha lanciato un aggiornamento chiamato Fritz nell'estate del 2003), i risultati di ricerca venivano regolarmente rimescolati in un processo soprannominato "Fritz". Ballo su Google:

Da allora la maggior parte delle cose si è mossa in tempo reale, ma i recenti "aggiornamenti principali" sembrano aver riportato questo tipo di dinamica in cui le modifiche avvengono secondo il calendario di Google piuttosto che secondo la cronologia delle modifiche ai siti web. Ho ipotizzato che che questo sia dovuto al fatto che gli "aggiornamenti del nucleo" sono in realtà il riciclo da parte di Google di un modello di deep learning massivo che è molto in sintonia con la forma del web in quel momento. Qualunque sia la causa, la nostra esperienza di lavoro con un'ampia gamma di clienti è in linea con il linea ufficiale di Google:

Gli aggiornamenti generali del kernel tendono a verificarsi ogni pochi mesi. I contenuti che sono stati colpiti da uno di questi problemi potrebbero non essere ripristinati - ammesso che siano stati apportati miglioramenti - fino al rilascio del prossimo aggiornamento del kernel.

Collegare tendenze e scoperte recenti come questa alla storia antica, come la danza di Google, è solo uno dei modi in cui la conoscenza della storia della SEO è "utile".

Se siete interessati a tutto questo

Spero che questo viaggio nella memoria sia stato interessante. Per coloro che hanno lavorato nel settore in quegli anni, cosa mi sono perso? Quali sono le grandi pietre miliari che ricorda? Inviateli nei commenti qui sotto o scrivetemi a Twitter.

Se vi è piaciuta questa passeggiata nel viale dei ricordi, potreste apprezzare anche la mia presentazione Dalla bocca del cavalloCerco di utilizzare le dichiarazioni ufficiali e non ufficiali di Google per capire cosa succede davvero dietro le quinte e per dare alcuni suggerimenti su come fare lo stesso:


Per aiutarci a servirvi meglio, vi invitiamo a partecipare al sondaggio 2020 tra i lettori del blog Moz, che vi chiede chi siete, quali sfide affrontate e cosa vorreste vedere di più sul blog Moz.