Últimamente estoy de un humor introspectivo.

A principios de este año (15 años después de la fundación de Distilled en 2005), creamos una nueva empresa llamada SearchPilot para centrarnos en nuestra tecnología de SEO y meta-CMS A/B testing (antes conocida como Distilled ODN), y fusionamos la parte de consultoría y conferencias del negocio con Brainlabs.

Ahora soy CEO de SearchPilot (que pertenece principalmente a los accionistas de Distilled), y también soy socio SEO en Brainlabs, así que... lo siento por todos, pero realmente sigo en la industria SEO.

Como tal, me parece más el final de un capítulo que el final del libro, pero me ha permitido recordar lo que ha cambiado y lo que no en los 15 años que llevo en el sector.

No puedo afirmar que pertenezca a la primera generación de expertos en SEO, pero como llevo creando sitios web desde 1996 aproximadamente y he visto el crecimiento de Google desde el principio, me siento como un miembro de la segunda generación, y puede que tenga algunas historias interesantes que compartir con los más nuevos.

He estado devanándome los sesos tratando de recordar lo que me pareció importante en su momento, y también he repasado las principales tendencias que han surgido a lo largo de mi carrera en el sector, para elaborar una interesante lista de lecturas que la mayoría de las personas que trabajan hoy en la web harían bien en conocer.

Las grandes épocas de la investigación

Bromeé al principio de un presentación que hice en 2018 diciendo que las grandes eras de la búsqueda han oscilado entre las directrices de los motores de búsqueda y los motores de búsqueda que se alejaban rápidamente de esas directrices cuando veían lo que los webmasters hacían en realidad:

Aunque esta diapositiva era un poco irónica, creo que hay algo en lo que pensar cuando se trata de épocas como :

  1. Crear sitios web: ¿Tiene un sitio web? ¿Quiere un sitio web? Es difícil de creer hoy en día, pero en los primeros días de la webPara ello, hubo que convencer a mucha gente de que pusiera su negocio en línea.
  2. Palabras clave: La recuperación de información básica se convirtió en recuperación de información adversarial cuando los webmasters se dieron cuenta de que podían engañar al sistema rellenando palabras clave, ocultando texto, etc.
  3. Enlaces: A medida que la Web crecía más allá de los directorios generados por los usuarios, los algoritmos de búsqueda basados en enlaces empezaron a dominar.
  4. No esos enlaces: Los algoritmos basados en enlaces han empezado a dar paso a algoritmos basados en enlaces adversarios, en los que los webmasters comercian, compran y manipulan enlaces a través del grafo web.
  5. Contenido para la larga cola: Paralelamente a esta era, la longitud de la cola larga Tanto los webmasters como el propio Google empezaron a entenderlo mejor, y a ambas partes les interesaba crear cantidades masivas de contenido (a menudo oscuro) y tenerlo indexado para cuando fuera necesario.
  6. Este contenido no: Como era de esperar (¿ves la tendencia?), la calidad media de los contenidos que aparecen en los resultados de las búsquedas ha disminuido drásticamente, por lo que vemos los primeros factores de clasificación del aprendizaje automático en forma de intentos de evaluar la "calidad" (junto con la relevancia y la autoridad del sitio web).
  7. Aprendizaje automático: podría decirse que todo lo que ha ocurrido a partir de este momento ha sido una aventura en el aprendizaje automático y la inteligencia artificial, y también ha ocurrido en las carreras de la mayoría de los profesionales del marketing que trabajan en SEO hoy en día. Así que, por mucho que me guste escribir sobre este tema, volveré a él otro día.

Historia del SEO: los momentos cruciales

Aunque estoy seguro de que hay historias interesantes que contar sobre la era pre-Google del SEO, no soy la persona adecuada para contarlas (si tienes un buen recurso, por favor, compártelo en los comentarios), así que empecemos al principio del viaje de Google:

Tecnología básica de Google

Incluso si te vas a dedicar al SEO en 2020, en un mundo de factores de clasificación aprendidos por máquinas, te recomiendo que vuelvas atrás y leas los primeros trabajos académicos, sorprendentemente accesibles:

Si no utilizabas la web en aquella época, probablemente te resulte difícil imaginar hasta qué punto el algoritmo basado en PageRank de Google suponía una mejora con respecto al estado del arte de entonces (y es difícil de recordar, incluso para los que sí lo hacíamos):

La salida a bolsa de Google

En el contexto de "cosas difíciles de recordar con claridad", en el momento de la salida a bolsa de Google en 2004, muy poca gente esperaba que Google se convirtiera en una de las empresas más rentables de todos los tiempos. En aquel momento, los fundadores expresaron su desdén por la publicidad y experimentaron a regañadientes con anuncios basados en palabras clave. Debido a esta actitud, incluso dentro de la empresa, la mayoría de los empleados no sabían qué cohete estaban construyendo.

En ese momento, recomiendo leer la carta de salida a bolsa de los fundadores (véase este excelente artículo de Danny Sullivan - que, irónicamente, es ahora @SearchLiaison en Google):

"Los resultados de nuestras investigaciones son los mejores que sabemos producir. Son imparciales y objetivos, y no aceptamos pago alguno por ellos ni por incluirlos o actualizarlos con mayor frecuencia."

"Como no cobramos a los comerciantes por su inclusión en Froogle [ahora Google Shopping], nuestros usuarios pueden navegar por categorías de productos o buscar productos sabiendo que los resultados que ofrecemos son relevantes e imparciales." - Depósito S1

Además, En el Plex es un libro ameno publicado en 2011 por Steven Levy. Cuenta la historia de lo que el entonces Consejero Delegado Eric Schmidt llamó (en la época de la salida a bolsa) "la estrategia de encubrimiento":

"Los que conocían el secreto [...] recibieron instrucciones muy firmes de no decir nada al respecto.

"Lo que Google ocultaba era cómo había descifrado el código para ganar dinero en Internet".

Afortunadamente para Google, para los usuarios e incluso para los vendedores de búsquedas orgánicas, resultó que esto no era realmente incompatible con sus ideales puros previos a la OPA porque, como relata Levy, "en repetidas pruebas, los buscadores estaban más contentos con las páginas que contenían anuncios que con aquellas en las que se habían eliminado." ¡Uf!

Índice

En abril de 2003, Google adquirió una empresa llamada Applied Semantics y desencadenó un serie de acontecimientos que, en mi opinión, es la parte más infravalorada de la historia de Google.

La tecnología de Applied Semantics se integró con su propia tecnología de anuncios contextuales para formar lo que se convirtió en AdSense. Aunque los ingresos de AdSense siempre se han visto eclipsados por los de AdWords (ahora simplemente "anuncios de Google"), es difícil subestimar su importancia en la historia del SEO.

Al democratizar la monetización de los contenidos en la red y permitir pagar a cualquiera por producir contenidos oscuros, ha financiado la creación de cantidades absurdas de esos contenidos.

Muchos de estos contenidos nunca se habrían visto sin la existencia de un motor de búsqueda que destacaba por su capacidad de ofrecer excelentes resultados para las búsquedas long tail, incluso si estas búsquedas eran increíblemente infrecuentes o nunca se habían visto antes.

De este modo, el motor de búsqueda de Google (y su negocio de publicidad en búsquedas) formaron un poderoso volante con su negocio de AdSense, lo que permitió financiar la creación de contenidos que necesitaba para diferenciarse del mayor y más completo índice de la web.

Sin embargo, como en muchos capítulos de la historia, también creó un monstruo en forma de contenidos de baja calidad, incluso generados automáticamente, que acabaron provocando crisis de relaciones públicas y considerables esfuerzos por remediarlas.

Si está interesado en la era del todo índice, puede leer más de mis reflexiones sobre el tema en el diapositivas 47+ de De la boca del caballo.

Spam en Internet

En primeras formas de spam en Internet había varios mensajes, que se propagaban como spam por correo electrónico. A principios de la década de 2000, Google empezó a hablar de un problema que acabó denominando "spam web" (la primera mención que vi al spam de enlaces fue en una presentación de 2005 de Amit Singhal titulada Retos de la gestión de un motor de búsqueda web comercial [PDF]).

Sospecho que incluso las personas que se inician en SEO hoy en día pueden haber oído hablar de Matt Cutts - el jefe original de webspam - ya que todavía se hace referencia a él a menudo a pesar de que ya no trabaja en Google desde 2014. Me ha gustado presentación de 2015 que habla de su trayectoria profesional en Google.

La era de la calidad de la investigación

Con el tiempo, debido a la naturaleza opuesta de los webmasters que intentan ganar dinero y Google (y otros) que intentan crear el mejor motor de búsqueda posible, el spam web puro no era el único problema de calidad al que se enfrentaba Google. El juego del gato y el ratón para detectar la manipulación (especialmente del contenido de la página, los enlaces externos y el texto de anclaje) iba a ser un rasgo definitorio de la siguiente década de búsquedas.

Fue después de la presentación de Singhal que Eric Schmidt (entonces CEO de Google) dijoLas marcas son la solución, no el problema... Las marcas son la forma de ordenar el pozo negro.

Las personas que son nuevas en el sector probablemente habrán experimentado de primera mano algunas de las actualizaciones de Google (como las recientes "actualizaciones principales") y probablemente habrán oído hablar de algunas actualizaciones específicas más antiguas. Pero "Vince", que llegó después de "Florida" (la primera gran actualización confirmada de Google) y se lanzó poco después de las declaraciones de Schmidt sobre las marcas, destacó especialmente por favorecer a las grandes marcas. Si no ha seguido toda la historia, puede leer aquí las principales actualizaciones anteriores:

Una amenaza real para la reputación

Como he mencionado anteriormente en la sección de AdSense, los webmasters tenían un fuerte incentivo para crear toneladas de contenido, dirigido a la floreciente larga cola de búsqueda. Si tu dominio fuera lo suficientemente potente, Google rastrearía e indexaría un gran número de páginas y, para consultas lo suficientemente oscuras, cualquier contenido que coincidiera podría clasificarse. Esto desencadenó el rápido crecimiento de las llamadas "granjas de contenidos", que extraían datos de palabras clave siempre que podían y producían contenidos de baja calidad que coincidían con las palabras clave. Al mismo tiempo, los sitios web triunfaban al permitir la indexación de grandes bases de datos de contenidos, incluso en forma de páginas muy finas, o al permitir la indexación de un gran número de páginas de contenidos generados por los usuarios.

Esto suponía una amenaza real para la reputación de Google, ya que salía de la cámara de eco de la investigación y las referencias. Se había convertido en tal azote para comunidades como Hacker News y StackOverflow, que Matt Cutts envió una actualización personal a la comunidad de Hacker News cuando Google publicó una actualización para corregir un síntoma específico, a saber, que los sitios de scraping se clasificaban sistemáticamente mejor que el contenido original que copiaban.

Poco después, Google publicó la actualización denominada inicialmente "La nueva actualización para agricultores" . Tras su lanzamiento, supimos que había sido posible gracias al avance de un ingeniero llamado PandaPor eso se la conoce internamente en Google como la "gran actualización Panda", y desde entonces la comunidad SEO se refiere a ella principalmente como la actualización Panda.

Aunque especulábamos con que el funcionamiento interno de la actualización era uno de los primeros usos reales del aprendizaje automático en el corazón del algoritmo de búsqueda orgánica de Google, las características que modelaba se entendían más fácilmente como factores de calidad centrados en el ser humano, por lo que empezamos a recomendar a nuestros clientes cambios SEO específicos basados en los resultados de encuestas de calidad humanas.

Todo pasa primero por el móvil

Hice un presentación en SearchLove Londres en 2014 en el que hablé del increíble crecimiento y escala de la telefonía móvil y de cómo nos dimos cuenta tarde de la seriedad con la que Google se lo estaba tomando. Destaqué la sorpresa que muchos sintieron cuando se enteraron de que Google estaba diseñando primero para móviles:

"A finales del año pasado, lanzamos algunas mejoras de diseño bastante significativas para la búsqueda en dispositivos móviles y tabletas. Hoy, hemos trasladado muchos de esos cambios a la experiencia de escritorio". - Jon Wiley (ingeniero senior de Google Search hablando en Google+, lo que significa que no hay un enlace a una referencia perfecta para la cita, pero se hace referencia a ella aquí así como en mi presentación).

Esta sorpresa se produjo a pesar de que, en el momento en que di esta presentación en 2014, sabíamos que la búsqueda móvil había comenzado a canibalizar la búsqueda de escritorio (y habíamos visto la primera disminución en los volúmenes de búsqueda de escritorio) :

Y llegó justo cuando se empezaba a decir que faltaban menos de dos años para que Google obtuviera la mayor parte de sus ingresos a través del móvil:

Mientras escribimos estas líneas en 2020, tenemos la sensación de haber interiorizado plenamente la importancia del móvil, pero es interesante recordar que ha tardado algún tiempo en hacerse realidad.

El aprendizaje automático se convierte en la norma

Desde la actualización de Panda, el aprendizaje automático se menciona cada vez más en las comunicaciones oficiales de Google sobre las actualizaciones de algoritmos, y está implicado en un número aún mayor de ellas. Sabemos que históricamente hubo resistencia por parte de algunos sectores (incluido Singhal) al uso del aprendizaje automático en el algoritmo central por la forma en que impedía a los ingenieros humanos explicar los resultados. En 2015, Sundar Pichai asumió el cargo de consejero delegado, apartó a Singhal (aunque puede que fuera por d Otros motivos) y ha instalado seguidores de IA / ML en puestos clave.

El círculo se completa

Antes de la actualización de Florida (de hecho, hasta que Google lanzó una actualización llamada Fritz en el verano de 2003), los resultados de las búsquedas se barajaban regularmente en un proceso denominado Baile en Google:

La mayoría de las cosas se han movido en tiempo real desde entonces, pero las recientes "actualizaciones principales" parecen haber traído de vuelta este tipo de dinámica en la que los cambios se producen de acuerdo con el calendario de Google en lugar de la cronología de los cambios en los sitios web. Tengo la hipótesis de que que esto se debe a que las "actualizaciones del núcleo" son en realidad el reciclaje por parte de Google de un modelo masivo de aprendizaje profundo que está muy en sintonía con la forma de la web en ese momento. Sea cual sea la causa, nuestra experiencia de trabajo con una amplia gama de clientes coincide con la línea oficial de Google:

Las actualizaciones generales del núcleo suelen producirse cada pocos meses. Los contenidos que se hayan visto afectados por alguna de ellas no podrán restaurarse -suponiendo que se hayan realizado mejoras- hasta que se publique la siguiente actualización general del núcleo.

Relacionar tendencias y descubrimientos recientes como éste con la historia antigua, como el baile de Google, es sólo una de las formas en las que el conocimiento de la historia del SEO es "útil".

Si le interesa todo esto

Espero que este viaje por la memoria haya sido interesante. Para aquellos de ustedes que también trabajaron en el sector durante esos años, ¿qué eché de menos? ¿Cuáles son los grandes hitos que recuerda? Envíelas en los comentarios o escríbame a Twitter.

Si le ha gustado este paseo por los recuerdos, puede que también le guste mi presentación De boca de los caballosIntento utilizar las declaraciones oficiales y extraoficiales de Google para comprender lo que ocurre realmente entre bastidores y dar algunos consejos sobre cómo hacer lo mismo:

Para ayudarnos a servirle mejor, por favor considere realizar la encuesta a los lectores del blog de Moz 2020, en la que se le pregunta quién es, a qué retos se enfrenta y qué le gustaría ver más en el blog de Moz.