Ich war in letzter Zeit in einer introspektiven Stimmung.

Anfang dieses Jahres (15 Jahre nach der Gründung von Distilled im Jahr 2005) gründeten wir eine neue Firma namens SearchPilot um uns auf unsere Technologie für A/B-Tests von SEO und Meta-CMS zu konzentrieren (zuvor bekannt als Distilled ODN), und wir fusionierten den Beratungs- und Konferenzbereich des Unternehmens mit Brainlabs.

Ich bin jetzt CEO von SearchPilot (das hauptsächlich den Aktionären von Distilled gehört), und ich bin auch SEO-Partner bei Brainlabs, also... es tut mir leid für alle, aber ich bleibe wirklich in der SEO-Branche.

Als solches fühlt es sich für mich ein wenig wie das Ende eines Kapitels und nicht wie das Ende des Buches an, aber es hat mir trotzdem die Möglichkeit gegeben, darauf zurückzublicken, was sich in den letzten 15 Jahren, die ich in der Branche verbracht habe, verändert hat und was nicht.

Ich kann nicht behaupten, dass ich zur ersten Generation von SEO-Experten gehöre, aber da ich seit etwa 1996 Websites baue und das Wachstum von Google von Anfang an miterlebt habe, fühle ich mich wie ein Mitglied der zweiten Generation und habe vielleicht ein paar interessante Geschichten, die ich mit denen teilen kann, die jünger sind.

Ich habe mir den Kopf zerbrochen und versucht, mich an das zu erinnern, was mir damals wichtig erschien, und ich habe auch die großen Trends, die sich im Laufe meiner Karriere in der Branche herauskristallisiert haben, überprüft, um eine interessante Leseliste zusammenzustellen, die die meisten, die heute im Web arbeiten, besser kennen sollten.

Die großen Epochen der Forschung

Ich scherzte am Anfang einer Präsentation, die ich 2018 gehalten habe indem er sagte, dass die großen Ären der Suche zwischen Richtlinien von Suchmaschinen und Suchmaschinen schwankten, die schnell von diesen Richtlinien zurücktraten, als sie sahen, was Webmaster tatsächlich taten:

Auch wenn diese Folie etwas ironisch gemeint war, denke ich, dass es etwas zum Nachdenken über Ären wie :

  1. Erstellen Sie Webseiten: Haben Sie eine Webseite? Wünschen Sie sich eine Website? Es ist heute kaum zu glauben, aber in den frühen Tagen des InternetsIn der ersten Phase des Projekts mussten viele Menschen davon überzeugt werden, ihr Unternehmen online zu stellen.
  2. Schlüsselwörter: Die grundlegende Informationssuche wurde zu einer widersprüchlichen Informationssuche, als Webmaster erkannten, dass sie mit dem System spielen konnten, indem sie es mit Schlüsselwörtern vollstopften, Text versteckten usw. Die meisten Webmaster waren sich darüber im Klaren, dass sie das System nur durch die Verwendung von Schlüsselwörtern beeinflussen konnten.
  3. Links: Als die Größenordnung des Webs die von Nutzern erstellten Verzeichnisse übertraf, begannen auf Links basierende Suchalgorithmen zu dominieren.
  4. Nicht diese Links: Linkbasierte Algorithmen begannen, Algorithmen zu weichen, die auf widersprüchlichen Links basieren, da Webmaster Links über den Webgraphen hinweg austauschen, kaufen und manipulieren.
  5. Inhalte für den Long Tail: Parallel zu dieser Ära wird die Länge des Long Tail begann, sowohl von Webmastern als auch von Google selbst besser verstanden zu werden - und es war in beiderseitigem Interesse, massive Mengen an (oft obskuren) Inhalten zu erstellen und sie für den Zeitpunkt, an dem sie benötigt wurden, indizieren zu lassen.
  6. Nicht dieser Inhalt: Wie zu erwarten war (sehen Sie hier den Trend?), ist die durchschnittliche Qualität des in den Suchergebnissen zurückgegebenen Inhalts dramatisch gesunken, und so sehen wir die ersten Rankingfaktoren des maschinellen Lernens in Form von Versuchen, die "Qualität" zu bewerten (neben der Relevanz und Autorität der Website).
  7. Maschinelles Lernen: Man kann argumentieren, dass alles, was ab diesem Punkt passiert ist, ein Abenteuer im Bereich des maschinellen Lernens und der künstlichen Intelligenz war und sich auch in der Karriere der meisten Vermarkter abgespielt hat, die heute im Bereich der Suchmaschinenoptimierung arbeiten. So gerne ich auch über dieses Thema schreibe, werde ich also an einem anderen Tag darauf zurückkommen.

Die Geschichte der Suchmaschinenoptimierung: Entscheidende Momente

Obwohl ich mir sicher bin, dass es interessante Geschichten über die Ära der Suchmaschinenoptimierung vor Google zu erzählen gibt, bin ich nicht die richtige Person, um sie zu erzählen (wenn Sie eine gute Ressource haben, schreiben Sie sie bitte in die Kommentare), also lassen Sie uns früh mit Googles Weg beginnen :

Die Kerntechnologie von Google

Selbst wenn Sie im Jahr 2020 in einer Welt maschinengelernter Rankingfaktoren mit Suchmaschinenoptimierung beginnen, empfehle ich Ihnen, zurückzugehen und die frühen, überraschend zugänglichen akademischen Arbeiten zu lesen:

Wenn Sie das Web damals nicht nutzten, ist es wahrscheinlich schwer vorstellbar, wie sehr der PageRank-basierte Algorithmus von Google eine enorme Verbesserung gegenüber dem damaligen Stand der Technik darstellte (und selbst für diejenigen unter uns, die ihn nutzten, ist es schwer, sich daran zu erinnern) :

Der Börsengang von Google

Im Rahmen der "Dinge, an die man sich nur schwer klar erinnern kann": Als Google 2004 an die Börse ging, rechneten nur wenige damit, dass Google zu einem der profitabelsten Unternehmen aller Zeiten werden würde. Damals hatten die Gründer ihre Verachtung für Werbung kundgetan und nur widerwillig mit schlüsselwortbasierten Anzeigen experimentiert. Aufgrund dieser Einstellung wussten selbst innerhalb des Unternehmens die meisten Mitarbeiter nicht, welche Rakete sie gerade bauten.

Zu dieser Zeit empfehle ich die Lektüre des Briefs der Gründer zum Börsengang (siehe diesen hervorragenden Artikel von Danny Sullivan - die nun ironischerweise @SearchLiaison bei Google) :

"Unsere Forschungsergebnisse sind die besten, die wir produzieren können. Sie sind unparteiisch und objektiv, und wir nehmen keine Zahlungen für sie oder für eine häufigere Aufnahme oder Aktualisierung an."

"Da wir von Händlern keine Gebühren für die Aufnahme in Froogle [heute Google shopping] verlangen, können unsere Nutzer Produktkategorien durchsuchen oder nach Produkten suchen und wissen, dass die von uns gelieferten Ergebnisse relevant und unvoreingenommen sind." - Einlage S1

Darüber hinaus In the Plex ist ein angenehmes Buch, das 2011 von Steven Levy veröffentlicht wurde. Es erzählt die Geschichte dessen, was der damalige CEO Eric Schmidt (etwa zur Zeit des Börsengangs) "die Strategie der Verschleierung" nannte:

"Diejenigen, die das Geheimnis kannten [...] erhielten die ziemlich strikte Anweisung, nichts darüber zu sagen".

"Was Google verheimlichte, war, wie es den Code geknackt hatte, mit dem man im Internet Geld verdienen konnte."

Zum Glück für Google, für die Nutzer und sogar für die Vermarkter der organischen Suche stellte sich heraus, dass dies nicht wirklich unvereinbar mit ihren reinen Idealen aus der Vor-IPO-Zeit war, denn, wie Levy erzählt, "in wiederholten Tests waren die Forscher mit Seiten, die Anzeigen enthielten, glücklicher als mit solchen, auf denen sie unterdrückt wurden". Wuff!

Alles indizieren

Im April 2003 hat Google erwarb eine Firma namens Applied Semantics und löste eine Veranstaltungsreihe die meiner Meinung nach den am meisten unterschätzten Teil der Geschichte von Google darstellen.

Die Technologie von Applied Semantics wurde in ihre eigene Technologie für kontextbezogene Anzeigen integriert und bildete das, was später zu AdSense wurde. Obwohl die Einnahmen von AdSense stets im Schatten der Einnahmen von AdWords (heute einfach "Google Ads") standen, ist seine Bedeutung in der Geschichte der Suchmaschinenoptimierung kaum zu unterschätzen.

Indem er die Monetarisierung von Inhalten im Internet demokratisierte und es jedem ermöglichte, für die Produktion obskurer Inhalte bezahlt zu werden, finanzierte er die Schaffung absurder Mengen dieser Inhalte.

Die meisten dieser Inhalte wären nie gesehen worden, wenn es nicht eine Suchmaschine gegeben hätte, die sich darin auszeichnete, hervorragende Ergebnisse für Longtail-Suchanfragen zu liefern, selbst wenn diese Suchanfragen unglaublich selten waren oder noch nie zuvor gesehen wurden.

So bildete die Google-Suchmaschine (und ihr Suchanzeigengeschäft) mit ihrem AdSense-Geschäft ein starkes Schwungrad, das die Finanzierung der Inhaltserstellung ermöglichte, die sie brauchte, um sich vom größten und umfassendsten Index des Internets abzuheben.

Wie in vielen Kapiteln der Geschichte wurde dadurch jedoch auch ein Monster in Form von qualitativ minderwertigen oder gar automatisch generierten Inhalten geschaffen, das schließlich zu PR-Krisen und erheblichen Anstrengungen zu deren Behebung führte.

Wenn Sie sich für das Zeitalter des All-Index interessieren, können Sie die Fortsetzung meiner Überlegungen zu diesem Thema in den Folien 47+ von From the Horse's Mouth.

Spam im Internet

Die erste Formen von Spam im Internet waren verschiedene Nachrichten, die sich als Spam über E-Mails verbreiteten. Anfang der 2000er Jahre begann Google über ein Problem zu sprechen, das es schließlich "Webspam" nannte (die erste Erwähnung, die ich von Linkspam gesehen habe, war in einer Präsentation von Amit Singhal aus dem Jahr 2005 mit dem Titel Challenges in running a Commercial Web Search Engine [PDF]).

Ich vermute, dass selbst Personen, die heute mit der Suchmaschinenoptimierung beginnen, von Matt Cutts - dem ersten Webspam-Verantwortlichen - gehört haben könnten, da er immer noch häufig verlinkt wird, obwohl er seit 2014 nicht mehr bei Google arbeitet. Ich habe mich über diese Präsentation von 2015 der über seinen Karriereweg bei Google spricht.

Das Zeitalter der Forschungsqualität

Im Laufe der Zeit war aufgrund der gegensätzlichen Natur der Webmaster, die versuchten, Geld zu verdienen, und von Google (und anderen), die versuchten, die bestmögliche Suchmaschine zu schaffen, reiner Webspam nicht das einzige Qualitätsproblem, mit dem Google konfrontiert war. Das Katz-und-Maus-Spiel, Manipulationen (insbesondere des Seiteninhalts, der externen Links und des Ankertextes) aufzuspüren, sollte ein entscheidendes Merkmal des nächsten Jahrzehnts der Suche sein.

Es war nach Singhals obiger Präsentation, dass Eric Schmidt (damals CEO von Google) erklärte: "Marken sind die Lösung, nicht das Problem... Marken sind das Mittel, um die Kloake zu sortieren".

Personen, die erst seit kurzem in der Branche tätig sind, werden wahrscheinlich einige Google-Updates (wie die jüngsten "Basis-Updates") direkt erlebt haben und wahrscheinlich von einigen älteren spezifischen Updates gehört haben. Aber "Vince", das nach "Florida" (Googles erstem bestätigten größeren Update) kam und kurz nach Schmidts Aussagen über Marken eingeführt wurde, war besonders bemerkenswert, weil es große Marken begünstigte. Wenn Sie nicht die ganze Geschichte verfolgt haben, können Sie sich hier über die wichtigsten vergangenen Updates informieren :

Eine echte Bedrohung für den Ruf

Wie ich bereits oben im AdSense-Abschnitt erwähnt habe, gab es für Webmaster einen starken Anreiz, tonnenweise Inhalte zu erstellen und damit auf den boomenden Long Tail der Suche abzuzielen. Wenn Ihre Domain stark genug war, würde Google eine beträchtliche Anzahl von Seiten crawlen und indexieren, und bei hinreichend obskuren Suchanfragen würde jeder entsprechende Inhalt potenziell ranken. Dies löste das schnelle Wachstum der sogenannten "Content-Farmen" aus, die Daten zu Schlüsselwörtern extrahierten, wo immer sie konnten, und minderwertige Inhalte produzierten, die den Schlüsselwörtern entsprachen. Gleichzeitig waren Webseiten erfolgreich, indem sie große Inhaltsdatenbanken selbst in Form von sehr dünnen Seiten indexieren ließen oder indem sie eine große Anzahl von Seiten mit nutzergenerierten Inhalten indexieren ließen.

Es handelte sich um eine echte Bedrohung für den Ruf von Google, das gerade herauskam der Echokammer der Forschung und Referenzierung. Es war zu einer solchen Plage für Gemeinschaften wie Hacker News und StackOverflow geworden, dass Matt Cutts ein persönliches Update an die Hacker News Community übermittelt als Google ein Update herausbrachte, um ein bestimmtes Symptom zu beheben, nämlich dass die Rakelseiten regelmäßig bessere Rankings hatten als der Originalinhalt, den sie kopierten.

Kurz darauf veröffentlichte Google das Update mit dem ursprünglichen Namen ". Farmer-Update" . Nach ihrer Einführung erfuhren wir, dass sie durch den Durchbruch eines Ingenieur genannt PandaSeitdem wird es von der SEO-Community hauptsächlich als Panda-Update bezeichnet.

Obwohl wir spekulierten, dass die interne Funktionsweise des Updates eine der ersten tatsächlichen Anwendungen des maschinellen Lernens im Herzen von Googles Algorithmus für die organische Suche war, wurden die darin modellierten Funktionen eher als menschenzentrierte Qualitätsfaktoren verstanden, weshalb wir begannen, unseren Kunden gezielte Änderungen an der Suchmaschinenoptimierung zu empfehlen, die auf den Ergebnissen der Umfragen zur menschlichen Qualität basieren.

Alles wird zuerst mobil

Ich habe eine Präsentation bei SearchLove London im Jahr 2014 wo ich über das unglaubliche Wachstum und Ausmaß des Mobilfunks und die Verzögerung gesprochen habe, mit der wir erkannt haben, wie ernst Google dies nimmt. Ich betonte die Überraschung, die viele empfanden, als sie hörten, dass Google mobile first konzipiert:

"Gegen Ende des letzten Jahres haben wir recht umfangreiche Designverbesserungen für die Suche auf mobilen Geräten und Tablets eingeführt. Heute haben wir viele dieser Änderungen auf das Desktop-Erlebnis übertragen." - Jon Wiley (leitender Ingenieur für Google Search, der sich auf Google+ äußert, was bedeutet, dass es keinen Link zu einer perfekten Referenz für das Zitat gibt, aber es wird darauf verwiesen hier sowie in meiner Präsentation).

Diese Überraschung kam trotz der Tatsache, dass wir zu dem Zeitpunkt, als ich diese Präsentation im Jahr 2014 hielt, wussten, dass die mobile Suche begonnen hatte, die Desktop-Suche zu kannibalisieren (und wir hatten den ersten Rückgang des Desktop-Suchvolumens gesehen) :

Und sie kam genau zu dem Zeitpunkt, als die Leute anfingen zu sagen, dass das erste Jahr, in dem Google den Großteil seines Umsatzes mit mobilen Geräten erwirtschaftete, in weniger als zwei Jahren liegen würde:

Wenn wir diese Zeilen im Jahr 2020 schreiben, scheint es, als hätten wir die Bedeutung des Mobiltelefons vollständig verinnerlicht, aber es ist interessant, sich daran zu erinnern, dass es einige Zeit gedauert hat, bis dies Wirklichkeit wurde.

Maschinelles Lernen wird zur Norm

Seit dem Panda-Update wird maschinelles Lernen in Googles offiziellen Mitteilungen zu Algorithmus-Updates immer häufiger erwähnt und ist an noch mehr Algorithmus-Updates beteiligt. Wir wissen, dass es historisch gesehen in bestimmten Kreisen (einschließlich Singhal) Widerstand gegen die Verwendung des maschinellen Lernens im Kernalgorithmus gab, weil es menschliche Ingenieure daran hinderte, die Ergebnisse zu erklären. Im Jahr 2015 übernahm Sundar Pichai den Posten des CEO, entfernte Singhal (obwohl dies möglicherweise für d Andere Gründe) und hat KI-/ML-Fans in Schlüsselpositionen installiert.

Der Kreis schließt sich

Vor dem Florida-Update (eigentlich bis Google im Sommer 2003 ein Update namens Fritz ausrollte) wurden die Suchergebnisse regelmäßig in einem Prozess vermischt, der als die Google-Tanz:

Die meisten Dinge haben sich seitdem in Echtzeit verändert, aber die jüngsten "Basisaktualisierungen" scheinen diese Art von Dynamik zurückgebracht zu haben, bei der Änderungen nach dem Zeitplan von Google erfolgen und nicht nach der Chronologie der Änderungen an den Websites. Ich habe die Hypothese aufgestellt dass dies daran liegt, dass die "Basis-Updates" in Wirklichkeit Googles Recycling eines massiven Deep-Learning-Modells sind, das der Form des Webs zu diesem Zeitpunkt sehr gut angepasst ist. Was auch immer die Ursache sein mag, unsere Erfahrung bei der Arbeit mit einem breiten Spektrum von Kunden stimmt mit der offizielle Google-Linie :

Allgemeine Kernel-Updates finden in der Regel alle paar Monate statt. Inhalte, die von einer dieser Aktualisierungen betroffen sind, werden - vorausgesetzt, es wurden Verbesserungen vorgenommen - möglicherweise erst wieder hergestellt, wenn die nächste große Kernel-Aktualisierung veröffentlicht wird.

Die Verknüpfung neuer Trends und Entdeckungen wie dieser mit einer alten Geschichte wie dem Google-Tanz ist nur eine der Möglichkeiten, wie das Wissen über die Geschichte der Suchmaschinenoptimierung "nützlich" ist.

Wenn Sie an all dem interessiert sind

Ich hoffe, diese Reise in meine Erinnerungen war interessant. Für diejenigen unter Ihnen, die in diesen Jahren ebenfalls in der Branche gearbeitet haben: Was habe ich verpasst? An welche wichtigen Schritte erinnern Sie sich? Schicken Sie sie in die Kommentare unten oder schreiben Sie mir auf Twitter.

Wenn Ihnen dieser Spaziergang in die Vergangenheit gefallen hat, gefällt Ihnen vielleicht auch meine Präsentation From the Horse's MouthDarin versuche ich, anhand der offiziellen und inoffiziellen Aussagen von Google zu verstehen, was hinter den Kulissen wirklich vor sich geht, und gebe einige Tipps, wie man das Gleiche tun kann:

Um uns dabei zu helfen, Ihnen besser zu dienen, denken Sie bitte darüber nach, an der Leserumfrage 2020 des Moz Blogs teilzunehmen, in der Sie gefragt werden, wer Sie sind, welchen Herausforderungen Sie gegenüberstehen und was Sie gerne mehr im Moz Blog sehen würden.