В последнее время у меня было интроспективное настроение.

В начале этого года (спустя 15 лет после основания компании Distilled в 2005 году) мы создали новую компанию под названием SearchPilot чтобы сосредоточиться на нашей технологии SEO и мета-CMS A/B тестирования (ранее известной как Distilled ODN), и мы объединили консалтинговую и конференционную часть бизнеса с Brainlabs.

Сейчас я генеральный директор SearchPilot (который в основном принадлежит акционерам Distilled), а также являюсь SEO-партнером в Brainlabs, так что... Прошу прощения у всех, но я действительно остаюсь в SEO-индустрии.

Поэтому для меня это скорее конец главы, чем конец книги, но это все же позволило мне оглянуться назад и понять, что изменилось, а что нет за последние 15 лет моей работы в этом секторе.

Я не могу утверждать, что принадлежу к первому поколению SEO-экспертов, но поскольку я занимаюсь созданием сайтов примерно с 1996 года и видел развитие Google с самого начала, я чувствую себя представителем второго поколения, и, возможно, у меня есть несколько интересных историй, которыми я могу поделиться с теми, кто пришел раньше.

Я ломал голову, пытаясь вспомнить, что казалось важным в то время, а также проанализировал основные тенденции, возникшие за время моей карьеры в отрасли, чтобы составить интересный список литературы, который будет полезно знать большинству людей, работающих в Интернете сегодня.

Великие эпохи исследований

Я пошутил в начале презентация, которую я провел в 2018 году говорит, что великие эпохи поиска колебались между рекомендациями поисковых систем и поисковыми системами, которые быстро отступали от этих рекомендаций, когда видели, что на самом деле делают веб-мастера:

Несмотря на то, что этот слайд был немного ироничным, я думаю, что есть над чем задуматься, когда речь идет о таких эпохах, как :

  1. Создание веб-сайтов: Есть ли у вас веб-сайт? Вам нужен веб-сайт? Сегодня в это трудно поверить, но в первые дни существования ИнтернетаДля этого нужно было убедить многих людей разместить свой бизнес в Интернете.
  2. Ключевые слова: Базовый поиск информации превратился в состязательный поиск информации, когда веб-мастера поняли, что они могут играть с системой, набивая ключевые слова, скрывая текст и т.д.
  3. Ссылки: По мере того, как масштабы Сети выходили за рамки пользовательских каталогов, поисковые алгоритмы, основанные на ссылках, стали доминировать.
  4. Не эти ссылки: Алгоритмы, основанные на ссылках, начали уступать место алгоритмам, основанным на состязательных ссылках, когда веб-мастера торгуют, покупают и манипулируют ссылками в веб-графе.
  5. Контент для длинного хвоста: параллельно с этой эпохой длина длинный хвост стали лучше пониматься как веб-мастерами, так и самой компанией Google - и в интересах обеих сторон было создавать огромное количество (часто непонятного) контента и индексировать его в нужный момент.
  6. Не этот контент: Неудивительно (видите тенденцию?), что среднее качество контента, возвращаемого в результатах поиска, резко упало, и поэтому мы видим первые факторы ранжирования машинного обучения в виде попыток оценить "качество" (наряду с релевантностью и авторитетностью сайта).
  7. Машинное обучение: пожалуй, все, что произошло с этого момента, было приключением в области машинного обучения и искусственного интеллекта, а также произошло в карьере большинства маркетологов, работающих в SEO сегодня. Поэтому, как бы мне ни нравилось писать на эту тему, я вернусь к ней в другой раз.

История SEO: переломные моменты

Хотя я уверен, что есть интересные истории о догугловской эпохе SEO, я не тот человек, который может их рассказать (если у вас есть хороший ресурс, пожалуйста, поделитесь им в комментариях), поэтому давайте начнем с самого начала пути Google:

Основная технология Google

Даже если вы собираетесь заняться SEO в 2020 году, в мире машинного обучения факторов ранжирования, я рекомендую вам вернуться и прочитать удивительно доступную раннюю академическую работу:

Если вы не пользовались Интернетом в то время, вам, вероятно, трудно представить, насколько алгоритм Google на основе PageRank был улучшен по сравнению с уровнем развития техники в то время (и это трудно вспомнить даже тем из нас, кто пользовался):

IPO Google

В контексте "вещей, которые трудно запомнить", во время IPO Google в 2004 году мало кто ожидал, что Google станет одной из самых прибыльных компаний всех времен. В то время основатели выразили свое пренебрежение к рекламе и неохотно экспериментировали с объявлениями на основе ключевых слов. Из-за такого отношения даже внутри компании большинство сотрудников не знали, какую ракету они строят.

В это время я рекомендую прочитать письмо основателей об IPO (см. эту замечательную статью от Дэнни Салливан - который, по иронии судьбы, сейчас @SearchLiaison в Google):

"Результаты наших исследований - это лучшее, что мы умеем производить. Они беспристрастны и объективны, и мы не принимаем никакой платы за них или за более частое включение или обновление."

"Поскольку мы не взимаем плату с продавцов за включение в Froogle [теперь Google shopping], наши пользователи могут просматривать категории товаров или искать продукты, зная, что результаты, которые мы предоставляем, актуальны и объективны". - Депозит S1

Кроме того, В плексе это приятная книга, опубликованная в 2011 году Стивеном Леви. В ней рассказывается о том, что тогдашний генеральный директор Эрик Шмидт назвал (примерно во время IPO) "стратегией сокрытия":

"Тем, кто знал секрет [...], было дано твердое указание ничего о нем не говорить.

"Google скрывал то, как он взломал код для зарабатывания денег в Интернете".

К счастью для Google, для пользователей и даже для маркетологов органического поиска, оказалось, что на самом деле это не противоречит их чистым идеалам до IPO, потому что, как пишет Леви, "в ходе многократных тестов поисковики были более довольны страницами, содержащими рекламу, чем теми, где она была удалена". Фух!

Индекс все

В апреле 2003 года компания Google приобрела компанию под названием Applied Semantics и вызвал серия мероприятий которая, на мой взгляд, является самой недооцененной частью истории Google.

Технология Applied Semantics была интегрирована с их собственной технологией контекстной рекламы для создания того, что стало AdSense. Хотя доходы AdSense всегда были меньше доходов AdWords (теперь просто "Google Ads"), его значение в истории SEO трудно недооценить.

Демократизируя монетизацию контента в Интернете и позволяя любому человеку получать деньги за производство непонятного контента, он финансировал создание абсурдного количества такого контента.

Большая часть этого контента никогда бы не увидела свет, если бы не существовала поисковая система, способная выдавать отличные результаты по длинному хвосту поисковых запросов, даже если эти запросы были невероятно редкими или никогда не встречались ранее.

Таким образом, поисковая система Google (и ее бизнес поисковой рекламы) образовали мощный маховик вместе с бизнесом AdSense, что позволило финансировать создание контента, необходимого для того, чтобы отличаться от самого большого и полного индекса в Интернете.

Однако, как и во многих других главах истории, он также породил монстра в виде низкокачественного, даже автоматически генерируемого контента, что в конечном итоге привело к кризисам в отношениях с общественностью и значительным усилиям по их устранению.

Если вас интересует эпоха всеиндекса, вы можете прочитать больше моих мыслей на эту тему в статье слайды 47+ из "Из уст лошади.

Спам в Интернете

Сайт ранние формы спама в Интернете были различные сообщения, которые распространялись как почтовый спам. В начале 2000-х годов Google заговорил о проблеме, которую в итоге назвал "веб-спамом" (первое упоминание о ссылочном спаме я увидел в презентации Амита Сингхала 2005 года под названием Проблемы, связанные с запуском коммерческой поисковой веб-системы [PDF]).

Я подозреваю, что даже люди, начинающие заниматься SEO сегодня, возможно, слышали о Мэтте Каттсе - первоначальном руководителе отдела по борьбе с веб-спамом, поскольку его часто упоминают, несмотря на то, что с 2014 года он больше не работает в Google. Мне понравилось это презентация 2015 года который рассказывает о своем карьерном пути в Google.

Эра качества исследований

Со временем, из-за противоположной природы вебмастеров, пытающихся заработать деньги, и Google (и других компаний), пытающихся создать наилучшую поисковую систему, чистый веб-спам стал не единственной проблемой качества, стоящей перед Google. Игра в кошки-мышки по выявлению манипуляций (особенно с содержанием страницы, внешними ссылками и анкорным текстом) должна была стать определяющей чертой следующего десятилетия поиска.

Именно после вышеупомянутой презентации Сингхала Эрик Шмидт (в то время генеральный директор Google) сказалБренды - это решение, а не проблема... Бренды - это способ разобраться с выгребной ямой.

Люди, недавно пришедшие в эту отрасль, вероятно, сталкивались с некоторыми обновлениями Google на собственном опыте (например, недавние "основные обновления") и, вероятно, слышали о некоторых старых обновлениях. Но "Винс", который появился после "Флориды" (первого подтвержденного крупного обновления Google) и был запущен вскоре после заявлений Шмидта о брендах, был особенно примечателен тем, что отдавал предпочтение крупным брендам. Если вы не следили за всей этой историей, вы можете прочитать об основных обновлениях прошлого здесь:

Реальная угроза репутации

Как я уже упоминал выше в разделе AdSense, у веб-мастеров был сильный стимул создавать тонны контента, ориентируясь на бурно развивающийся длинный хвост поиска. Если бы ваш домен был достаточно мощным, Google мог бы просмотреть и проиндексировать огромное количество страниц, и для достаточно непонятных запросов любой соответствующий контент потенциально мог бы занять свое место. Это вызвало быстрый рост так называемых "ферм контента", которые извлекали данные о ключевых словах везде, где только могли, и производили низкокачественный контент, соответствующий ключевым словам. В то же время веб-сайты добивались успеха, позволяя индексировать большие базы данных контента, даже в виде очень тонких страниц, или позволяя индексировать большое количество страниц пользовательского контента.

Это было реальной угрозой для репутации Google, поскольку выходило из эхо-камера исследований и реферирования. Это стало таким бичом для таких сообществ, как Hacker News и StackOverflow, что Matt Cutts представил персональное обновление сообществу Hacker News когда Google выпустил обновление для устранения специфического симптома, а именно того, что сайты-скрепки постоянно ранжировались выше, чем оригинальный контент, который они копировали.

Вскоре после этого Google выпустил обновление, первоначально названное "Новый обновление фермерских хозяйств" . После его запуска мы узнали, что это стало возможным благодаря прорыву инженер по имени ПандаИменно поэтому внутри Google это обновление известно как "большая Панда", и с тех пор SEO-сообщество в основном называет его обновлением Panda.

Хотя мы предполагали, что внутренняя работа обновления была одним из первых реальных случаев использования машинного обучения в основе алгоритма органического поиска Google, моделируемые им функции было легче понять как факторы качества, ориентированные на человека, и поэтому мы начали рекомендовать нашим клиентам целевые изменения в SEO на основе результатов исследований качества, проведенных человеком.

Все сначала становится мобильным

Я сделал презентация на SearchLove London в 2014 году где я говорил о невероятном росте и масштабах мобильной связи и о том, что мы поздно поняли, насколько серьезно Google относится к этому. Я отметил удивление, которое многие испытали, когда узнали, что Google разрабатывает дизайн в первую очередь для мобильных устройств:

"В конце прошлого года мы запустили несколько довольно значительных улучшений дизайна для поиска на мобильных и планшетных устройствах. Сегодня мы перенесли многие из этих изменений на настольные компьютеры". - Jon Wiley (старший инженер Google Search, выступая на Google+, что означает, что нет ссылки на идеальную ссылку на цитату, но на нее ссылаются здесь а также в моей презентации).

Этот сюрприз произошел несмотря на то, что к тому времени, когда я проводил эту презентацию в 2014 году, мы знали, что мобильный поиск начал каннибализировать поиск для настольных компьютеров (и мы наблюдали первое снижение объемов поиска для настольных компьютеров):

И это произошло как раз в тот момент, когда люди начали говорить, что до первого года, когда Google будет получать большую часть своих доходов от мобильных устройств, осталось менее двух лет:

В 2020 году, когда мы пишем эти строки, нам кажется, что мы полностью осознали важность мобильной связи, но интересно вспомнить, что потребовалось некоторое время, чтобы это стало реальностью.

Машинное обучение становится нормой

После обновления Panda машинное обучение все чаще упоминается в официальных сообщениях Google об обновлениях алгоритмов и участвует в еще большем их количестве. Мы знаем, что исторически некоторые круги (включая Сингхала) сопротивлялись использованию машинного обучения в основном алгоритме из-за того, что оно не позволяло инженерам-человекам объяснять результаты. В 2015 году Сундар Пичаи занял пост генерального директора, отодвинув Сингхала в сторону (хотя, возможно, это было сделано для d Другие причины) и установила вентиляторы AI / ML на ключевых позициях.

Круг завершен

До обновления Florida (фактически, до того, как Google выпустил обновление под названием Fritz летом 2003 года), результаты поиска регулярно перемешивались в процессе, получившем название Fritz. Танец Google:

С тех пор большинство вещей двигалось в режиме реального времени, но недавние "основные обновления", похоже, вернули этот тип динамики, когда изменения происходят в соответствии с расписанием Google, а не с хронологией изменений на сайтах. У меня выдвинули гипотезу о том, что что это происходит потому, что "обновления ядра" на самом деле являются переработкой Google массивной модели глубокого обучения, которая очень точно соответствует форме Интернета на тот момент. Какой бы ни была причина, наш опыт работы с широким кругом клиентов свидетельствует о том. официальная линия Google:

Общие обновления ядра, как правило, происходят каждые несколько месяцев. Содержимое, которое было затронуто одной из этих проблем, может быть не восстановлено - при условии, что были внесены улучшения - до выхода следующего широкого обновления ядра.

Связывание последних тенденций и открытий, подобных этому, с древней историей, такой как танец Google, - это лишь один из способов "полезного" знания истории SEO.

Если вы заинтересованы во всем этом

Я надеюсь, что это путешествие по дорогам памяти было интересным. Для тех из вас, кто также работал в отрасли в те годы, что я упустил? Какие важные вехи вы помните? Присылайте их в комментариях ниже или напишите мне по адресу Twitter.

Если вам понравилась эта прогулка по дорожке памяти, вам также может понравиться моя презентация Из уст лошадиЯ стараюсь использовать официальные и неофициальные заявления Google, чтобы понять, что на самом деле происходит за кулисами, и дать несколько советов о том, как сделать то же самое:

Чтобы помочь нам лучше обслуживать вас, пожалуйста, примите участие в опросе читателей блога Moz 2020 года, в котором спрашивается, кто вы, с какими проблемами сталкиваетесь и что бы вы хотели видеть больше в блоге Moz.