我最近一直处于自省的状态。

今年早些时候(2005年Distilled公司成立15年后),我们创建了一个新的公司,名为 搜寻试点 我们把重点放在我们的SEO和元CMS A/B测试技术上(以前称为Distilled ODN),并且我们把咨询和会议方面的业务合并在一起。 脑科学研究所.

我现在是SearchPilot(主要由Distilled股东拥有)的CEO,我也是Brainlabs的SEO合伙人,所以......对不起大家,我真的是留在SEO行业的。

因此,对我来说,这有点像一个章节的结束,而不是这本书的结束,但它仍然让我回顾了在过去15年中我在这个行业中的变化和没有变化。

我不能说自己是第一代SEO专家中的一员,但由于我大约从1996年就开始建设网站,从一开始就看到了谷歌的成长,我觉得自己是第二代成员,我可能有一些有趣的故事与那些新来的人分享。

我一直在绞尽脑汁,试图记住当时看起来很重要的东西,我也一直在回顾我在这个行业的职业生涯中出现的主要趋势,以得出一个有趣的阅读清单,今天大多数从事网络工作的人都应该知道。

研究的伟大时代

我在开始的时候开玩笑说 我在2018年做的演讲 说,搜索的伟大时代在搜索引擎指南和搜索引擎在看到网站管理员的实际做法时迅速放弃这些指南之间摇摆不定:

尽管这张幻灯片有点讽刺意味,但我认为在涉及到像......这样的时代时,还是有值得思考的地方:

  1. 创建网站:你有一个网站吗?你想要一个网站吗?今天很难相信,但 在网络的早期为了做到这一点,必须说服许多人把他们的业务放在网上。
  2. 关键词:当网站管理员意识到他们可以通过填充关键词、隐藏文本等方式来玩弄系统时,基本信息检索变成了对抗性信息检索。
  3. 链接:随着网络规模的扩大,超过了用户生成的目录,基于链接的搜索算法开始占主导地位。
  4. 不是那些链接。基于链接的算法已经开始让位于基于链接的对抗性算法,网站管理员在整个网络图中交易、购买和操纵链接。
  5. 针对长尾的内容:与这个时代平行的是,长尾的长度。 长尾巴 网络管理员和谷歌本身都开始更好地理解这一点--创建大量(通常是晦涩难懂的)内容并在需要时将其编入索引,这符合双方的利益。
  6. 不是这个内容:毫不奇怪(看到这里的趋势了吗?),搜索结果中返回的内容的平均质量急剧下降,因此我们看到机器学习的第一个排名因素是试图评估 "质量"(与相关性和网站权威性一起)的形式。
  7. 机器学习:可以说,从这一点上所发生的一切,都是机器学习和人工智能的冒险,也发生在今天大多数从事SEO的营销人员的职业生涯中。因此,尽管我很喜欢写这个话题,但我改天再来讨论。

SEO的历史:关键时刻

虽然我确信有一些关于前谷歌时代的SEO的有趣故事,但我不是讲述这些故事的合适人选(如果你有好的资源,请在评论中分享),所以让我们从谷歌之旅的早期开始:

谷歌的核心技术

即使你要在2020年进入搜索引擎,在一个机器学习的排名因素的世界里,我建议你回去阅读那些令人惊讶的早期学术工作。

如果你当时没有使用网络,可能很难想象谷歌基于PageRank的算法比当时的技术水平提高了多少(即使对我们这些人来说也很难记住):

谷歌的首次公开募股

在 "难以记清楚的事情 "方面,在2004年谷歌上市时,很少有人想到谷歌会成为有史以来最赚钱的公司之一。当时,创始人表示他们对广告不屑一顾,并不情愿地尝试了基于关键词的广告。由于这种态度,即使在公司内部,大多数员工也不知道他们正在建造什么火箭。

届时,我建议阅读创始人的首次公开募股信(见这篇出色的文章,作者是 丹尼-沙利文 - 具有讽刺意味的是,它现在是 @SearchLiaison 在谷歌)。

"我们的研究成果是我们知道的最好的成果。它们是不偏不倚和客观的,我们不接受任何报酬,也不接受更频繁的收录或更新。"

"因为我们不向商家收取列入Froogle[现在的谷歌购物]的费用,我们的用户可以浏览产品类别或搜索产品,知道我们提供的结果是相关的和无偏见的。"- 存款S1

此外。 在Plex中 这是一本令人愉快的书,由史蒂芬-李维于2011年出版。它讲述了当时的首席执行官埃里克-施密特(在上市时)所说的 "掩盖战略 "的故事:

"那些知道这个秘密的人[......]被很坚决地指示不要说出去。

"谷歌所隐藏的是它如何破解了在互联网上赚钱的密码。"

幸运的是,对于谷歌,对于用户,甚至对于有机搜索营销人员来说,事实证明,这与他们纯粹的上市前的理想并不冲突,因为正如李维所叙述的,"在反复的测试中,搜索者对含有广告的页面比那些删除广告的页面更满意。"吁!

全部索引

2003年4月,谷歌 收购了一家名为Applied Semantics的公司 并触发了一个 系列活动 在我看来,这是谷歌历史上最被低估的部分。

Applied Semantics的技术与他们自己的上下文广告技术相结合,形成了后来的AdSense。虽然AdSense的收入一直被AdWords(现在只是 "谷歌广告")相形见绌,但它在SEO历史上的重要性是难以低估的。

通过使网络内容的货币化民主化,允许任何人付费制作晦涩难懂的内容,它资助了大量的内容创作。

如果没有一个擅长为长尾搜索提供出色结果的搜索引擎的存在,这些内容中的大部分是永远不会被看到的,即使这些搜索非常不频繁或者以前从未被看到过。

因此,谷歌的搜索引擎(及其搜索广告业务)与它的AdSense业务形成了一个强大的飞轮,使得它所需要的内容创作资金能够从网络上最大和最全面的索引中脱颖而出。

然而,正如许多历史篇章一样,它也创造了一个低质量,甚至是自动生成的内容的怪物,最终导致了公共关系危机和大量的努力来补救。

如果你对全指数的时代感兴趣,你可以在《中国日报》上阅读我对这个问题的更多想法。 幻灯片47+"从马的嘴里说出来"。.

互联网上的垃圾邮件

ǞǞǞ 垃圾邮件的早期形式 互联网上的各种信息,作为电子邮件垃圾邮件传播。在21世纪初,谷歌开始谈论一个问题,它最终被称为 "网络垃圾邮件"(我第一次提到链接垃圾邮件是在2005年Amit Singhal的演讲中,题为 运营商业网络搜索引擎的挑战 [PDF])。

我猜想,即使是今天刚开始做SEO的人,也可能听说过Matt Cutts--网络垃圾的原始负责人--因为尽管他从2014年起不再在谷歌工作,但仍然经常被提及。我很喜欢这个 2015年的演讲 他谈到了他在谷歌的职业道路。

研究质量的时代

随着时间的推移,由于网站管理员试图赚钱和谷歌(和其他公司)试图创建最好的搜索引擎的对立性质,纯粹的网络垃圾邮件不是谷歌面临的唯一质量问题。发现操纵行为(尤其是页面内容、外部链接和锚文本)的猫捉老鼠游戏将成为未来十年搜索的一个决定性特征。

正是在辛格尔的上述演讲之后,埃里克-施密特(当时的谷歌CEO)才 品牌是解决方案,而不是问题......品牌是整理粪坑的方法。

刚入行的人可能会亲身经历过谷歌的一些更新(比如最近的'核心更新'),也可能听说过一些具体的旧更新。但是'文斯',是在'佛罗里达'(谷歌第一个确认的重大更新)之后,在施密特关于品牌的声明之后不久推出的,特别值得注意的是,它偏向于大品牌。如果你没有关注整个故事,你可以在这里阅读过去的主要更新:

对声誉的真正威胁

正如我在上面的AdSense部分提到的,网站管理员有强烈的动机来创建大量的内容,以蓬勃发展的长尾搜索为目标。如果你的域名足够强大,谷歌会抓取和索引大量的网页,对于足够模糊的查询,任何匹配的内容都有可能排名。这引发了所谓的 "内容农场 "的快速增长,它们在任何可能的地方提取关键词数据,并生产与关键词相匹配的低质量内容。同时,网站通过允许大量的内容数据库被索引,甚至以非常薄的页面形式被索引,或者允许大量的用户生成的内容页面被索引而获得成功。

这对谷歌的声誉是一个真正的威胁,因为它是来自于 研究和参考资料的回音室.它已经成为Hacker News和StackOverflow等社区的一个祸害,以至于Matt Cutts 向Hacker News社区提交了一份个人更新报告 当时谷歌发布了一个更新,以纠正一个特定的症状,即搜刮网站的排名一直高于他们所复制的原始内容。

此后不久,谷歌发布了最初被命名为 "新 "的更新。 农民的最新情况" .在其推出后,我们了解到,它是由一项突破性的技术实现的。 叫做熊猫的工程师这就是为什么它在谷歌内部被称为 "大熊猫 "更新,而且从那时起,搜索引擎社区主要将其称为熊猫更新。

虽然我们猜测该更新的内部运作是机器学习在谷歌有机搜索算法核心的首次真正使用,但它所模拟的功能更容易被理解为以人为本的质量因素,因此我们开始根据人类质量调查的结果,向客户推荐有针对性的SEO变化。

一切以移动为先

我做了一个 2014年在伦敦SearchLove上的演讲 我在会上谈到了移动通信的惊人增长和规模,以及我们很晚才意识到谷歌在这方面的重视程度。我强调了当许多人听说谷歌正在为移动端设计时感到的惊讶:

"去年年底,我们为移动和平板设备上的搜索推出了一些相当重要的设计改进。今天,我们已经将这些变化中的许多内容转化为桌面体验。"- 乔恩-威利(谷歌搜索的高级工程师在Google+上发言,这意味着这句话没有链接到一个完美的参考资料,但它被引用了 这里 和我的演讲中)。

尽管我在2014年做这个演讲时,我们知道移动搜索已经开始蚕食桌面搜索(而且我们已经看到桌面搜索量的首次下降),但这个惊喜还是出现了:

而且,就在人们开始说,谷歌在移动领域取得大部分收入的第一年,还有不到两年的时间。

当我们在2020年写下这篇文章时,我们觉得我们已经完全内化了移动的重要性,但有趣的是,我们要记住,这需要一些时间才能成为现实。

机器学习成为常态

自从熊猫更新以来,机器学习在谷歌关于算法更新的官方沟通中被越来越多地提及,甚至参与到更多的算法中。我们知道,历史上有一些人(包括Singhal)抵制在核心算法中使用机器学习,因为它妨碍了人类工程师对结果的解释。2015年,Sundar Pichai接任CEO,将Singhal推到一边(尽管这可能是为了 其他原因),并在关键位置安装了AI/ML粉丝。

圆满完成

在佛罗里达州的更新之前(事实上,直到谷歌在2003年夏天推出了一个名为Fritz的更新),搜索结果是定期洗牌的,这个过程被称为 谷歌舞蹈:

从那时起,大多数事情都是实时变化的,但最近的 "核心更新 "似乎又带来了这种动态,变化是根据谷歌的时间表而不是网站变化的时间顺序发生的。我有 假设 这是因为 "核心更新 "实际上是谷歌对一个巨大的深度学习模型的回收,该模型与当时的网络形态非常吻合。无论原因是什么,我们与众多客户合作的经验都与 谷歌的官方线路。

一般的内核更新往往每几个月发生一次。受其中之一影响的内容可能无法恢复--假设已经进行了改进--直到下一次广泛的内核更新发布。

将最近的趋势和发现与谷歌之舞这样的古老历史联系起来,只是SEO历史知识 "有用 "的一种方式。

如果你对这一切感兴趣

我希望这次记忆之旅是有趣的。对于那些在那些年里也在这个部门工作的人,我错过了什么?你记得哪些重要的里程碑?请在下面的评论中提出来,或者给我留言 推特.

如果你喜欢这段记忆之路,你可能也会喜欢我的演讲 从马的嘴里说出来我试图通过谷歌的官方和非官方声明来了解幕后的真实情况,并给出一些提示:


为了帮助我们更好地服务您,请考虑参加2020年莫兹博客读者调查,该调查询问您是谁,您面临的挑战是什么,以及您希望在莫兹博客上看到更多的内容。