黑色梦中SEO博客

GOOGLE搜索引擎剖析

撰文/Sergey Brin.   Lawrence Page     翻译/万思

文章来自《程序员》
英文原文可以在这里找到http://dev.csdn.net/develop/article/12/12657.shtm

作为一种功能强大的搜索引擎，Googic的背后似乎隐藏着巨大的奥秘，本文是Googic的两位创始人在1998年国际互联网大会上发表的论文，通过对Google进行完整地剖析，帮助读者理解Google的实现过程

Google搜索原理的论文(一)

《The Anatomy of a Large-Scale Hypertextual Web Search Engine》
    这篇文章中，我们介绍了google，它是一个大型的搜索引擎（of a large-scale search engine）的原型，搜索引擎在超文本中应用广泛。Google的设计能够高效地抓网页并建立索引，它的查询结果比其它现有系统都高明。这个原型的全文和超连接的数据库至少包含24000000个网页。我们可以从Http://google.stanford.edu/ 下载。

    设计搜索引擎是一项富有挑战性的工作。搜索引擎为上亿个网页建立索引，其中包含大量迥然不同的词汇。而且每天要回答成千上万个查询。在网络中，尽管大型搜索引擎非常重要，但是学术界却很少研究它。此外由于技术的快速发展和网页的大量增加，现在建立一个搜索引擎和三年前完全不同。
    本文详细介绍了我们的大型搜索引擎，据我们所知，在公开发表的论文中，这是第一篇描述地如此详细。除了把传统数据搜索技术应用到如此大量级网页中所遇到的问题，还有许多新的技术挑战，包括应用超文本中的附加信息改进搜索结果。
    本文将解决这个问题，描述如何运用超文本中的附加信息，建立一个大型实用系统。任何人都可以在网上随意发布信息，如何有效地处理这些无组织的超文本集合，也是本文要关注的问题。关键词 World Wide Web，搜索引擎，信息检索，PageRank, Google

无论你是SEO从业者还是SEO理论研究学者或是对SEO兴趣所至，我们都需要清楚的明白谁在影响SEO。既然SEO依托于搜索引擎，那我们就必须学会尊重搜索引擎，遵守搜索引擎给网站的建议和规范，只有这样，才能实现SEO与SE的双赢。

以下是GOOGLE对网站管理员的建议(即网站管理员指南)，也许我们应该牢记在心：

最近关于社会搜索的关注越来越多了。最恐怖的社会搜索，还是人肉搜索。

人肉搜索引擎，我直接把它归入社会性搜索中的问答式搜索（Q&A），其实就是在一个社区里面提出一个问题，由人工参与解答而非搜索引擎通过机器自动算法获得结果的搜索机制。从这个角度理解，新浪爱问、百度知道、雅虎知识堂本质上都是人肉搜索引擎。显然，人肉搜索引擎由于通过人工参与来提炼搜索引擎结果，更有针对性，理论上来讲应该比自然检索结果更能满足搜索者的需求，尤其对于八卦搜索、没有唯一答案的多选结果搜索，人肉搜索的结果更有吸引力。

Google信任指数(Google TrustRank)是一个对网站排名有重大影响的参数，重要性超过PR值。有人甚至认为Sandbox也不过是TrustRank的一个延伸。所以，SEO绝对不应该忽视TrustRank的存在。

影响Google信任指数的参数有：

Goolge TrustRank(Google网页信任指数)：TrustRank是一个对网站排名有重大影响的参数，重要性超过PR值。SEO绝对不应该忽视TrustRank的存在。

     阿里巴巴是国内最早进行搜索引擎优化的电子商务网站，到目前为止也是网站优化总体状况最好的大型B2B电子商务网站之一。阿里巴巴的搜索引擎优化水平远远高于行业平均水平。

　　阿里巴巴中国站（china.alibaba.com）被google收录的中文网页数量2006年8月份数据为5320000，不仅从被收录的网页数量上来说，要远远高于同类网站的平均水平，更重要的是，阿里巴巴的网页质量比较高，潜在用户更容易通过搜索引擎检索发现发布在阿里巴巴网站的商业信息，从而为用户带来更多的商业机会，阿里巴巴也因此获得更大的网站访问量和更多的用户。

      在Google上打广告回报率之高几乎世人皆知，但其繁琐的过程却令成千上万的中小型企业望而却步，因此只能眼巴巴地望着白花花的银子从手边溜走。

　　但遭受多次挫折之后，美国In Touch传媒集团雇员Steve Blom通过自学成为了该领域的专家，并成功破解了Google Adwords点击付费系统。目前，他的视频破解教程已经通过blog公布在互联网上，教程共3张CD。blog地址为http://www.adwordstraining.org，教程名称为“30天Adwords Bootcamp”。

　　Google Adwords是一种点击付费广告系统，商家广告会根据关键字或短语显示在Google搜索页面的右半部。但对于商家而言，选择有效的关键字或短语是相当困难的，因为Google的系统与其他在线广告程序存截然不同。

　　但是，一旦成功地选择了有效的关键字，那么Google的广告系统就会比其他任何系统都要节省和有效。Blom称：“要想充分利用Google系统，首先必须要了解她。如果利用得当，可以节省50%的成本。”

　　Google Adwords不容易上手的问题正日益凸现，5月初CNN财富网站就曾报道，称广告商抱怨Google Adwords系统让他们倍感困惑。据调查结果显示，40%的企业由于Google Adwords系统不易上手而放弃作广告。

　　据Blom称，他利用自己所掌握的方法，投入300美元便得到了8000美元的利润。In Touch董事长Bob Cefail表示：“即使你不用Google系统，那么你的竞争对手也会使用。”

Google Groups是个很方便的交流场所，同时也是Google官方一向推荐的交流方式。Google用户在使用Google的各种产品或服务的过程中遇上问题，最有效的方法就是先上Google Groups上面相应的论坛向世界上其他用户请教，并且Google的专家们也会作出解答。不过对于国内用户而言英文可能并不是很友好，这就造成了一定的交流障碍了。半年前，Google在Groups上面开设了AdSense互助论坛以方便AdSense用户交流，但很可惜的是，它只有英文版。现在，AdSense官方blog里发出通告，Google已经正式增加了中文及德文版的AdSense互助论坛。
　　如果你是AdSense用户，或者想了解AdSense相关的知识，请收藏下面的地址：
　　
http://groups.google.com/group/adsense-help-zhs
　　中文版的AdSense互助论坛同样也包含了以下分类内容：



同样，也有AdSense专家负责回复，他的ID是"AdSensePro"。目前已经有195名成员加入了这个论坛，你还等什么？

　　前几天我们报道了Google的Matt Cutts确认了AdSense的Mediabot的确是会帮助Googlebot抓取网页的消息，但有部分人不相信Matt Cutts，或者不相信他能代表Google官方。作为Matt Cutts的blog的一名忠实读者，我觉得完全没必要花费篇幅再去特别说明Matt Cutts的权威性。我想说的是，Matt Cutts在是Google品质管理部门的一名高级软件工程师，外界所知的是他负责研发阻止Spam与恶性控制排名的技术。因此，信不信当然由你。

　　其实上次Matt所透露的仅仅是其中一方面的内容。今天，Matt再次写了一篇非常详细的文章，解释了Google的各种bot是怎样抓取网页的，以及Google最新的BigDaddy在抓取网页方面有什么新的变化等等，内容非常的精彩，所以和大家分享一下。

　　Google的网页收录的其中一种途径是通过Googlebot的爬行来实现的，也就是说，Google派出它自己的网络蜘蛛，主动去抓取有价值的网页内容。类似地，Google的AdSense也有自己的bot，它的名字为MediaBot。它会自动去到放置了AdSense广告代码的网页，然后对网页内容进行分析，以投放与网页内容相关的广告。但一直以来都有一个争论，那就是到底AdSense的MediaBot与Googlebot有什么区别？MediaBot在判断广告相关网页的时候，会不会也对这个网站在Google收录及排名等方面有一定的好处呢？也就是说，投放了AdSense广告，会不会有助于改善自己的网站的Google收录及排名呢
？

　　根据SEJ的消息，Google的一名高级工程师及主管Matt Cutts已经正式确认，AdSense派出来的MediaBot在抓取网页内容后，会把部分结果提交至BigDaddy的数据库里。Matt解释说，这是因为两种bot都在不断地抓取网页，因此为了节省资源，MediaBot会帮Googlebot完成部分网页抓取工作。但Matt同时也给出警告，如果你的网站提供给MediaBot的内容与提供给Googlebot的内容完全不同，那么你就会"有麻烦"。因为Google会认为你在作弊。

　　从Matt给出的讯息里可以证明，在网站上投放了AdSense的广告，的确是有助于你的网站被Google收录。比如，收录得更快更多。但并不一定会提高你的网站排名。有这方面经验的朋友应该会想到其它办法，从Matt的话出发。

　  请注意，这是"雅虎"，不是"Yahoo!"，它们之间的区别相信大陆地区的读者们早已有深刻体会。另外，这也与"蜘蛛侠"完全无关，因为这里的"蜘蛛"指的是Yahoo!搜索引擎的爬虫即"Spider"，类似于Googlebot。

　　继早前Google决定亲自讲授SEO课程后，今天雅虎搜索日志里登出一则很有趣的招聘启事，即雅虎也决定公开招聘SEO专家，只不过雅虎把这个职位叫做"蜘蛛福利专员"，非常有意思。
　　雅虎希望应聘者：是一名搜索引擎的重度使用者，了解世界主流"蜘蛛"种群的特性，了解它们的生活习惯和在网上的活动特征。你将在雅虎搜索引擎专家们指导下优化雅虎的产品，让它们和蜘蛛和谐相处，形成良性的生物链，互相促进和发展。

　　同时，雅虎认为"SEO是和蜘蛛的友谊和战斗"。这句话说出了SEO与搜索引擎之间的关系，既是友也是敌。运用得当，对于网站和搜索引擎都是有利的；反之则有害。

　　读者"an songsan"在邮件里也发表了他自己对于SEO与搜索引擎之间的关系的看法：

　　"google要亲自教授如何SEO,yahoo要找SEOer,这个世界变得越来越好了(...)世界在变，搜索引擎在变，网站优化不是一个关键词做到位了，就高兴了。最本质的是你的流量和业务量要提高。(...)半年时间，一个3个人的公司经过网站优化后发展到一个50多人的公司，这就是网站优化的力量。电话接都接不过来，再也不用业务员了，这就是搜索引擎时代。我相信再不久的将来，各大搜索引擎也会推出网站优化学习栏目，因为搜索引擎优化可以提高网民搜索引擎体验，更好的促进搜索引擎与搜索者的良性关系。有人曾说搜索引擎与网站优化人员关系是死对头，因为他们觉得网站优化后的网站就不用做关键词广告了，本人认为搜索和关键词广告本来就应该是分开的，这一点google做的好。如今这种说法可不成立了，至少google和yahoo不反对网站优化了。这能不是好事吗。"

　　Google和Yahoo!等搜索引擎一直以来并非反对网站优化，Google和Yahoo!官方早就有网站优化指南，目的就是想网站管理员能正确地进行SEO。但很可惜的是，很多网站都错误地理解了SEO的初衷，使用不正当的手法，给SEO这个词添上了贬义的色彩。身为站长，从长远利益考虑，任何网站管理员都不应该与搜索引擎作对，因为它是网站的朋友，而不是敌人。

　　最后，雅虎给出的这张图很生动：

SEO即Search Engine Optimization（搜索引擎优化），SEO的目的是使网站更多容易地被搜索引擎分析及抓取，即增加网站的搜索引擎友好度。不过由于SEO的一些方法被滥用，以致现在每当我们提起SEO，似乎总会想到各种各样的作弊行为。其实身为一个搜索引擎，如果世界上所有的网站都能遵从Google的网站管理员指南那当然是最好的，那么Google就不必花太多精力在分析和抓取网页上，而网站本身也能更快有利于Google收录。另外，Google还特地为网站管理员推出了一系列的实用工具，即"网站管理员中心"，以加强与网站管理员的联系，方便管理员针对搜索引擎改进自己的网站。而现在，为了帮助广大网站管理员更好地了解正确的SEO优化，Google更亲自开设了SEO课程，公开教授。

　  Google的SEO课程将于9月18日下午13点至15点在美国华盛顿的天主教大学内进行（via SEJ），由Google的网站协调专家Adam Lasnik进行讲授。课程的主题是"如何为Google搜索而优化你的网站"，这3小时的课程的具体安排大概如下：

1.理解搜索引擎和搜索结果（25分钟）；
2.如何建设易于抓取、收录及排名良好的网站（45分钟）；
3.工具、窍门及解决问题（35分钟）；
4.小休（10分钟）；
5.简介网络spam行为（10分钟）；
6.实例网站讲解（45分钟）；
7.问答时间（45分钟）。

　　这是一个非常实用并且价值很高的SEO课程，因为它是由Google亲自讲授。而且费用不高，仅仅为30美元。如果你想了解正确的SEO方法，改善你的网站，有条件的话建议参加一下，因为这种机会不是常有的。
　　
官方网页（含报名方法）

从SEO角度分析，Yahoo和Google在关键词搜索结果排名上有何区别？

1, Google注重语义分析和链接，Yahoo注重title和H1,H2,H3。
2, Google比Yahoo更新的快得多。

Yahoo更加看重网页本身的质量，这里提到的质量包含内容和表现形式，所以针对Yahoo的SEO策略往往只要把页面本身优化好，就能在Yahoo中取得很好的排名，而这些页面优化都是自己可以控制的，所以说针对Yahoo的SEO所用时间相对GOOGLE要短，特别是对于热门关键词，两者的区别更明显。而GOOGLE更加注重外部链接以及相关性，所以如果手头有较多的链接资源可以利用的话，GOOGLE的SEO开展起来要顺利的多；

我想特别强调一下Google的强大的语义分析能力。在Google中搜"seo入门", 结果排在第一名的是一个关于"seo基础"的网页。这个网页针对"seo基础"作了很好的优化。我看了这个网页的源文件，没有出现一个"入门"。这个网站是个新站，没有多少外部链接，首页PR为0，为什么这个内页会排在很多含"seo入门"的网页之？而且第一页中有七个页面都是针对"seo基础"的，并用红体字突出显示，足见Google把"入门"和"基础"看成极为接近的词。再在Yahoo中搜"seo入门"，发现排在前三页的没有针对"seo基础"的，全都针对"seo入门"。

搜索引擎系统一般由蜘蛛（也叫网页爬行器）、切词器、索引器、查询器几部分组成。蜘蛛负责网页信息的抓取工作，一般情况下切词器和索引器一起使用，它们负责将抓取的网页内容进行切词处理并自动进行标引，建立索引数据库。查询器根据用户查询条件检索索引数据库并对检索结果进行排序和集合运算，如并集、交集运算，再提取网页简单摘要信息反馈给查询用户。

Google搜索引擎从功能上同样分为三大部分：网页爬行、标引入库和用户查询。网页爬行主要负责网页的抓取，由URL服务器、爬行器、存储器、分析器和URL解析器组成, 爬行器是该部分的核心；标引入库主要负责对网页内容进行分析，对文档进行标引并存储到数据库里，由标引器和分类器组成，该模块涉及许多文件和数据，有关于桶的操作是该部分的核心；用户查询主要负责分析用户输入的检索表达式，匹配相关文档，把检索结果返回给用户，由查询器和网页级别评定器组成，其中网页等级的计算是该部分的核心。

搜索引擎的主要工作流程是：首先从蜘蛛开始，蜘蛛程序每隔一定的时间,自动启动并读取网页URL服务器上的URL列表，按深度优先或广度优先算法，抓取各URL所指定的网站，将抓取的网页分配一个唯一文档ID(DocId)，存入文档数据库。一般在存入文档数据库之前进行一定的压缩处理。并将当前页上的所的超连接存入到URL服务器中。在进行抓取的同时，切词器和索引器将已经抓取的网页文档进行切词处理，并按词在网页中出现的位置和频率计算权值，然后将切词结果存入索引数据库。整个抓取工作和索引工作完成后更新整个索引数据库和文档数据库，这样用户就可以查询最新的网页信息。查询器首先对用户输入的信息进行切词处理，并检索出所有包含检索词的记录，通过计算网页权重和级别对查询记录进行排序并进行集合运算，最后从文档数据库中提取各网页的摘要信息反馈给查询用户。

眼下最热、最重要的一个话题就是Google幽灵现象。一般情况下，把一个网站递交到互联网上，在每月固定更新之前，你会发现这个网站出现在索引里。有时，这个网站能够获得很高的排名，但可怕的 是，几天或一周以后，这个网站会突然消失。这种幽灵现象困扰着网络新手们，同时也给经验丰富的网络行家出了一道难题。其实，这种现象很容易理解。

Google有两种网络爬虫，主爬虫和新爬虫。主爬虫主要负责发现新的网页。一个网页在新索引建立之后，马上会被主爬虫发现。如果一个网页建立索引需要经过一个月的时间，这个网页就会失效。

新索引的建立还需要考虑其他非询问式的决定因素。这些决定因素关系着网页排名的高低。为了充分利用这些网页，而不是浪费时间等着下一次索引算法的更新，Google必须采取一些简单的措施来猜测排 名，猜测访客难以利用的新内容是什么。

信息的飞速增长，使搜索引擎成为人们查找信息的首选工具，Google、百度、中国搜索等大型搜索引擎一直是人们讨论的话题。随着搜索市场价值的不断增加，越来越多的公司开发出自己的搜索引擎，阿里巴巴的商机搜索、8848的购物搜索等也陆续面世，自然，搜索引擎技术也成为技术人员关注的热点。

搜索引擎技术的研究，国外比中国要早近十年，从最早的Archie，到后来的Excite，以及altvista、overture、google等搜索引擎面世，搜索引擎发展至今，已经有十几年的历史，而国内开始研究搜索引擎是在上世纪末本世纪初。在许多领域，都是国外的产品和技术一统天下，特别是当某种技术在国外研究多年而国内才开始的情况下。例如操作系统、字处理软件、浏览器等等，但搜索引擎却是个例外。虽然在国外搜索引擎技术早就开始研究，但在国内还是陆续涌现出优秀的搜索引擎，像百度（http://www.baidu.com/）、中搜（http://www.zhongsou.com/）等。目前在中文搜索引擎领域，国内的搜索引擎已经和国外的搜索引擎效果上相差不远。之所以能形成这样的局面，有一个重要的原因就在于中文和英文两种语言自身的书写方式不同，这其中对于计算机涉及的技术就是中文分词。

网址URL规范化（URL canonicalization）是近一年来在Google搜索结果中出现的一个很大的问题。它指的是搜索引擎挑选最好的URL网址作为真正网址的过程。举例来说，下面这几个URL一般来说指的是同一个文件或网页：




但是从技术上来讲，这几个URL网址都是不同的。虽然在绝大部分情况下，这些网址所返回的都是相同的文件，也就是你的主页。但是从技术上来说，主机完全可以对这几个网址返回不同的内容。

本文作者马特-卡兹（Matt Cutts）是Google公司品质管理部门的软件工程师。他的工作主要是给好的网站评定等级，并负责开发阻止虚假或垃圾网站出现在Google搜索结果上的技术。

图书馆管理员们提出最多的问题之一是：“对于什么样的结果应该位于搜索列表的最上方，Google是如何选择的？”现在品质工程师马特-卡兹介绍了快速入门的知识，解释了Google是如何在网上爬行和索引，以及如何评定搜索结果等级的。马特也向学校图书馆管理员提出建议，告诉他们如何辅导学生。