黑色梦中SEO博客

以下提供给大家的是PHP版的捕捉搜索引擎蜘蛛爬行的代码。我们可以通过生成的文本文件查看每天都有哪几种搜索引擎蜘蛛爬行站点以及爬行频率，便于大家了解蜘蛛动向。

但是，从SEO工具需求角度来说，这段代码实现的功能还是很有局限性，从我个人需求而言，我希望能体现更多的信息，比如：蜘蛛爬行的页面URL、返回的状态码、每日爬行持续多长时间等等，甚至可以汇总于数据库中便于随时查询。因此，强烈呼吁编程高手开发数据库版的捕捉蜘蛛的程序。

排名下降30位惩罚(minus thirty penalty)是个新名词，这个概念来自前几天在站长世界热烈讨论的一个帖子。

楼主发现他的一个网站很长时间排名第一，不过近几天排名降到31，整整下降30位，并且排名稳稳的就停在那里了。

不少跟帖的人也发现类似的问题，都是原来排名第一的，下降整整30位。

这个惩罚不是线性的，如果原来排名在第二的，可能下降的就是50位60位了。

也许你正准备建立站点，开始网站运营，选择一个适合自身需求的CMS内容发布系统自然是必不可少的。从开发角度来说，网上常用的ASP开发的CMS有：动易、风讯等，PHP开发的CMS有：DedeCms、CmsWare、帝国CMS等。平台的选择非常重要，我们通常会主要考虑其安全性、负载能力、易用性、可扩展性等等，今天我想要从SEO角度探索下优秀CMS系统具备的品质，我并非要说某某CMS系统的设计、表现、功能的不足之处，我很尊重每个开发者的劳动，也无意建立CMS的好坏标准，只是表达一下自己对未来CMS的期望。

Matt Cutts前几天又发了一个新帖子，谈Google总体搜索质量和新的基础架构在今年秋天的发展情况。要点如下。

下面每一点谈的都是不同的基础架构。

大爸爸数据中心是Google处理网页爬行(crawl)和一部分网页索引(index)的软件更新，基本上是在今年初期进行和完成的。它使Google蜘蛛的爬行更为智能，包括使用gzip支持和爬行缓存代理，使带宽的使用量下降。

我们用了一个夏天来完成处理补充材料的新的基础架构转换，这个基础架构的核心已经完成了，但是我相信还会看到一些小的改变（比如说使site:指令更准确的反映人们预期要看到的）。

昨天晚上为了翻译这篇谈论如何增加Google PageRank的文章，一直熬夜到凌晨2点，辛苦到没什么，可是由于英文水平比较菜，感觉翻译的不是很准确，担心会误导大家，所以我先在这里声明：翻译出的文字只能作为大家参考，当然，如果阁下的E文好那就直接看原文吧。

这篇文章其实在文字描述上水平一般，文章讲解的不是很细致，尤其是对图的阐释，但个人认为这几张图很有意思，其实，PR跟网站链接结构有着重大的关系，通过不同内链结构PR的分配情况，希望大家能领悟出什么样的链接结构可以使网页之间PR最大化、以及你的网站适合哪种结构，不同的链接结构使网页之间的地位大不相同。

9月29日左右，Google开始更新PR值，黑色梦中的SEO博客的PR更新到了4。

大家也都注意到了Google Toolbar(Google工具条)PR已经更新了。Matt Cutts发了一个帖子，回答一些关于PR和PR更新的问题。

下面是与Matt Cutts的对话过程，请仔细分析粗体文字

　　在我们的网站建设中，时常会遇到需要网页重定向的情况：象网站调整，如改变网页目录结构，网页被移到一个新地址，再或者，网页扩展名改变，如因应用需要把.php改成.Html或.shtml，在这种情况下，如果不做重定向，则用户收藏夹或搜索引擎数据库中旧地址只能让访问客户还会得到一个404页面错误信息，访问流量白白丧失；再如某些注册了多个域名的网站，也需要通过重定向让访问这些域名的用户自动跳转到主站点，等等。

常用的重定向方式有: 301 redirect, 302 redirect 与 meta fresh：

Google Sitemap是一个很有用的SEO工具，同时也有一些生成Sitemap的工具。下面是对GoogleSitemap文件的介绍。

Google 的爬虫到底能不能遍历我的站内所有页面？这是个问题。假设能遍历到每个页面，对于Google Spider来说是一件很辛苦的工作。于是Google把一部分工作量转移给WebMaster——建立符合标准的GoogleSitemap。（这的确是对双方都有好处的想法）

Google SiteMap Protocol是Google自己推出的一种站点地图协议，此协议文件基于早期的robots.txt文件协议，并有所升级。在Google官方指南中指出加入了Google SiteMap文件的网站将更有利于Google网页爬行机器人的爬行索引，这样将提高索引网站内容的效率和准确度。

     随着微软和雅虎这两个实力超强的竞争对手大举挺进互联网搜索市场，分别开发出自己的搜索技术，以及在搜索方面的不断改进和加强，Google的领先地位已遭到严重威胁。根据美国知名市场调研公司ComScore Media今年年初和5月份发布的搜索引擎访问流量对显示(如右图所示)：占据排行榜冠亚军宝Google和雅虎，AOL原来占据的季军位置则MSN Search在搜索市场中的潜力已日渐凸显，掌握数以十亿美元计的搜索广告营收商机的不遗余力以大手笔开拓着它的新市场。在这针对Google 和雅虎进行网站的优化外，同时还需针对MSN搜索引擎进行优化。

网站优化设计的含义具体表现在三个方面：

（1）从用户的角度来说，经过网站的优化设计，用户可以方便地浏览网站的信息、使用网站的服务；
（2）从基于搜索引擎的推广网站的角度来说，优化设计的网站使得搜索引擎则可以顺利抓取网站的基本信息，当用户通过搜索引擎检索时，企业期望的网站摘要信息可以出现在理想的位置，使得用户能够发现有关信息并引起兴趣，从而点击搜索结果并达到网站获取进一步的信息的服务，直至成为真正的顾客；
（3）从网站运营维护的角度来说，网站运营人员则可以对网站方便地进行管理维护，有利于各种网络营销方法的应用，并且可以积累有价值的网络营销资源，因为只有经过网站优化设计的企业网站才能真正具有网络营销导向，才能与网络营销策略相一致。

由此可见，网站优化包括三个层面的含义：对用户优化、对网络环境（搜索引擎等）优化，以及对网站运营维护的优化。