有趣的是,这种特性往往用来作为参考资料,猜测网站又有什么新动向上马,而不想让别人知道。例如通过分析Google的robots.txt变化来预测Google将要推出何种服务。
有兴趣的读者可以看一下Google的robots.txt文件,注意到前几行就有“Disallow: /search”,而结尾新加上了“Disallow: /base/s2”。
现在来做个测试,按照规则它所隐藏的地址是http://www.Google.com/base/s2,打开之后发现Google给出了一个错误提示:“服务器遇到一个暂时性问题不能响应您的请求,请30秒后再试。”

但是把s2最后的数字换成1、3或者别的什么数字的时候,错误提示又是另一个样子:“我们不知道您为什么要访问一个不存在的页面。”

很显然“/base/s2”是一个特殊的页面,鉴于Google曾表示过今年的主要焦点是搜索引擎,我们推测一下,所谓的“s2”是否表示“search2”,也就是传说中的第二代搜索引擎。
出于好奇,尝试了一下百度的robots.txt,比密密麻麻的Google简洁了许多,只有短短几行:
User-agent: Baiduspider
Disallow: /baidu
User-agent: *
Disallow: /shifen/dqzd.html
第一段就不用说了,第二段也遇到了同样打不开的错误,不过,按以前的资料来看,这是百度曾经的竞价排名的区域核心代理一览表以及地区总代理一览表,出于某些可以理解的原因做了模糊处理。
相关文章
利用Google高级搜索功能做SEO调研
Google让蜘蛛自动填表提交 以抓取更多网页
Google Sitelinks研究分析
Google要为百度谋福利?
Google数据更新前后网页排名截然不同的变化
Google Adsense广告优化高级技巧之 “留白 ”
Google AdSense 2007合作伙伴推广暨优化论坛
百度欲在中国复制“eBay+谷歌”模式
Google(谷歌)是怎样处理垃圾网站举报?
百度分词算法详解
利用Google高级搜索功能做SEO调研
Google让蜘蛛自动填表提交 以抓取更多网页
Google Sitelinks研究分析
Google要为百度谋福利?
Google数据更新前后网页排名截然不同的变化
Google Adsense广告优化高级技巧之 “留白 ”
Google AdSense 2007合作伙伴推广暨优化论坛
百度欲在中国复制“eBay+谷歌”模式
Google(谷歌)是怎样处理垃圾网站举报?
百度分词算法详解

Google另一项链接分析专利LocalRank
Google搜索教程及高级搜索技巧
2006/10/13 10:28 | by


