但是,从SEO工具需求角度来说,这段代码实现的功能还是很有局限性,从我个人需求而言,我希望能体现更多的信息,比如:蜘蛛爬行的页面URL、返回的状态码、每日爬行持续多长时间等等,甚至可以汇总于数据库中便于随时查询。因此,强烈呼吁编程高手开发数据库版的捕捉蜘蛛的程序。
实现蜘蛛捕捉的PHP代码如下:
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotlog.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");
fclose($data);
}
使用方法:
把以下代码粘贴到你想监控的页面php代码的 ?>之间的开头或结尾即可(也可以放在模板文件内)
相关日志
桥页SEO:网站自我毁灭工具
如何查询绑定于同一IP下的网站域名?(IP反查询域名工具推荐)
《Google官方SEO入门指南》十四: 对网站管理员有用的资源(完)
《Google官方SEO入门指南》十三:充分利用网站分析工具
《Google官方SEO入门指南》十二:充分利用免费的网站管理员工具
《Google官方SEO入门指南》十一:以恰当的方式推广你的网站
《Google官方SEO入门指南》十:为链接添加nofollow属性
《Google官方SEO入门指南》九:有效使用robots.txt
《Google官方SEO入门指南》八:网页图片优化
《Google官方SEO入门指南》七:合理应用heading标签
桥页SEO:网站自我毁灭工具
如何查询绑定于同一IP下的网站域名?(IP反查询域名工具推荐)
《Google官方SEO入门指南》十四: 对网站管理员有用的资源(完)
《Google官方SEO入门指南》十三:充分利用网站分析工具
《Google官方SEO入门指南》十二:充分利用免费的网站管理员工具
《Google官方SEO入门指南》十一:以恰当的方式推广你的网站
《Google官方SEO入门指南》十:为链接添加nofollow属性
《Google官方SEO入门指南》九:有效使用robots.txt
《Google官方SEO入门指南》八:网页图片优化
《Google官方SEO入门指南》七:合理应用heading标签
查询一个网站有多少网页被Google列为补充结果
Firefox浏览器查看Google PR和Al
2006/10/27 17:59 | by






















PS:经鉴定,本评论作者和楼上的fel是一个人,SEO做到日本去了就不会是新手,呵呵