但是,从SEO工具需求角度来说,这段代码实现的功能还是很有局限性,从我个人需求而言,我希望能体现更多的信息,比如:蜘蛛爬行的页面URL、返回的状态码、每日爬行持续多长时间等等,甚至可以汇总于数据库中便于随时查询。因此,强烈呼吁编程高手开发数据库版的捕捉蜘蛛的程序。
实现蜘蛛捕捉的PHP代码如下:
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotlog.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");
fclose($data);
}
使用方法:
把以下代码粘贴到你想监控的页面php代码的 ?>之间的开头或结尾即可(也可以放在模板文件内)
相关文章
利用Google高级搜索功能做SEO调研
AKCMS — 适合SEO的小型CMS(内部开发版已提供下载)
Google让蜘蛛自动填表提交 以抓取更多网页
Google Sitelinks研究分析
Google要为百度谋福利?
回首2007展望2008
WordPress SEO Tips For Beginners
SEO之大腕篇
TechTarget网站优化(SEO)中的"Tag“化表现
远离自动产生的链接
利用Google高级搜索功能做SEO调研
AKCMS — 适合SEO的小型CMS(内部开发版已提供下载)
Google让蜘蛛自动填表提交 以抓取更多网页
Google Sitelinks研究分析
Google要为百度谋福利?
回首2007展望2008
WordPress SEO Tips For Beginners
SEO之大腕篇
TechTarget网站优化(SEO)中的"Tag“化表现
远离自动产生的链接

查询一个网站有多少网页被Google列为补充结果
Firefox浏览器查看Google PR和Alexa排名的扩展
2006/10/27 17:59 | by



PS:经鉴定,本评论作者和楼上的fel是一个人,SEO做到日本去了就不会是新手,呵呵