搜索引擎蜘蛛捕捉器 晴

郝聪 , 2006/10/27 17:59 , 搜索引擎优化(SEO) » SEO工具 , 评论(8) , 阅读(24164) , Via 本站原创 | |


更多



以下提供给大家的是PHP版的捕捉搜索引擎蜘蛛爬行的代码。我们可以通过生成的文本文件查看每天都有哪几种搜索引擎蜘蛛爬行站点以及爬行频率,便于大家了解蜘蛛动向。

但是,从SEO工具需求角度来说,这段代码实现的功能还是很有局限性,从我个人需求而言,我希望能体现更多的信息,比如:蜘蛛爬行的页面URL、返回的状态码、每日爬行持续多长时间等等,甚至可以汇总于数据库中便于随时查询。因此,强烈呼吁编程高手开发数据库版的捕捉蜘蛛的程序。




实现蜘蛛捕捉的PHP代码如下:


function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);

if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}

if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}

if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}

if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}

if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}

if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}

if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}


function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}

$searchbot = get_naps_bot();

if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotlog.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");
fclose($data);
}



使用方法:
把以下代码粘贴到你想监控的页面php代码的之间的开头或结尾即可(也可以放在模板文件内)
相关日志
SEO项目分析及运作流程
第五届Netconcepts SEO排行榜大会演讲PPT分享
百度搜索结果图文标识规则分析
Flash网页SEO特殊优化策略
Wordpress SEO插件
搜搜SoSo搜索引擎优化SEO规范
【SEO必备】百度蜘蛛IP段大全与权重说明
社会化购物分享网站SEO策略研究
百度站长平台“外链工具”与“搜索关键词查询”功能评测
从Bing(必应)SEO技巧中分析未来网站优化的发展趋势
qpyx456com Email
2012/04/30 15:40
我想我明白楼主的意思了
qpyx456com Email
2012/04/27 15:13
好的,真长见识了,说得很有道理
qpyx456com Email
2012/04/26 20:16
说得有道理,确实不错,先顶顶再说!!!!
hxngb1af Email
2012/04/26 12:55
谢谢楼主,好久没看到这么好的贴了
小虫
2007/07/03 09:51
å“Žå‘€ 一个不小心  è¢«ä½ é‰´å®šå‡ºæ¥äº† 不过我确实是新手,刚开始研究这个,一头雾水中,所以来你这里学习学习。
fel
2007/07/02 16:27
纯静态页有什么办法捕捉蜘蛛纪录吗? 新手~ 勿怪阿
黑色梦中 回复于 2007/07/02 16:49
静态页没有办法靠陈程序捕捉蜘蛛记录,只能依靠网站日志文件来分析出蜘蛛访问记录。
小虫
2007/07/02 16:09
这样的原理是什么啊? 大概能看懂一些,具体原理就不太明白了。 不过还是多谢了。
黑色梦中 回复于 2007/07/02 17:00
很简单,收集访问者的客户端信息,判断是否是搜索引擎,如果是,就根据搜索引擎蜘蛛名称来记录蜘蛛的活动。

PS:经鉴定,本评论作者和楼上的fel是一个人,SEO做到日本去了就不会是新手,呵呵
Stone
2006/11/10 14:40
生日快乐
黑色梦中 回复于 2006/11/10 16:07
谢谢,石头兄,很开心,巧克力吃的舌头都快掉了,还有这么多朋友的祝福。
分页: 1/1 第一页 1 最后页
发表评论

昵称

网址

电邮

打开HTML 打开UBB 打开表情 隐藏 记住我 [登入] [注册]