郝聪SEO博客：SEO顾问咨询服务公司

网站页面索引量是衡量一个网站SEO竞争力的重要指标，可以说索引量越大，网站搜索排序权重越高，获得百度搜索流量的机会越大，因此，通过百度站长平台（Google管理员拿工具）提交sitemap索引文件便成为一项重要的SEO工作，这可以帮助百度快速索引网站页面。当然，并不是每个网站都能成功申请Sitemap提交权限，百度的同学特别注明过：不会给缺乏有价值内容的企业网站开通Sitemap提交权限。号外：百度2013新年贺礼，百度站长平台1000个sitemap权限限时送出

提交sitemap的方法在此不做赘述，重点分享一下近期提交百度sitemap索引文件时遇到的一个问题：

百度的同学向我确认：sitemap索引文件的抓取确定是使用baiduspider这个user-agent，而非某个特定用途的user-agent，而网站robots并没有屏蔽baiduspider，甚至对baiduspider完全开放，那么为什么会出现无法抓取索引文件的情况呢？

原因有2个：

1、sitemap索引数据文件中的URL被robots文件屏蔽了。（如果robots文件屏蔽了某个目录，而某个URL中包含被屏蔽的目录，则会造成该问题）

2、百度spider IP被屏蔽了。（通过确认，运维人员发现某个IP在短时间内到网站抓取了大量数据占用了很大的带宽，因此把该IP给屏蔽掉了，结果可想而知，这个IP恰恰就是baiduspider众多IP地址中的一个。）

百度目前并没有公布baiduspider的所有IP地址列表，这也是产生上述问题的原因之一，我们也不能要求网站运维人员完全以搜索引擎友好型原则为出发点时刻为baiduspdier敞开大门，而且baiduspider的的确确经常占用大量服务器带宽资源，这都是现实情况。不过可喜的是：百度站长平台接下来会为网站管理员提供“检测IP是否是baiduspider”的功能，那个时候问题就变得简单了，网站运维人员只需到站长平台核实一下就清楚知道他应该如何处理某个“问题IP”了。

而在“检测IP是否是baiduspider”的功能上线之前，为避免类似因为屏蔽IP地址而给搜索引擎抓取与排序造成重大影响问题的出现，我们只能参考有心人公开的数据来综合考虑了。有经验的站长向我推荐了123cha.com的IP查询，它会标示出所查询的IP是否是baiduspider，而且数据相对准确和完整。除此之外，我还找到了目前网上分享出来的常见百度蜘蛛IP地址以及对该IP权重的说明，在此只传播与分享，不对准确性进行核实。

    
1. 123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。
    
2. 220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站。
    
3. 220.181.7.*、123.125.66.* 代表百度蜘蛛IP造访，准备抓取你东西。
    
4. 121.14.89.*这个ip段作为度过新站考察期。
    
5. 203.208.60.*这个ip段出现在新站及站点有不正常现象后。
    
6. 210.72.225.*这个ip段不间断巡逻各站。
    
7. 125.90.88.* 广东茂名市电信也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的。
    
8. 220.181.108.95这个是百度抓取首页的专用IP，如是220.181.108段的话，基本来说你的网站会天天隔夜快照，绝对错不了的，我保证。
    
9. 220.181.108.92 同上98%抓取首页，可能还会抓取其他 (不是指内页)220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来。
    
10. 123.125.71.106 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
    
11. 220.181.108.91属于综合的，主要抓取首页和内页或其他，属于权重IP 段，爬过的文章或首页基本24小时放出来。
    
12. 220.181.108.75重点抓取更新文章的内页达到90%，8%抓取首页，2%其他。权重IP 段，爬过的文章或首页基本24小时放出来。
    
13. 220.181.108.86专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
    
14. 123.125.71.95 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
    
15. 123.125.71.97 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
    
16. 220.181.108.89专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
    
17. 220.181.108.94专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
    
18. 220.181.108.97专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
    
19. 220.181.108.80专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
    
20. 220.181.108.77 专用抓首页IP 权重段，一般返回代码是304 0 0 代表未更新。
    
21. 123.125.71.117 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
    
22. 220.181.108.83专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
    
23. 注：以上IP尾数还有很多，但段位一样的123.125.71.*段IP 代表抓取内页收录的权重比较低.可能由于你采集文章或拼文章暂时被收录但不放出来.(意思也就是说待定)。
    
24. 220.181.108.*段IP主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的，这点我可以保证!
    
25. 一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新，蜘蛛来过，如果是 200 0 64别担心这不是K站，可能是网站是动态的，所以返回就是这个代码。