更多



Google Sitemap让Google更有效抓取你的网站 晴

郝聪 , 2006/10/02 14:25 , 搜索引擎优化(SEO) » SEO技术 , 评论(0) , 阅读(12023) , Via 本站原创 | |

Google Sitemap是一个很有用的SEO工具,同时也有一些生成Sitemap的工具。下面是对GoogleSitemap文件的介绍。

Google 的爬虫到底能不能遍历我的站内所有页面?这是个问题。假设能遍历到每个页面,对于Google Spider来说是一件很辛苦的工作。于是Google把一部分工作量转移给WebMaster——建立符合标准的GoogleSitemap。(这的确是对双方都有好处的想法)

Google SiteMap Protocol是Google自己推出的一种站点地图协议,此协议文件基于早期的robots.txt文件协议,并有所升级。在Google官方指南中指出加入了Google SiteMap文件的网站将更有利于Google网页爬行机器人的爬行索引,这样将提高索引网站内容的效率和准确度。

Sitemaps服务旨在使用Feed文件sitemap.xml通知Google的Crawler(爬虫)网站上哪些文件需要索引、这些文件的最后修订时间、更改频度、文件位置、相对优先索引权,这些信息将帮助Google Crawler建立索引范围和索引的行为习惯。

Sitemap的作用就好像为网站提供了整站的RSS,而google就是这些RSS的订阅者,只要网站有更新就会自动通知google。

Sitemap的最終目的在提高所有网頁被找到的速率

Google倡议站长们利用Sitemaps技术与搜索引擎形成积极互动的协作关系,真正参与到搜索引擎的索引页面缓存的建立中来,改变爬虫机械式的重复工作模式,使搜索引擎能返回更准确有效的的结果,同时也可以有效地减少带宽的消耗以及服务器的压力,提高互联网的效率。

sitemap文件必须包含几个主要的描述性标记

changefreq — 文件更改频度,可以是always/hourly/daily/weekly/monthly/yearly/never中的任意一个值
lastmod — 文件最后被修订的时间,必须是遵循ISO 8601规范的时间戳格式,比如2005-09-30或2005-09-30T02:20:30+08:00
loc — 文件通用资源定位符地址,呵呵,就是URL网址,绝对地址
priority — 相对于同一站点上其他文件的被索引的优先权,值域0.00~1.00,默认值是0.50
url — 用来包围以上四个标记
urlset — 用来包围以上五个标记

分解讲解这个xml文件的每一个标签
1.这一行定义了此xml文件的命名空间,相当于网页文件中的标签一样的作用。
2.这是具体某一个链接的定义入口,你所希望展示在SiteMap文件中的每一个链接都要用和包含在里面,这是必须的
3.http://www.bloghuman.com/
用描述出具体的链接地址,这里需要注意的是链接地址中的一些特殊字符必须转换为XML(HTML)定义的转义字符
4.2005-09-30T04:20:32-08:00是用来指定该链接的最后更新时间,这个很重要。Google的机器人会在索引此链接前先和上次索引记录的最后更新时间进行比较,如果时间一样就会跳过不再索引。所以如果你的链接内容基于上次Google索引时的内容有所改变,应该更新该时间,让Google下次索引时会重新对该链接内容进行分析和提取关键字。这里必须用ISO 8601中指定的时间格式进行描述,格式化的时间格式如下:
年:YYYY(2005)
年和月:YYYY-MM(2005-06)
年月日:YYYY-MM-DD(2005-06-04)
年月日小时分钟:YYYY-MM-DDThh:mmTZD(2005-09-30T10:37+08:00)
年月日小时分钟秒:YYYY-MM-DDThh:mmTZD(2005-09-30T10:37:30+08:00)
这里需注意的是TZD,TZD指定就是本地时间区域标记,像中国就是+08:00了
5.always用这个标签告诉Google此链接可能会出现的更新频率,比如首页肯定就要用always(经常),而对于很久前的链接或者不再更新内容的链接就可以用yearly(每年)。这里可以用来描述的单词共这几个:"always", "hourly", "daily", "weekly", "monthly", "yearly",具体含义我就不用解释了吧,光看单词的意思就明白了。
6.1.0是用来指定此链接相对于其他链接的优先权比值,此值定于0.0 - 1.0之间
7.还有和,这两个就是来关闭xml标签的,这和HTML中的和是一个道理
8.另外需要注意的是,这个xml文件必须是utf-8的编码格式,不管你是手动生成还是通过代码生成,建议最好检查一下xml文件是否是utf-8编码,最简单的方法就是用记事本打开xml然后另存为时选择编码(或转换器)为UTF-8

实例:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.google.com/schemas/sitemap/0.84" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.google.com/schemas/sitemap/0.84 http://www.google.com/schemas/sitemap/0.84/sitemap.xsd">(本行为GsiteCrawler工具生成的sitemap.xml文件中新添的代码,不加也可以)
 <url>
  <loc>http://www.bloghuman.com/</loc>
  <lastmod>2005-09-30</lastmod>
  <changefreq>daily</changefreq>
  <priority>1.00</priority>
 </url>
 <url>
  <loc>http://www.bloghuman.com/post/157.htm</loc>
     <lastmod>2005-09-30</lastmod>
  <changefreq>daily</changefreq>
     <priority>0.50</priority>
 </url>
 <url>
  <loc>http://www.bloghuman.com/tag.php?tag=%E4%B8%96%E7%95%8C%E6%9D%AF</loc>
     <lastmod>2005-09-30</lastmod>
  <changefreq>weekly</changefreq>
     <priority>0.50</priority>
 </url>
</urlset>



登陆Google提交你的SiteMap文件:管理我的 Google Sitemaps 文件

Sitemap文件可以压缩成.gz格式以减小文件体积,节省带宽,但是文件未压缩体积不能大于10MB(10,485,760字节),否则的话必须使用多个sitemap文件,而这些sitemap文件必须在sitemap_index.xml中通过loc标记分别指定sitemap文件来得到索引,但sitemap_index.xml不能索引超过1000个sitemap文件。
例如:


<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.google.com/schemas/sitemap/0.84">
 <sitemap>
  <loc>http://www.bloghuman.com/sitemap.xml.gz</loc>
  <lastmod>2006-10-01T18:23:17+00:00</lastmod>
 </sitemap>
 <sitemap>
  <loc>http://www.bloghuman.com/sitemap2.xml.gz</loc>
  <lastmod>2006-10-01</lastmod>
 </sitemap>
</sitemapindex>




Google SiteMap总结:Sitemap就是Google推出的一种搜索引擎新的搜索策略,不需要机器人和蜘蛛满世界乱爬,而是你自己主动提交类似RSS的XML文件。站长引导Spider抓取页面。
查看更多关于Google Sitemap的信息请查看Google官方介绍:管理我的 Google Sitemaps 文件
Tags: , ,
发表评论

昵称

网址

电邮

打开HTML 打开UBB 打开表情 隐藏 记住我 [登入] [注册]