通过HTTP状态代码查看搜索引擎蜘蛛如何爬行你的网站
[
2006/08/30 21:23 | by 黑色梦中 ]
2006/08/30 21:23 | by 黑色梦中 ]
所有 HTTP 状态代码及其定义。
代码 指示
2xx 成功
200 正常;请求已完成。
201 正常;紧接 POST 命令。
202 正常;已接受用于处理,但处理尚未完成。
203 正常;部分信息 — 返回的信息只是一部分。
204 正常;无响应 — 已接收请求,但不存在要回送的信息。
3xx 重定向
301 已移动 — 请求的数据具有新的位置且更改是永久的。
302 已找到 — 请求的数据临时具有不同 URI。
303 请参阅其它 — 可在另一 URI 下找到对请求的响应,且应使用 GET 方法检索此响应。
304 未修改 — 未按预期修改文档。
305 使用代理 — 必须通过位置字段中提供的代理来访问请求的资源。
306 未使用 — 不再使用;保留此代码以便将来使用。
4xx 客户机中出现的错误
400 错误请求 — 请求中有语法问题,或不能满足请求。
401 未授权 — 未授权客户机访问数据。
402 需要付款 — 表示计费系统已有效。
403 禁止 — 即使有授权也不需要访问。
404 找不到 — 服务器找不到给定的资源;文档不存在。
407 代理认证请求 — 客户机首先必须使用代理认证自身。
410 请求的网页不存在(永久);
415 介质类型不受支持 — 服务器拒绝服务请求,因为不支持请求实体的格式。
5xx 服务器中出现的错误
500 内部错误 — 因为意外情况,服务器不能完成请求。
501 未执行 — 服务器不支持请求的工具。
502 错误网关 — 服务器接收到来自上游服务器的无效响应。
503 无法获得服务 — 由于临时过载或维护,服务器无法处理请求。
比如说:
2004-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET /index/119.htm - 304 Baiduspider+(+http://www.baidu.com/search/spider.htm)
这就意味着百度蜘蛛在2004-12-03 07:33:25爬过/index/119.htm这一页,它发现这页是没有更新过的。
再比如说:2004-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET /index/120.htm - Googlebot/2.1
(http://www.google.com/bot.html)
这就意味着Google蜘蛛在2004-12-03 07:33:25爬过/index/119.htm这一页,它发现这页是新的,并全部爬完。
代码 指示
2xx 成功
200 正常;请求已完成。
201 正常;紧接 POST 命令。
202 正常;已接受用于处理,但处理尚未完成。
203 正常;部分信息 — 返回的信息只是一部分。
204 正常;无响应 — 已接收请求,但不存在要回送的信息。
3xx 重定向
301 已移动 — 请求的数据具有新的位置且更改是永久的。
302 已找到 — 请求的数据临时具有不同 URI。
303 请参阅其它 — 可在另一 URI 下找到对请求的响应,且应使用 GET 方法检索此响应。
304 未修改 — 未按预期修改文档。
305 使用代理 — 必须通过位置字段中提供的代理来访问请求的资源。
306 未使用 — 不再使用;保留此代码以便将来使用。
4xx 客户机中出现的错误
400 错误请求 — 请求中有语法问题,或不能满足请求。
401 未授权 — 未授权客户机访问数据。
402 需要付款 — 表示计费系统已有效。
403 禁止 — 即使有授权也不需要访问。
404 找不到 — 服务器找不到给定的资源;文档不存在。
407 代理认证请求 — 客户机首先必须使用代理认证自身。
410 请求的网页不存在(永久);
415 介质类型不受支持 — 服务器拒绝服务请求,因为不支持请求实体的格式。
5xx 服务器中出现的错误
500 内部错误 — 因为意外情况,服务器不能完成请求。
501 未执行 — 服务器不支持请求的工具。
502 错误网关 — 服务器接收到来自上游服务器的无效响应。
503 无法获得服务 — 由于临时过载或维护,服务器无法处理请求。
比如说:
2004-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET /index/119.htm - 304 Baiduspider+(+http://www.baidu.com/search/spider.htm)
这就意味着百度蜘蛛在2004-12-03 07:33:25爬过/index/119.htm这一页,它发现这页是没有更新过的。
再比如说:2004-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET /index/120.htm - Googlebot/2.1
(http://www.google.com/bot.html)
这就意味着Google蜘蛛在2004-12-03 07:33:25爬过/index/119.htm这一页,它发现这页是新的,并全部爬完。
最新Google排名算法专利
[
2006/08/29 11:51 | by 黑色梦中 ]
2006/08/29 11:51 | by 黑色梦中 ]
8月22号,美国专利局刚刚批准了一份有关Google排名算法的专利,标题是”搜索结果排名中引入支持性编辑意见的系统和方法(System and method for supporting editorial opinion in the ranking of search results)“。
简单的说,这个专利提出了用人工编辑修正搜索结果的方法,大致程序是:
简单的说,这个专利提出了用人工编辑修正搜索结果的方法,大致程序是:
ZAC谈论什么是SEO
[
2006/08/21 18:14 | by 黑色梦中 ]
2006/08/21 18:14 | by 黑色梦中 ]
今天就又从SEO Vista看到了一个例子,王文辉先生写了一篇”王通终于撕下了SEO的神秘面纱“,评论王通的文章”SEO没太多技术含量“。
如果我的中文还没有退步的太厉害的话,”撕下了神秘面纱”这句话应该不是在夸奖。说”摘下面纱”还比较中性,说”撕下”就有点意味着SEO是见不得阳光,得被别人揭露的意思。
如果我的中文还没有退步的太厉害的话,”撕下了神秘面纱”这句话应该不是在夸奖。说”摘下面纱”还比较中性,说”撕下”就有点意味着SEO是见不得阳光,得被别人揭露的意思。
海淼翻译的google排名内部优化攻略
[
2006/08/21 17:45 | by 黑色梦中 ]
2006/08/21 17:45 | by 黑色梦中 ]
CMS系统如何如何改进以适应SEO
[
2006/08/19 15:46 | by 黑色梦中 ]
2006/08/19 15:46 | by 黑色梦中 ]
怎样针对动态生成的不同页面中,keywords和description,写不同的关键字和描述?
我想针对这个问题可以更宽泛的谈一下CMS系统(content management system,内容管理系统)和SEO的关系。
现在很多网站都是由CMS系统建成的,电子商务网站,新闻类网站还有博客等等,绝大部分都是用CMS系统做成的。CMS优点很多,做的不好的话缺点也不少。
使用CMS系统制作页面和管理网站都变得容易,但缺点是大部分CMS系统都不够搜索引擎友好。
我觉得一个好的CMS系统在搜索引擎优化方面应该做到以下这些功能,读者在选择系统的时候可以注意看有没有这些功能,开发CMS系统的读者也可以做参考。
我想针对这个问题可以更宽泛的谈一下CMS系统(content management system,内容管理系统)和SEO的关系。
现在很多网站都是由CMS系统建成的,电子商务网站,新闻类网站还有博客等等,绝大部分都是用CMS系统做成的。CMS优点很多,做的不好的话缺点也不少。
使用CMS系统制作页面和管理网站都变得容易,但缺点是大部分CMS系统都不够搜索引擎友好。
我觉得一个好的CMS系统在搜索引擎优化方面应该做到以下这些功能,读者在选择系统的时候可以注意看有没有这些功能,开发CMS系统的读者也可以做参考。
增加反向链接的101个方法
[
2006/08/19 15:35 | by 黑色梦中 ]
2006/08/19 15:35 | by 黑色梦中 ]
Andy Hagans和Aaron Wall昨天写了一篇”增加反向链接的101个方法“,非常有参考价值
他们的帖子发出不到几小时,几乎所有重要的SEO bloggers都建议大家去看。这就是好内容的重要性,链接诱饵的样板。
文章很长,ZAC转成了PDF格式并供大家下载。
点击附件下载"增加反向链接的101个方法"
他们的帖子发出不到几小时,几乎所有重要的SEO bloggers都建议大家去看。这就是好内容的重要性,链接诱饵的样板。
文章很长,ZAC转成了PDF格式并供大家下载。
点击附件下载"增加反向链接的101个方法"
blog(博客)的SEO优化建议
[
2006/08/14 18:18 | by 黑色梦中 ]
2006/08/14 18:18 | by 黑色梦中 ]
blog(博客)怎么做SEO(搜索引擎优化), 比如主流的几个个人型BLOG、bo-blog、sablog、pjblog等。。。
说实话我对这几个blog软件完全没听说过,我的博客是使用WordPress,不过博客软件功能都应该是差不多的。今天介绍一下我自己在这个博客上所做的一点点优化。
首先一点,我觉得博客更多的是一个分享交流工具,它生成的网站结构,网页代码与很多网站相比算是比较搜索引擎友好。
但是Blog页面都是用模板生成,有很多因素是不能控制的。在挑好了一个你觉得比较好的模板之后,页面上的大部分代码就定下来了,你没办法一页一页,一个目录一个目录的去做特殊优化。
所以博客并不是一个很适合做完整搜索引擎优化的系统。对很多不太热门的关键词,我们可以看到博客能排到前面。但是最热门的关键词还是以手写网页为好,除非你是你这个行业特别牛的人,你写什么大家都会连向你。如Matt Cutts。
说实话我对这几个blog软件完全没听说过,我的博客是使用WordPress,不过博客软件功能都应该是差不多的。今天介绍一下我自己在这个博客上所做的一点点优化。
首先一点,我觉得博客更多的是一个分享交流工具,它生成的网站结构,网页代码与很多网站相比算是比较搜索引擎友好。
但是Blog页面都是用模板生成,有很多因素是不能控制的。在挑好了一个你觉得比较好的模板之后,页面上的大部分代码就定下来了,你没办法一页一页,一个目录一个目录的去做特殊优化。
所以博客并不是一个很适合做完整搜索引擎优化的系统。对很多不太热门的关键词,我们可以看到博客能排到前面。但是最热门的关键词还是以手写网页为好,除非你是你这个行业特别牛的人,你写什么大家都会连向你。如Matt Cutts。
Google开始支持NOODP属性
[
2006/08/04 14:08 | by 黑色梦中 ]
2006/08/04 14:08 | by 黑色梦中 ]
王通:中国SEO行业将会细分市场
[
2006/08/03 12:03 | by 黑色梦中 ]
2006/08/03 12:03 | by 黑色梦中 ]
本文是从donews上转载的,作者就是那个号称中国网络营销第一人的王通;在我看来,这是一篇商业软文,凭借王通的公关能力这样的文章是应该能上donews的,主要是借机推广新书《搜索引擎营销》,王通第一本书《搜索引擎排名秘籍》在之前曾经炒作的相当不错,所以据说销量不错;新书内容我还没有看到,不过看完本文我却说点什么,我不想冒犯某某人也无意打压谁,只是说说自己的看法,当然,如果有不同见解,欢迎拍砖。
(1)从中国目前SEO行业情况以及良性发展角度来看,SEO到底是应该以技术为主导还是以理念为主导?SEO需要不断的实践,我非常赞同这个观点,但是实践是为了什么?实践不应该完全是总结SEO技巧吧,更多的应该是总结出搜索引擎支持这种SEO技巧的原则,也就是说搜索引擎为提供给用户良好的搜索体验而制定的评价体系;SEO理论研究比实践更重要,我想王通先生不会是先触犯法律然后再学习法律知识补救吧,如果是那样的话,估计也晚了,呵呵;搜索引擎就相当于SEO中的法律,法律是为人服务的。
(2)
国内研究SEO的人很多,见解也不同,提出观点正袄说明人家经过了缜密的思考,我觉得这是好事,众多的SEO观点有利于形成正确的SEO理念;如果非要驳斥他们,那为什么那么多买完你书的人看完之后都骂你呢?
(1)从中国目前SEO行业情况以及良性发展角度来看,SEO到底是应该以技术为主导还是以理念为主导?SEO需要不断的实践,我非常赞同这个观点,但是实践是为了什么?实践不应该完全是总结SEO技巧吧,更多的应该是总结出搜索引擎支持这种SEO技巧的原则,也就是说搜索引擎为提供给用户良好的搜索体验而制定的评价体系;SEO理论研究比实践更重要,我想王通先生不会是先触犯法律然后再学习法律知识补救吧,如果是那样的话,估计也晚了,呵呵;搜索引擎就相当于SEO中的法律,法律是为人服务的。
(2)
引用
所以大家可以看到一些的理论派SEO专家在对某个知名网站的SEO状况进行分析的时候,常常会遭到众多并且知名SEO的抨击,而且抨击他自己没话说,为什么呢?
国内研究SEO的人很多,见解也不同,提出观点正袄说明人家经过了缜密的思考,我觉得这是好事,众多的SEO观点有利于形成正确的SEO理念;如果非要驳斥他们,那为什么那么多买完你书的人看完之后都骂你呢?
网站结构优化相关知识
[
2006/07/31 18:30 | by 黑色梦中 ]
2006/07/31 18:30 | by 黑色梦中 ]
优化网站结构有两方面的意思,一是物理结构,二是逻辑结构。
网站物理结构指的是网站真实的目录及文件所存储的位置所决定的结构。
一般来说比较好的物理结构可以有两种,一是扁平式的,也就是所有网页都存在网站根目录下。像这样:
http://www.domain.com/pageA.html
http://www.domain.com/pageB.html
http://www.domain.com/pageC.html
……所有这些页都是在根目录这一级别,形成一个扁平的物理结构。
这比较适合于小型的网站,因为如果太多文件都放在根目录下的话,制作和维护起来都比较麻烦,容易搞乱。
网站物理结构指的是网站真实的目录及文件所存储的位置所决定的结构。
一般来说比较好的物理结构可以有两种,一是扁平式的,也就是所有网页都存在网站根目录下。像这样:
http://www.domain.com/pageA.html
http://www.domain.com/pageB.html
http://www.domain.com/pageC.html
……所有这些页都是在根目录这一级别,形成一个扁平的物理结构。
这比较适合于小型的网站,因为如果太多文件都放在根目录下的话,制作和维护起来都比较麻烦,容易搞乱。
搜索引擎优化SEO的五大技术难题
[
2006/07/28 16:50 | by 黑色梦中 ]
2006/07/28 16:50 | by 黑色梦中 ]
本文将向大家阐述在搜索引擎优化中最棘手的几种网站设计技术。无疑,这些技术和设计无论对于网站开发人员,站点管理员,还是普通文员来说,都具备其各自的优势和独到之处。但同时这些技术也会给网站在搜索引擎对网站的检索甚至是搜索引擎优化工作增加相当的难度。还需提醒各位注意的是:搜索引擎亦认识到这些设计技术为其搜索所带来的问题,因此它们很可能正在着手开发解决方案。同样,这些技术的开发商亦会注意到其软件对于搜索引擎遍历所存在的问题,所以也在着手研究相关的解决方案。在这些技术中,最使优化人员感到棘手的应该是FLASH技术。
播客网站的SEO策略
[
2006/07/26 17:40 | by 黑色梦中 ]
2006/07/26 17:40 | by 黑色梦中 ]
Podcasting and SEO: How to SEO your podcastsby Stephan Spencer 04/17/2005
越来越多的播客在自建网站或准备自建网站了。多了音频(和/或视频),播客网站和博客网站有所不同,普通的搜索引擎无法搜索到你音频(和/或视频)里的内容,在搜索引擎优化(SEO)上要给予另外的考虑。
Stephan Spencer 提出了8点关于播客网站SEO(搜索引擎优化)的
建议
还原风险投资全过程:像极了一场恋爱谈婚论嫁
[
2006/07/22 20:52 | by 黑色梦中 ]
2006/07/22 20:52 | by 黑色梦中 ]
创业者和风投商的关系,从某种角度上说,真是像极了一场恋爱牵手谈婚论嫁的围城内外的经历。在这场角色的扮演者中,将风险投资商类比为娶亲者,创业者类比为嫁人者,或许是再合适不过了。站在这个角色的角度,婚恋的双方,都有自己原生态的感慨。
主持人:IT世界网 彭军丽
网易科技 刘 涛
嘉 宾:高 翔 IDGVC副总裁
丁志锋 碰碰网 CEO
郑泽锋 职友集 创始人
布 棉 blogger
支持媒体:IT世界网(www.IT.com.cn )
网易科技(www.tech.163.com)
Itqun; (www.itqun.com)
新快报I生活
角色:
风投者为娶亲的
创业者是嫁人的
主持人:IT世界网 彭军丽
网易科技 刘 涛
嘉 宾:高 翔 IDGVC副总裁
丁志锋 碰碰网 CEO
郑泽锋 职友集 创始人
布 棉 blogger
支持媒体:IT世界网(www.IT.com.cn )
网易科技(www.tech.163.com)
Itqun; (www.itqun.com)
新快报I生活
角色:
风投者为娶亲的
创业者是嫁人的
SEO必备技能
SEO包括太多,现在很难找到一个网站完整介绍,你有很多事情要去做。做的过程发现你永远都有不知道的领域,远远超过了你所掌握的知识,涉及财务,营销,技术,管理,人际关系等等。seo是一个需要不断学习的过程,你总能发现你还没掌握的知识,技能,每天都有新鲜的东西可以让你学习。
一个好的seo应该懂得编写代码,数据库管理,服务器技术还有其它技术,知道问题所在,懂得如果更正问题,恰当的教导其他人。
关键词的选择应该在网站设计开始之前就着手。如果关键词选择不当,后果可能是灾难性的。可能你选择的关键词很少有人去搜索,那么你的排名再高,流量也不会大。关键词选错可能会影响你整个网站的写作内容,要想更正不是一件轻巧的事情。
今天主要谈一下选择适当的关键词的主要原则。
今天主要谈一下选择适当的关键词的主要原则。
Google排名优化圣经
[
2006/06/13 14:53 | by 黑色梦中 ]
2006/06/13 14:53 | by 黑色梦中 ]
相信不少站长都听说过站长世界webmasterworld.com(也有的是翻为网管世界)这个论坛。这是世界上最著名的站长们聚集的地方,谈论各种与网站有关的话题,包括SEO,网络营销,网站建设的技术问题,电子商务等等。
站长世界的创始人Brett Tabke,是搜索引擎优化领域里教皇级的人物。据说他以前是经常使用和实验各种作弊手段的人物,当然他现在已经改邪归正了,至少表面上看起来如此。
近些年,他在站长世界里的帖子并不是很多,而且都非常简短。但无论他帖什么,往往都被追捧。因为他所管理的网站涉及面之宽,他本人所亲身认识的各个搜索引擎和各大电子商务公司的高层人物之多,以及他在网络世界里的权威地位之高,使他的话不得不被重视。
站长世界的创始人Brett Tabke,是搜索引擎优化领域里教皇级的人物。据说他以前是经常使用和实验各种作弊手段的人物,当然他现在已经改邪归正了,至少表面上看起来如此。
近些年,他在站长世界里的帖子并不是很多,而且都非常简短。但无论他帖什么,往往都被追捧。因为他所管理的网站涉及面之宽,他本人所亲身认识的各个搜索引擎和各大电子商务公司的高层人物之多,以及他在网络世界里的权威地位之高,使他的话不得不被重视。
反向链接(导入链接)的质量
[
2006/06/13 14:31 | by 黑色梦中 ]
2006/06/13 14:31 | by 黑色梦中 ]





下载文件

