SEO总结：robots细节优化都包括哪些地方（二）

前一段在SEO总结：robots细节优化都包括哪些地方（一）和大家谈了robots细节优化的几个方面，不仅仅让更多站长注意到了以前从来注意过的问题，也让我自己的SEO水平得到了进一步的提高，毕竟SEO水平都是靠一点一滴累积而来。上篇文章分别与大家介绍了六个方面，分别是user-agent的数量问题、spider蜘蛛大小写问题、allow与disallow顺序、反斜杠、#表示注释、不要出现空格等，今天接着上篇文章把剩下的几点分享完。

文件目录大小写问题

robots文件名到底对大小写是否区分，相信很多站长也没有一个标准的答案。虽然res标准忽略大小写，但对于目录与文件名而言，却是大小写敏感的。“user-agent”和“Disallow”指令本身用大小写都可以，但对于其声明的目录或文件名却一定要注意大小写的问题。因为如果屏蔽了大写，蜘蛛有可能会抓小写，对网站的收录造成影响，例如：

Disallow: /abc.htm

会拦截http://www.abc.com/abc.htm

却允许http://www.abc.com/Abc.htm

所以在一些IIS服务器可能出现大小写目录的问题时，可以通过此方法得到圆满解决。

包含同类meta问题

一个正常的页面如果包含了多个同类型meta标签，搜索引擎蜘蛛会累加meta的内容进行取值。举个简单的例子，对下面两条语句来说：

搜索引擎将会把两者合并，最终理解成：

取最强参数的问题

有时候meta标签里边的值出现冲突，那么对于搜索引擎来说就会采纳限制性较强的参数为最终值，很多时候这个问题可以避免，但是有时候不小心写多了meta标签，特别对于一些大网站，更要注意。举个例子，例如下边的两个标签：

那么搜索引擎最终会会选择noindex的取值，因为它的限制性要比第二个高，这个类似优先级问题。

即有robots又有meta问题

如果一个网站里边既存在robots.txt文件，同时页面头部又写了meta标签，而当二者存在冲突，那么对于Googel来说会服从限制较严的规则，即在robots.txt中阻止了对一个页面的检索，那么Google就不会爬到这个页面，所以也就不会读到这个页面上的meta标签。而如果robots.txt里允许检索，meta中禁止，那么Goolge会到达这个页面，并在读到meta后停止爬行。

好了，本文就到这里吧，有一些是自己实实在在碰到的问题，而另外一些则是查阅网上的资料进行的总结，总之，能把robots里边的小细节和大家总结并分享完，感觉很有意义。SEO虽然是个漫长的过程，但是认真去体会里边涉及到的东西，同样也是一种很高的收获。

本文来自深圳网站建设，网址：http://www.zijiren.net，转载请保留链接， 谢谢！

标签： robots文件 SEO优化 spider蜘蛛 

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。