解读SEO中旧瓶装新酒的robots.txt

我们知道，搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。作为站长为了避免部分网页被索引导致的权重流失，我们提供了robots来很好的解决这个困扰，做到了“旧瓶装新酒”，让你的站在搜索引擎中有良好的表现。

我们来看宜昌SEO的robots.txt ：www.seo86.net/robots.txt，这样做的目的是让搜索引擎觉得我们的网站更规范权威。接下来我们说一下robots权重方面的“旧瓶装新酒”

旧瓶装新酒一：用robots屏蔽内容相似或没有内容的页面

我们知道搜索搜索引擎收录后有一个判断审核的过程，当出现相似度高的页面会删除其中的一个，那么robots会帮到这个忙。比如我http://www.***.net/wangluo/?p=321和http://www.***.net/123内容差不多，那么我们可以把第一个屏蔽掉。屏蔽代码：Disallow:/wangluo/?p=

这样子就可以很好的减少重复页面，对搜索引擎留下良好的影响。

旧瓶装新酒二：用robots.txt屏蔽掉多余的链接，当我们出现动态、静态同是都可以访问的情况，我们可以去掉动态的。

我们，发现很多网站会有多个链接指向同一个页面，这中现象的普片存在，会让搜索引擎对网站的权威性产生疑问，可以通过robots把不重要的链接去掉

比如：www.***.net/?P=123和www.***.net/123，那么我们可以用Disallow:/?p=屏蔽掉

旧瓶装新酒三：铲除死链接

死链接就是原来存在，后来因为改版或者更新的原因删除了链接和网页

比如原来某个目录（假设是/tempweb/）下面的所有链接，因为改版的原因这个目录下面的变成了死链接，那么可以这样子来屏蔽他。代码为：Disallow:/tempweb/

旧瓶装新酒四：被k的链接处理

我们做网站优化的知道，很多关键字排名下降的问题，很可能是被k的外部链接导致的，所以我们可以把所有的外部链接统一放在一个链接目录下面，然后用robots统一屏蔽，比如http://www.***.net/sns/web-link这个上面的所有链接都http://www.***.net/sns/link.php?下面我们采取的屏蔽代码Disallow:/link.php?

如果您对robots的具体操作不是很清楚，可以在百度官方提供的robots.txt指南学习http://www.baidu.com/search/robots.html同时希望大家灵活运用，将robots的功能发挥到极致，相信你的排名也会稳如泰山。若您在robots方面还有其他的疑问可以加QQ1256271624大家一起探讨。

文章作者：宜昌SEO

本文地址：http://www.seo86.net/258/

版权所有 © 转载时必须以链接形式注明作者和原始出处！

标签： 搜索机器人 robots.txt写法 robots.txt怎么写 

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。