robots.txt设置需要注意的一个问题

今天终于把困扰我半个月的问题解决了，但是也因为这么问题使我的网站被降权了，主关键字排名被K。所以今天我写出来希望能给有同样问题的站长们一个解答，少走一些弯路。

我的网站从2月份上线，从3月份开始就每天坚持原创+伪原创6-9篇。两个月的坚持得到了不错的回报，网站权重挺高，发布文章一般半小时内收录，并且能够获得一个不错的排名，偶尔从一篇文章就能带来几百的IP。

但是好景不长，在4月底的时候忽然发现百度开始不收录我写的文章了，同时谷歌也停止收录，我想到是不是我在robots.txt禁止了目录的抓取，但是查看了robots.txt并没有禁止抓取，出现这样的问题让我很是诧异。观察了几天一直都是这个问题，一直持续到5月13号，我通过谷歌网站管理员工具实验室中的“像googlebot一样抓取”发现，文章目录提示收到robots.txt拒绝，但是我的确没有禁止过这个目录。

一直找不到原因，在百度也没查找到相关资料，问了几个人，他们认为可能是服务器原因，因为蜘蛛爬行太过频繁，因此占用大量服务器资源，所以空间商禁止了蜘蛛抓取我的那个目录，但空间商一口否认。我也因此换了个空间，换到一个vps主机，并且使用一个备用域名进行调试，用抓取工具测试时提示抓取成功，问题的确没有出现。于是我把我的主域名解析上去，但是令我吃惊的是依然提示收到robots.txt限制。

这样就排除了空间商的问题，在昨天晚上我仔细观察了一下robots.txt与谷歌管理员工具，发现我的robots.txt里的确禁止了/taobao/目录，而我的文章目录为/taobaozixun/。我联想到是否是因为在文章目录中有/taobao字样的关系，在谷歌抓取权限测试中，果然发现这个问题：

测试结果

网址 Googlebot Googlebot-Mobile

http://www.fintb.com/taobaozixun/

阻止访问第 21 行：Disallow： /taobao

检测为目录；具体文件可能有不同限制

果然我的联想没有错，于是我去掉了对/taobao/目录的限制，第二天再次测试问题也终于解决了。

这个问题困扰了我半个月，同时在百度大更新的时候一直无法抓取，同时更换了一次服务器，导致网站关键字排名被K，权重下降，不过权重会在我恢复更新之后慢慢上来，这也让我学到一个知识。同时希望能对大家有所帮助！

我的网站是http://www.fintb.com 希望能够与大家共同交流，谢谢！

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有