实战发现Robots.txt的四点作用

2019-03-19 06:58:32来源: bj.moonseo.cn 阅读 ()

新老客户大回馈,云服务器低至5折

经过实战与大量的案例证明robots.txt主要有以下四点作用:众所周知用来屏蔽死链接,无内容页面;屏蔽有内容但对排名没有任何帮助的页面以及一些重复内容页面。

一、屏蔽死链接:什么叫死链接,就是搜索引擎蜘蛛曾经抓取过,当再一次抓取的时候已经不存在或打不开,或者搜索引擎蜘蛛直接发现的错误链接我们称之为死链接。

死链接的危害大不大?

1、影响网站更新(影响网站收录)

2、影响网站快照

3、影响关键词排名

所以说死链接需要屏蔽。

二、屏蔽无内容页面

什么叫无内容页面:动态的评论页,比如织梦在页面的最下面,其实评论页有一个单独的动态地址。搜索引擎可以单独抓取到这样的动态地址,有多少页面就有多少评论页。这些属于都是有害的,搜索引擎就会对你这个网站进行隐权和处罚。

比如还有打印页面 如www.gov.cn 搜索引擎是能够抓取到的这个的打印的页面。

比如说,康盛的DZ X 1.5论坛。个人用户中心就是一个无内容页面。

织梦也有一个 个个用户中心。搜索引擎会完全抓取到的,我们需要屏蔽。

三、有内容对排名没有帮助。 需要屏蔽少占用权重和资源。

比如说:联系我们,用户留言,登陆,注册,收藏我们,退订协议,网站招聘等等。

四、重复内容页面,对网站有巨大危害 如果过多就会造成降权,比如404页面,论坛有大量的重复性内容页面。

总结:做SEO就是注意一些小小的细节,SEO er刀尖上的活,我们要做到步步为赢,以前我觉得没有多少用,但自己的网站慢慢做搜索引擎认可以及大量的内容收录,发现我错了,特别是操作老域名,你会觉得robots.txt的神奇作用,今天是情人节祝愿各位站长爱情,事业双丰收!

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:我做网站的经历:一身疲惫换来一识半解

下一篇:浅谈网站后续销售策略 建立稳定客户群