了解robots文件，主动告诉搜索引擎该抓取什么内容

导读：首先我们要了解什么是robots文件，比如，在安徽人才库的首页网址后面加入“/robots.txt”，即可打开该网站的robots文件，如图所示，文件里显示的内容是要告诉搜索引擎哪些网页希望被抓取，哪些不希望被抓取。因为网站中有一些无关紧要的网页，如“给我留言”或“联系方式”等网页，他们并不参与SEO排名，只是为了给用户看，此时可以利用robots文件把他们屏蔽，即告诉搜索引擎不要抓取该页面。

蜘蛛抓取网页的精力是有限的，即它每次来抓取网站，不会把网站所有文章、所有页面一次性全部抓取，尤其是当网站的内容越来越多时，它每次只能抓取一部分。那么怎样让他在有限的时间和精力下每次抓取更多希望被抓去的内容，从而提高效率呢?

这个时候我们就应该利用robots文件。小型网站没有该文件无所谓，但对于中大型网站来说，robots文件尤为重要，因为这些网站数据库非常庞大，蜘蛛来时，要像对待好朋友一样给它看最重要的东西，因为这个朋友精力有限，每次来都不能把所有的东西看一遍，所以就需要robots文件屏蔽一些无关紧要的东西。由于种种原因，某些文件不想被搜索引擎抓取，如处于隐私保护的内容，也可以用robots文件把搜索引擎屏蔽。

当然，有些人会问，如果robots文件没用好或出错了，会影响整个网站的收录，那为什么还有这个文件呢?这句话中的“出错了”是指将不该屏蔽的网址屏蔽了，导致蜘蛛不能抓取这些页面，这样搜索引擎就不会收录他们，那何谈排名呢?所以robots问价的格式一定要正确。下面我们一起来了解robots文件的用法：

1.“user-agent：*disallow：/”表示“禁止所有搜索引擎访问网站的任何部分”，这相当于该网站在搜索引擎里没有记录，也就谈不上排名。

2.“user-agent：*disallow：”表示“允许所有的robots访问”，即允许蜘蛛任意抓取并收录该网站。这里需要注意，前两条语法之间只相差一个“/”。

3.“user-agent：badbot disallow：/”表示“禁止某个搜索引擎的访问”。

4.“user-agent：baiduspider disallow：user-agent：*disallow：/”表示“允许某个搜索引擎的访问”。这里面的“baiduspider”是百度蜘蛛的名称，这条语法即是允许百度抓取该网站，而不允许其他搜索引擎抓取。

说了这么多，我们来举个例子，某个网站以前是做人才招聘的，现在要做汽车行业的，所以网站的内容要全部更换。删除有关职场资讯的文章，这样就会出现大量404页面、很多死链接，而这些链接以前已经被百度收录，但网站更换后蜘蛛再过来发现这些页面都不存在了，这就会留下很不好的印象。此时可以利用robots文件把死链接全部屏蔽，不让百度访问这些已不存在的页面即可。

最后我们来看看使用robots文件应该注意什么?首先，在不确定文件格式怎么写之前，可以先新建一个文本文档，注意robots文件名必须是robots.txt，其后缀是txt并且是小写的，不可以随便更改，否则搜索引擎识别不了。然后打开该文件，可以直接复制粘贴别人的格式，

Robots文件格式是一条命令一行，下一条命令必须换行。还有，“disallow： ”后面必须有一个空格，这是规范写法。

文章有万马奔腾原创http://www.400815.com，转载请注明。

标签： robots 主动告诉搜索引擎 蜘蛛抓取 

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。