工具分享:查询蜘蛛是否正确爬行你的页面

2019-03-24 13:22:44来源: qianjiangrc.com 阅读 ()

新老客户大回馈,云服务器低至5折

不知道站长们有没有查过蜘蛛能否正确爬行网站的页面链接,中文seo工具中有很多的蜘蛛模拟器,可以查看蜘蛛抓取的网页文字内容,但是却很少有工具给出蜘蛛爬行的链接。

webconfs.com是国外比较著名的seo网站,主要是为大家提供一些SEO工具,比如著名的关键词密度检查器、蜘蛛模拟器等,其中蜘蛛模拟器不仅给出了抓取的问题内容,还给大家提供了爬行的链接——Spidered Links。

使用这个工具可以查看蜘蛛是否能够正确的爬行页面上的链接地址,笔者也是刚发现了要与大家分享的问题——网站内页中的相对地址蜘蛛是无法正确爬行的。笔者刚上线的钱江人才网就出现了这样的问题。

下面笔者就以自己的网站为例,给大家分享一下,希望可以作为参考,蜘蛛模拟器工具的地址为:http://www.webconfs.com/search-engine-spider-simulator.php,在查询框中输入自己的网站,这里最好查询你自己网站的内页,因为首页的相对地址对蜘蛛来讲一般不会出现问题。笔者的网站查询结果部分截图分析:

打开上面的地址网页是不存在的,因为爬行的地址是错误的,这里由于网站页面中使用是相对地址,正确的地址为www.xxxx.com/News/,这里蜘蛛抓取的时候给漏掉了一个目录,就无法正确的向下爬行了。

所以网站的内页最好还是使用绝对地址,蜘蛛可以直接去爬行正确的链接地址。

备注:webconfs.com为国外网站,有时候可能会打不开。全英文的,可以使用google浏览器打开,直接翻译页面。

本文有(www.qianjiangrc.com)原创,转载请注明。

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:盛大DDS vs Webluker CDN

下一篇:地方网站编辑绩效考核的得与失