工具分享：查询蜘蛛是否正确爬行你的页面

不知道站长们有没有查过蜘蛛能否正确爬行网站的页面链接，中文seo工具中有很多的蜘蛛模拟器，可以查看蜘蛛抓取的网页文字内容，但是却很少有工具给出蜘蛛爬行的链接。

webconfs.com是国外比较著名的seo网站，主要是为大家提供一些SEO工具，比如著名的关键词密度检查器、蜘蛛模拟器等，其中蜘蛛模拟器不仅给出了抓取的问题内容，还给大家提供了爬行的链接——Spidered Links。

使用这个工具可以查看蜘蛛是否能够正确的爬行页面上的链接地址，笔者也是刚发现了要与大家分享的问题——网站内页中的相对地址蜘蛛是无法正确爬行的。笔者刚上线的钱江人才网就出现了这样的问题。

下面笔者就以自己的网站为例，给大家分享一下，希望可以作为参考，蜘蛛模拟器工具的地址为：http://www.webconfs.com/search-engine-spider-simulator.php，在查询框中输入自己的网站，这里最好查询你自己网站的内页，因为首页的相对地址对蜘蛛来讲一般不会出现问题。笔者的网站查询结果部分截图分析：

打开上面的地址网页是不存在的，因为爬行的地址是错误的，这里由于网站页面中使用是相对地址，正确的地址为www.xxxx.com/News/，这里蜘蛛抓取的时候给漏掉了一个目录，就无法正确的向下爬行了。

所以网站的内页最好还是使用绝对地址，蜘蛛可以直接去爬行正确的链接地址。

备注：webconfs.com为国外网站，有时候可能会打不开。全英文的，可以使用google浏览器打开，直接翻译页面。

本文有（www.qianjiangrc.com）原创，转载请注明。

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有