何清勇：浅谈百度蜘蛛“伪装”IP的影响

在经常分析网站日志文件的时候，总会发现百度蜘蛛（BaiDu Spider）IP中出现222.77.187.33，经查询，该IP是位于福建省福州市电信IP，而百度蜘蛛IP是位于北京的联通IP。在网站日志中分析该IP的抓取行为时候发现，该IP只抓取网页首页，经查询，该IP为站长工具的一个友情链接检测程序，该程序默认模拟百度蜘蛛程序抓取页面。

站长工具的友情链接检测界面

该工具域名“link.chinaz.com”对应的IP为“222.77.187.33”，位于福建省福州市。

百度蜘蛛IP（根据网站日志文件统计）

123.125.71.* Baiduspider/2.0（百度网页爬虫），也包括 Baiduspider-image（百度图片爬虫）

61.135.186.* Baiduspider-cpro（百度联盟爬虫）

百度蜘蛛IP出现伪装IP的影响

分析网站日志文件是必不可少的工作，因为网站日志中记录着详细的数据，这些数据包括搜索引擎爬虫数据、服务器运行、用户浏览行为数据等等，对这些数据的分析，可以比较全面的掌握网站的情况。

对与SEO工作，针对性分析搜索引擎的爬虫数据，有助于了解这些蜘蛛的爬行习惯，进一步改进网站。

面对互联网数以亿计的网页数据，搜索引擎为了增加提高自身爬虫的工作效率果，往往会使用多个IP或同一IP下的多个蜘蛛程序进行抓取工作，但如果这些IP段或者蜘蛛程序存在伪装，必然会影响SEO人员对搜索引擎蜘蛛程序行为分析的判断结果，从而可能会影响SEO决策。

何况这次伪装的是百度蜘蛛的IP地址，抓取数量也比较多，造成的影响会更加严重，经过查询，很多SEO人员在网络上询问：

为什么百度蜘蛛总是抓取的网站首页？

为什么百度蜘蛛总是抓取而不是收录我的网站？

类似以上的问题在网络上很多，这些对于结果，对SEO人员的判断和工作都会造成很大的影响。

来源：何清勇SEO博客

标签： 百度蜘蛛 网站日志文件分析 搜索引擎蜘蛛 

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。