网站日志中百度蜘蛛的真伪判断
2019-03-24 13:22:34来源: liboseo.com 阅读 ()
我们查看网站日志的时候会看到百度蜘蛛:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)来爬行我们的网页。大家现在都知道有些站长工具或者采集程序,冒充百度蜘蛛来爬行我们的网站,那么我们怎么判断爬行我们网站的是不是真正的百度蜘蛛呢。
其实非常简单如果你用的是Windows操作系统那么可以用Windows自带的命令行命令tracert来判断是否只真正的百度蜘蛛。
首先查看百度蜘蛛的IP,然后点击开始运行,输入cmd,打开命令行,然后输入tracert 61.135.186.12,这里61.135.186.12代表网站日志里的百度蜘蛛的IP,那么可以看到如下的内容:
如果里面有crawl.baidu.com的内容,那么说明就是真正的百度蜘蛛,如假包换。
上面这个截图里面含有ad,(baiduspider-ad-61-135-186-12.crawl.baidu.com [61.135.186.12]),那么应该是百度联盟的蜘蛛用来抓取页面里的内容以便匹配广告用的。
如果是真正的百度蜘蛛那么就是类似于(baiduspider-123-125-71-23.crawl.baidu.com [123.125.71.23])这样的结果就是真正的百度蜘蛛。
经过观察LiboSEO自己网站的百度蜘蛛IP并经过测试得出:IP范围在220.181.108.11 ~ 220.181.108.210 之间和123.125.71.11 ~ 123.125.71.161之间的都是真正的百度蜘蛛IP。这样记录下经常见的百度蜘蛛IP,方便一眼就看出日志里的是否真正的百度蜘蛛。
转载请注明来自逍遥博客@LiboSEO,原文地址:http://liboseo.com/946.html
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
- 《百度新闻源生存法则》之官方培训视频:什么是新闻源 2020-03-30
- 互联网产品运营基础_网站常见盈利模式(上) 2020-03-30
- 《百度新闻源生存法则》之官方培训视频:什么是新闻源 2020-03-29
- 《百度新闻源生存法则》之官方培训视频:什么是新闻源 2020-03-28
- 《百度新闻源生存法则》之官方培训视频:什么是新闻源 2020-03-27
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash