技术上的鬼扯淡:屏蔽百度爬虫的正确方法
2019-03-10 12:08:50来源: 月光博客,www.williamlong.info 阅读 ()
在百度C2C产品“百度有啊”即将上线的时候,淘宝网站曾经屏蔽百度搜索爬虫,禁止百度搜索引擎抓取淘宝网站的网页内容,淘宝官方的解释是“杜绝不良商家欺诈”。
在技术层面,淘宝屏蔽百度的方法是,在网站的robots.txt文件中加上如下内容:
User-agent: Baiduspider Disallow: / |
但实际上这种方法并不能完全屏蔽百度的爬虫,至今在百度上输入site:taobao.com还是可以看到内容,要不要索引网站,还是由百度说了算,要是遵守robots协议,那才不会索引,因此要想完全屏蔽百度的爬虫,需要在.htaccess中加入一些语句才可以,下面介绍两种方法。
方法1:
RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC] RewriteRule .* - [F] |
方法2:
SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot <Limit GET POST> |
当然,对于普通中文网站来说,还是不建议屏蔽百度的爬虫,通常情况下做一些大型的英文网站,才有必要这么做,以节省流量。
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
上一篇:谈网站快速收录的技巧
下一篇:如何才能有效的递增自己站的流量
- 如何从技术上“绞杀”盗链者? 2019-07-15
- 打击“诱导性广告”!谷歌屏蔽带欺骗性下载按钮站点 2019-04-08
- 这个小插件,帮助站长拒绝为屏蔽广告的用户服务 2019-04-08
- 打击“色情报复” 谷歌搜索将屏蔽似传裸照 2019-04-08
- 搜索结果中Emoji表情泛滥成灾 谷歌:将屏蔽 2019-04-08
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash