爬虫与反爬

目前遇到的反爬主要有以下几种

1. 访问频率
2. 登录限制
3. 通过Head封杀
4. JavaScript脚本动态获取网站数据
5. 验证码
6. IP限制
7. 网站内容反爬

1.访问频率

如果访问一个网站过于频繁，网站后台管理可能会针对IP封锁一段时间。那么解决的方法就是有间隔的进行控制时间爬取，比如搞个随机数进行sleep，sleep不同的间隔，那么网站就识别不出是爬虫了，千万不要间隔一样的时间，有规律的时间间隔访问很容易就被网站识别出是人为的啦，可以借用scrapy框架中的setting文件中的智能算法，采用没有规律的时间间隔访问。

2.登录限制

有些网站需要登录才能看到页面，如果进行爬虫的话，可以通过模拟登录就像浏览器一样，然后通过cookie记住登录状态，每次进行访问都携带者所需要的cookie过去，所以这种反爬机制也很容易解决。

3.通过Head封杀

我们进行网页爬取的时候，会通过HTTP请求，HTTP请求包含请求头和请求体，有些网站会根据请求头部Head信息进行反爬虫封杀IP，比如可以通过请求头部的User-Agent来判断是否为爬虫还是浏览器。每个网站有一个robots.txt，一般都在服务器的根目录下，比如下面百度的，这个文件的作用是允许不同爬虫可以爬取不同目录下的文件的权限。

当然我们爬虫不会傻傻的告诉网站我们是爬虫，一般都会通过修改User-Agent字段的值来伪造成浏览器。所以这种反爬机制也容易对付。

4.JavaScript脚本动态获取网站数据

现在网站大多都是通过这种方式来返回数据给用户，也是主要的反爬虫机制。网站利用ajax异步请求来获得数据，可以增加一定程度的爬虫难度。但不管怎么样，服务器能够返回数据给浏览器就说明浏览器要发送HTTP的请求，那么主要找到所请求的URL就可以得到想要的数据，不然就采用自动化selenium方式来获得数据。

5.验证码

这种方式难度就大了，验证码是专门用来区分人和机器的手段，目前能想到的一种方法是通过图像识别来识别出验证码。但是能够做到图像识别的，不是很容易的。

6.IP限制

网站可能会将IP永久封杀掉，但是还是想继续访问的话，只能通过改变ip咯，改变ip的话就得用到IP代理，不过ip代理分两种，一种是透明代理，网站可以知道真实ip，另一种是高匿代理，网站无法获得访问的真实IP。可以借用西祠代理网站提供的免费代理。不过有一些是已经失效的。

7.网站内容反爬

有一些网站将网站内容用只有人类可以接收的形式来呈现。比如将内容用图片的形式显示。这时候又得通过图像识别等方式啦，难度还是挺大的嘛！

总结：

不过怎么样，爬虫和反爬虫之间就是典型的攻防不同升级的斗争。

 

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有