掌握这8个爬取网站常用技巧,再也没有能阻挡你爬…

2018-08-10 11:26:51来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

python作为一门高级编程语言,它的定位是优雅、明确和简单。我学用python差不多一年时间了,用得最多的还是各类爬虫脚本:写过抓代理本机验证的脚本,写过论坛中自动登录自动发贴的脚本,写过自动收邮件的脚本,写过简单的验证码识别的脚本。

掌握这8个爬取网站常用技巧,再也没有能阻挡你爬取数据的网站了

 

这些脚本有一个共性,都是和web相关的,总要用到获取链接的一些方法,故累积了不少爬虫抓站的经验,在此总结一下,那么以后做东西也就不用重复劳动了。

基本抓取网页

get方法

掌握这8个爬取网站常用技巧,再也没有能阻挡你爬取数据的网站了

 

Post方法

掌握这8个爬取网站常用技巧,再也没有能阻挡你爬取数据的网站了

 

2.使用代理服务器

这在某些情况下比较有用,比如IP被封了,或者比如IP访问的次数受到限制等等。

掌握这8个爬取网站常用技巧,再也没有能阻挡你爬取数据的网站了

 

Cookies处理

掌握这8个爬取网站常用技巧,再也没有能阻挡你爬取数据的网站了

 

是的没错,如果想同时用代理和cookie,那就加入proxy_support然后operner改为

opener=urllib2.build_opener(proxy_support, cookie_support, urllib2.HTTPHandler)

4.伪装成浏览器访问

某些网站反感爬虫的到访,于是对爬虫一律拒绝请求。这时候我们需要伪装成浏览器,这可以通过修改http包中的header来实现:

掌握这8个爬取网站常用技巧,再也没有能阻挡你爬取数据的网站了

 

5、页面解析

对于页面解析最强大的当然是正则表达式,这个对于不同网站不同的使用者都不一样,就不用过多的说明。

掌握这8个爬取网站常用技巧,再也没有能阻挡你爬取数据的网站了

 

6.验证码的处理

碰到验证码咋办?这里分两种情况处理:

google那种验证码, 没办法。

简单的验证码:字符个数有限,只使用了简单的平移或旋转加噪音而没有扭曲的,这种还是有可能可以处理的,一般思路是旋转的转回来,噪音去掉,然后划分单个字符,划分好了以后再通过特征提取的方法(例如PCA)降维并生成特征库,然后把验证码和特征库进行比较。这个比较复杂,这里就不展开了,具体做法请弄本相关教科书好好研究一下。

7. gzip/deflate支持

现在的网页普遍支持gzip压缩,这往往可以解决大量传输时间,以VeryCD的主页为例,未压缩版本247K,压缩了以后45K,为原来的1/5。这就意味着抓取速度会快5倍。

然而python的urllib/urllib2默认都不支持压缩,要返回压缩格式,必须在request的header里面写明'accept-encoding',然后读取response后更要检查header查看是否有'content-encoding'一项来判断是否需要解码,很繁琐琐碎。如何让urllib2自动支持gzip, defalte呢?

其实可以继承BaseHanlder类,然后build_opener的方式来处理:

掌握这8个爬取网站常用技巧,再也没有能阻挡你爬取数据的网站了

 

8、多线程并发抓取

单线程太慢的话,就需要多线程了,这里给个简单的线程池模板这个程序只是简单地打印了1-10,但是可以看出是并发的。

虽然说Python的多线程很鸡肋,但是对于爬虫这种网络频繁型,还是能一定程度提高效率的。

9. 总结

阅读Python编写的代码感觉像在阅读英语一样,这让使用者可以专注于解决问题而不是去搞明白语言本身。Python虽然是基于C语言编写,但是摒弃了C中复杂的指针,使其变得简明易学。并且作为开源软件,Python允许对代码进行阅读,拷贝甚至改进。这些性能成就了Python的高效率,有"人生苦短,我用Python"之说,是一种十分精彩又强大的语言。

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:解决xlsxwriter的format覆盖问题

下一篇:mac系统默认python3.6