python爬虫学习基础教程,批量抓取美女图片!

2019-07-24 09:10:42来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

python的抓取功能其实是非常强大的,当然不能浪费,呵呵。下面就与大家分享一个python写的美女图自动抓取程序吧!

其中用到urllib2模块和正则表达式模块。下面直接上代码:

 1 用python批量抓取美女图片
 2  
 3 #!/usr/bin/env python
 4 #-*- coding: utf-8 -*-
 5 #通过urllib(2)模块下载网络内容
 6 import urllib,urllib2,gevent
 7 #引入正则表达式模块,时间模块
 8 import re,time
 9 from gevent import monkey
10  
11 '''
12 在学习过程中有什么不懂得可以加我的python学习交流扣扣qun,934109170,群里有不错的学习教程、开发工具与电子书籍。
13 与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容。
14 '''
15 monkey.patch_all()
16  
17 def geturllist(url):
18     url_list=[]
19     print url       
20     s = urllib2.urlopen(url)
21     text = s.read()
22     #正则匹配,匹配其中的图片
23     html = re.search(r'<ol.*</ol>', text, re.S)
24     urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
25     for i in urls:
26         url=i.group(1).strip()+str("jpg")
27         url_list.append(url)
28     return url_list
29  
30 def download(down_url):
31     name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
32     print name
33     urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)
34  
35 def getpageurl():
36     page_list = []
37     #进行列表页循环
38     for page in range(1,700):
39         url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
40         #把生成的url加入到page_list中
41         page_list.append(url)
42     print page_list
43     return page_list
44 if __name__ == '__main__':
45     jobs = []
46     pageurl = getpageurl()[::-1]
47     #进行图片下载
48     for i in pageurl:
49         for (downurl) in geturllist(i):
50             jobs.append(gevent.spawn(download, downurl))
51     gevent.joinall(jobs)

程序不长才45行,不是太难,大家可以研究下,这里我只是抛砖引玉,大家可以根据原理开发出其他的抓取程序,呵呵,自己想去吧。。


原文链接:https://www.cnblogs.com/xiaoyiq/p/11112322.html
如有疑问请与原作者联系

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:常用面试题

下一篇:Python进阶:聊协程