python爬虫学习基础教程,批量抓取美女图片!
2019-07-24 09:10:42来源:博客园 阅读 ()
python的抓取功能其实是非常强大的,当然不能浪费,呵呵。下面就与大家分享一个python写的美女图自动抓取程序吧!
其中用到urllib2模块和正则表达式模块。下面直接上代码:
1 用python批量抓取美女图片 2 3 #!/usr/bin/env python 4 #-*- coding: utf-8 -*- 5 #通过urllib(2)模块下载网络内容 6 import urllib,urllib2,gevent 7 #引入正则表达式模块,时间模块 8 import re,time 9 from gevent import monkey 10 11 ''' 12 在学习过程中有什么不懂得可以加我的python学习交流扣扣qun,934109170,群里有不错的学习教程、开发工具与电子书籍。 13 与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容。 14 ''' 15 monkey.patch_all() 16 17 def geturllist(url): 18 url_list=[] 19 print url 20 s = urllib2.urlopen(url) 21 text = s.read() 22 #正则匹配,匹配其中的图片 23 html = re.search(r'<ol.*</ol>', text, re.S) 24 urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I) 25 for i in urls: 26 url=i.group(1).strip()+str("jpg") 27 url_list.append(url) 28 return url_list 29 30 def download(down_url): 31 name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url) 32 print name 33 urllib.urlretrieve(down_url, "D:\\TEMP\\"+name) 34 35 def getpageurl(): 36 page_list = [] 37 #进行列表页循环 38 for page in range(1,700): 39 url="http://jandan.net/ooxx/page-"+str(page)+"#comments" 40 #把生成的url加入到page_list中 41 page_list.append(url) 42 print page_list 43 return page_list 44 if __name__ == '__main__': 45 jobs = [] 46 pageurl = getpageurl()[::-1] 47 #进行图片下载 48 for i in pageurl: 49 for (downurl) in geturllist(i): 50 jobs.append(gevent.spawn(download, downurl)) 51 gevent.joinall(jobs)
程序不长才45行,不是太难,大家可以研究下,这里我只是抛砖引玉,大家可以根据原理开发出其他的抓取程序,呵呵,自己想去吧。。
原文链接:https://www.cnblogs.com/xiaoyiq/p/11112322.html
如有疑问请与原作者联系
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
上一篇:常用面试题
下一篇:Python进阶:聊协程
- python3基础之“术语表(2)” 2019-08-13
- python3 之 字符串编码小结(Unicode、utf-8、gbk、gb2312等 2019-08-13
- Python3安装impala 2019-08-13
- 小白如何入门 Python 爬虫? 2019-08-13
- python_字符串方法 2019-08-13
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash