Python 爬虫练习项目——异步加载爬取
2018-06-22 00:50:53来源:未知 阅读 ()
项目代码
from bs4 import BeautifulSoup import requests url_prefix = 'https://knewone.com/discover?page=' infos = [] # 获取单个页面数据 def getAPage(url,data = None): web_data = requests.get(url) soup = BeautifulSoup(web_data.text,'lxml') # print(soup) images = soup.select('header > a > img') titles = soup.select('section > h4 > a') links = soup.select('a.cover-inner') likes = soup.select('span.fanciers_count') if data == None: for image,title,link,like in zip(images,titles,links,likes): data = { 'image':image.get('src'), 'title':title.get_text(), 'link':'https://knewone.com' + link.get('href'), 'like':int(like.get_text()) } print(data) infos.append(data) # 获取多个加载的数据 def getMorePages(start,end): for url_suffix in range(start,end): getAPage(url_prefix + str(url_suffix)) print('---------------已经获取{}条数据---------------'.format(len(infos)), sep='\n') # 获取点赞排名前几的数据 def getInfosByLikes(order,infos =infos): infos = sorted(infos,key= lambda info:info['like'],reverse = True) for info in infos[:order]: print(info['like'],info['title'],info['image'],info['link']) getMorePages(1,4) getInfosByLikes(5)
项目特点:
【转载】同步加载、异步加载、延迟加载
爬取的网站链接
KnewOne
需要下载代码的可以到我的GitHub上下载 https://github.com/FightingBob/-Web-Crawler-training 如果觉得可以,请给我颗star鼓励一下,谢谢!
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
下一篇:logging模块详解
- python3基础之“术语表(2)” 2019-08-13
- python3 之 字符串编码小结(Unicode、utf-8、gbk、gb2312等 2019-08-13
- Python3安装impala 2019-08-13
- 小白如何入门 Python 爬虫? 2019-08-13
- python_字符串方法 2019-08-13
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash