python+bs4+urllib
2018-06-18 00:15:51来源:未知 阅读 ()
# -*- coding: utf-8 -*- # # # from bs4 import BeautifulSoup import urllib2 import sys reload(sys) sys.setdefaultencoding('utf-8') ###url = 'https://www.qidian.com/search?kw=%E7%AC%91%E5%82%B2%E6%B1%9F%E6%B9%96' # # # class main(): def __init__(self): pass def search(self): '''查询函数''' ####输入关键字 ####访问url,获取信息 ####存储信息 print '-'*80 #print '--开始输入关键字: '.decode('utf-8').encode('gbk') #key = raw_input('key: ') key = urllib2.quote('笑傲江湖') url = 'https://www.qidian.com/search?kw='+key print '访问的网址是--'.decode('utf-8').encode('gbk')+url #####开始访问 self.spider(url) def spider(self, url): print '-'*80 print '开始访问网页'.decode('utf-8').encode('gbk') print '-'*80 response = urllib2.urlopen(url).read() obj = BeautifulSoup(response,'html.parser') div_list = obj.find('div',{'class':'book-img-text'}).find_all('li') for v in div_list: name = v.find('h4').find('a').text intro = v.find('div',{'class':'book-mid-info'}).find('p',{'class':'intro'}).text print intro def test(self): print urllib2.quote('笑傲江湖') if __name__ == '__main__': book = main() book.search()
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
- python3 之 字符串编码小结(Unicode、utf-8、gbk、gb2312等 2019-08-13
- 解决python中的Non-UTF-8 code starting with ‘\xbs4’ in 2019-07-24
- 读文件时出现这个错误 'utf-8' codec can&a 2019-07-24
- python 猜字游戏 2019-05-23
- 使用scrapy爬取suning 2019-05-13
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash