豆瓣读书爬虫(requests + re)

2018-10-29 15:30:12来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

  前面整理了一些爬虫的内容,今天写一个小小的栗子,内容不深,大佬请忽略。内容包括对豆瓣读书网站中的书籍的基本信息进行爬取,并整理,便于我们快速了解每本书的中心。

一、爬取信息

  每当爬取某个网页的信息时,首先就是要进入到网页中,看看有没有什么爬取过程中的限制,可以查看网站的robots协议。就是在原网址的后面加上"/robots.txt"。本网站中得到的结果是:

User-agent: *
Disallow: /subject_search
Disallow: /search
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Sitemap: http://www.douban.com/sitemap_index.xml
Sitemap: http://www.douban.com/sitemap_updated_index.xml

User-agent: Wandoujia Spider
Disallow: /

  根据上面的协议可以看到,并没有禁止一些普通的爬虫,就像我们现在这样,仅仅爬取一点点的东西来供自己使用。那么,我们就可以使用之前文章中提到的结构来实现这个爬虫,首先导入函数库,然后套用框架,传入地址,返回页面内容。这点内容在这篇博客中写到了,这里就不详细解释了。到此,网页的爬取就结束了,接下来就剩下从这些东西中拿到我们想要的内容。

 1 import requests
 2 
 3 url = "https://book.douban.com/"
 4 def getHtmlText(url):
 5     headers = {
 6         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
 7     }
 8     try:
 9         response = requests.get(url, headers=headers)
10         response.raise_for_status()
11         response.encoding = response.apparent_encoding
12         return response.text
13     except:
14         print("Fail")
15         return
16     
17 html = getHtmlText(url)

二、信息处理

   上面提取的的网页代码包括很多东西,像展示出来的页面的各种框架等等,这些对我们来说都是没有用的,而且通过正则来提取信息,如果在整个页面中直接提取的话,不免会出现一些巧合,使得没有提取到真正想要的内容,而且pattern一样的其他内容,所以,首先,把要把关键的块先拿出来,再一点一点的取出具体信息。

1 import re
2 
3 re_books = re.compile('<ul class="list-col list-col5 list-express slide-item">(.*?)</ul>', re.S)  # re.S也在正则表达式的博客中写到了,是为了让“.”可以匹配换行符
4 content = re_books.search(html)

  通过检查网页源代码,找到可以取出主要信息的匹配规则,将中间的内容全部获得。剩下的就是通过正则来提取每本书的每项信息。这个在于自己观察他们的规律,寻找匹配的规则。信息的标签不止一个,最后选择了使用pandas来整理数据,pandas的DataFrame数据类型可以很方便的存储二维结构,而且pandas有将数据之间存储成excel格式的方法(DataFrame.to_excel())。

 1 import pandas as pd  # 这是大部分人的习惯,pandas比较长,而且在数据处理中经常使用,所以用pd两个字母来代表
 2 
 3 # 首先,先创建一个DataFrame,之后遍历每本书籍的信息,存成DataFrame格式拼接在他的后面就可以了
 4 data = pd.DataFrame(columns=['title', 'author', 'abstract', 'href', 'publisher'])
 5 
 6 re_book = re.compile('<li class="">(.*?)</li>', re.S)
 7 bookList = re_book.findall(content[0])  # findall找到所有的书籍信息,返回为列表格式
 8 for book in bookList:
 9     count = 0
10     count += 1
11     href = re.search('href="(.*?)"', book)  # .*? 是指以非贪婪的模式匹配,()是分组,通过group方便取出其中的信息
12     href = href.group(1)
13     title = re.search('<h4 class="title">(.*?)</h4>', book, re.S)
14     title = title.group(1).split()[0]
15     author = re.search('<span class="author">(.*?)</span>', book, re.S)
16     author = ' '.join(author.group(1).split())
17     publisher = re.search('<span class="publisher">(.*?)</span>', book, re.S)
18     publisher = ' '.join(publisher.group(1).split())
19     abstract = re.search('<p class="abstract">(.*?)</p>', book, re.S)
20     abstract = ' '.join(abstract.group(1).split())
21     abstract = re.sub('【内容简介】', '', abstract)  # 慢慢调试中发现,取得的信息不太好看,其中在第一本数的主要内容开头有这么几个字,就用re的sub方法替换掉了
22     new = pd.DataFrame({"title":title, "author":author, "abstract":abstract, "href":href, "publisher":publisher}, index=["0"])
23     data = data.append(new, ignore_index=True)
24 data.to_excel('bookInfo.xls', encoding='utf-8')

  我们可以看一下得到的结果,pandas直接输出的结果也很规整,这里存储到了excel中,起初存到csv文件中,但是乱码了,后面没多想就换成了excel,稍后我再去看看怎么回事,或者有读者清楚地,可以教教博主。

  图中有些东西没有展示出来,但是大家都懂对吧。可以自己试一试。当然这个爬虫很浅,仅得到这点的数据,后面的内容就交给你们了,可以试着往深里点一点,原理都是大同小异的,学习爬虫在平时就要随时发现可以挖掘的东西,慢慢尝试。

 

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:Django基础篇--用户权限管理和组管理

下一篇:【16】有关python面向对象编程