首页 > > 网络编程 > 其它 >

豆瓣读书爬虫（requests + re）

2018-10-29 15:30:12来源：博客园阅读 ()

　　前面整理了一些爬虫的内容，今天写一个小小的栗子，内容不深，大佬请忽略。内容包括对豆瓣读书网站中的书籍的基本信息进行爬取，并整理，便于我们快速了解每本书的中心。

一、爬取信息

　　每当爬取某个网页的信息时，首先就是要进入到网页中，看看有没有什么爬取过程中的限制，可以查看网站的robots协议。就是在原网址的后面加上"/robots.txt"。本网站中得到的结果是：

User-agent: *
Disallow: /subject_search
Disallow: /search
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Sitemap: http://www.douban.com/sitemap_index.xml
Sitemap: http://www.douban.com/sitemap_updated_index.xml

User-agent: Wandoujia Spider
Disallow: /

　　根据上面的协议可以看到，并没有禁止一些普通的爬虫，就像我们现在这样，仅仅爬取一点点的东西来供自己使用。那么，我们就可以使用之前文章中提到的结构来实现这个爬虫，首先导入函数库，然后套用框架，传入地址，返回页面内容。这点内容在这篇博客中写到了，这里就不详细解释了。到此，网页的爬取就结束了，接下来就剩下从这些东西中拿到我们想要的内容。

 1 import requests
 2 
 3 url = "https://book.douban.com/"
 4 def getHtmlText(url):
 5     headers = {
 6         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
 7     }
 8     try:
 9         response = requests.get(url, headers=headers)
10         response.raise_for_status()
11         response.encoding = response.apparent_encoding
12         return response.text
13     except:
14         print("Fail")
15         return
16     
17 html = getHtmlText(url)

二、信息处理

　　上面提取的的网页代码包括很多东西，像展示出来的页面的各种框架等等，这些对我们来说都是没有用的，而且通过正则来提取信息，如果在整个页面中直接提取的话，不免会出现一些巧合，使得没有提取到真正想要的内容，而且pattern一样的其他内容，所以，首先，把要把关键的块先拿出来，再一点一点的取出具体信息。

1 import re
2 
3 re_books = re.compile('<ul class="list-col list-col5 list-express slide-item">(.*?)</ul>', re.S)  # re.S也在正则表达式的博客中写到了，是为了让“.”可以匹配换行符
4 content = re_books.search(html)

　　通过检查网页源代码，找到可以取出主要信息的匹配规则，将中间的内容全部获得。剩下的就是通过正则来提取每本书的每项信息。这个在于自己观察他们的规律，寻找匹配的规则。信息的标签不止一个，最后选择了使用pandas来整理数据，pandas的DataFrame数据类型可以很方便的存储二维结构，而且pandas有将数据之间存储成excel格式的方法（DataFrame.to_excel()）。

 1 import pandas as pd  # 这是大部分人的习惯，pandas比较长，而且在数据处理中经常使用，所以用pd两个字母来代表
 2 
 3 # 首先，先创建一个DataFrame，之后遍历每本书籍的信息，存成DataFrame格式拼接在他的后面就可以了
 4 data = pd.DataFrame(columns=['title', 'author', 'abstract', 'href', 'publisher'])
 5 
 6 re_book = re.compile('<li class="">(.*?)</li>', re.S)
 7 bookList = re_book.findall(content[0])  # findall找到所有的书籍信息，返回为列表格式
 8 for book in bookList:
 9     count = 0
10     count += 1
11     href = re.search('href="(.*?)"', book)  # .*? 是指以非贪婪的模式匹配，()是分组，通过group方便取出其中的信息
12     href = href.group(1)
13     title = re.search('<h4 class="title">(.*?)</h4>', book, re.S)
14     title = title.group(1).split()[0]
15     author = re.search('<span class="author">(.*?)</span>', book, re.S)
16     author = ' '.join(author.group(1).split())
17     publisher = re.search('<span class="publisher">(.*?)</span>', book, re.S)
18     publisher = ' '.join(publisher.group(1).split())
19     abstract = re.search('<p class="abstract">(.*?)</p>', book, re.S)
20     abstract = ' '.join(abstract.group(1).split())
21     abstract = re.sub('【内容简介】', '', abstract)  # 慢慢调试中发现，取得的信息不太好看，其中在第一本数的主要内容开头有这么几个字，就用re的sub方法替换掉了
22     new = pd.DataFrame({"title":title, "author":author, "abstract":abstract, "href":href, "publisher":publisher}, index=["0"])
23     data = data.append(new, ignore_index=True)
24 data.to_excel('bookInfo.xls', encoding='utf-8')