第一个爬虫——豆瓣新书信息爬取

import requests
from bs4 import BeautifulSoup


#请求数据
url = 'http://book.douban.com/latest'
headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.121 Safari/537.36"}
data = requests.get(url,headers=headers)
#暂不输入print(data.text)

#解析数据
soup = BeautifulSoup(data.text, 'lxml')
#暂不输出print(soup)

#观察到网页上的书籍按左右两边分布，按照标签分别提取
books_left = soup.find('ul',{'class':'cover-col-4 clearfix'})
                       #这一步的find，查找所有标签为ul，类class为cover-col-4 clearfix的第一个内容
books_left = books_left.find_all('li')
                       #这里的find_all再次查找，查找上一步结果里标签为li的内容
books_right = soup.find('ul',{'class':'cover-col-4 pl20 clearfix'})#为L不为1
books_right = books_right.find_all('li')

books = list(books_left) + list(books_right)
'''
    find()查找第一个匹配结果出现的地方，find_all()找到所有匹配结果出现的地方。
    一般用find()找到BeautifulSoup对象内任何第一个标签入口。
'''

#对每一个图书区块进行相同的操作，获取图书信息
img_urls = []
titles = []
ratings = []
authors = []
details = []
for book in books:
    #图书封面图片url地址
    img_url = book.find_all('a')[0].find('img').get('src')  #[0]指提取第一个a标签的内容
    img_urls.append(img_url)
    
    #图书标题
    title = book.find_all('a')[1].get_text()  #get_text()方法：用来获取标签里面的文本内容，在括号里面加"strip=True"可以去除文本前后多余的空格
    titles.append(title)
    #print(title)

    #评价星级
    rating = book.find('p',{'class':'rating'}).get_text(strip=True)
    #rating = rating.replace('\n','').replace(' ','')，这一步的效果等同于在get_text里加上参数strip
    ratings.append(rating)

    #作者及出版信息
    author = book.find('p',{'class':'color-gray'}).get_text()
    author = author.replace('\n','').replace(' ','')
    authors.append(author)

    #图书简介
    detail = book.find_all('p')[2].get_text()
    #存疑！！detail = book.find('p',{'class':'detail'}).get_text()  报错：'NoneType' object has no attribute 'get_text'
    detail = detail.replace('\n','').replace(' ','')
    details.append(detail)

img_url = book.find_all('a')[0].find('img').get('src')
img_urls.append(img_url)

for a,b,c,d,e in list(zip(img_urls,titles,ratings,authors,details)):
    print("封面图片链接：{0}\n书名：{1}   评分：{2}\n作者及出版信息：{3}\n简介：{4}\n\n".format(a,b,c,d,e))

封面图片链接：https://img3.doubanio.com/view/subject/m/public/s32289202.jpg
书名：白日漫游   评分：8.0
作者及出版信息：远子/广西师范大学出版社/2019-5
简介：青年作家远子最新力作，以十四篇彼此独立而又互有呼应的短篇小说，刻画在大都市挣扎求生的年轻人，描述一种渴望自由而又无往不在枷锁之中的生活状态。


封面图片链接：https://img1.doubanio.com/view/subject/m/public/s32281237.jpg
书名：不识字的人   评分：9.5
作者及出版信息：[匈]雅歌塔·克里斯多夫/上海人民出版社/2019-4
简介：28个虚构故事和1部自传体小说。《恶童日记》作者雅歌塔流亡记忆的隐秘回响，冷峻精简的语言质感，道尽暗涌的记忆与真实的人生痛感。


封面图片链接：https://img1.doubanio.com/view/subject/m/public/s32305167.jpg
书名：为何，以及如何谋划一场火灾   评分：8.7
作者及出版信息：[美]杰西·鲍尔（JesseBall）/中信出版集团/2019-4
简介：露西娅的父亲死了，母亲进了精神病院，她和姑妈住在别人的车库里。她又一次被学校勒令退学……在新学校，她遇到一个神秘组织，一群可以改变生活的人。


封面图片链接：https://img3.doubanio.com/view/subject/m/public/s32304855.jpg
书名：呼啸山庄   评分：9.2
作者及出版信息：【英】爱米丽·勃朗特/浙江文艺出版社/2019-5
简介：呼啸山庄里的三代恩怨。爱米丽·勃朗特名著新版。


封面图片链接：https://img1.doubanio.com/view/subject/m/public/s32323469.jpg
书名：苔   评分：8.6
作者及出版信息：周恺/楚尘文化/中信出版集团/2019-5
简介：一个晚清家族，一出袍哥传奇，一场历史风暴，一曲时代挽歌。在“三千年未有之大变局”下，再现了蜀中各个阶层的人物命运。


封面图片链接：https://img1.doubanio.com/view/subject/m/public/s32295228.jpg
书名：推理时钟   评分：8.6
作者及出版信息：[日]贵志祐介/新星出版社/2019-5-1
简介：贵志祐介的推理短篇小说集，共分为四个短篇，主要描写了侦探榎本与犯罪者的头脑战。本格密室推理佳作，在日本年度推理榜单上屡次上榜。