13行代码实现爬取豆瓣250电影榜单

原理很简单，通过发送resquest请求获取服务器的response，再使用xpath提取其中我们需要的数据，然后保存到文件中。

先看看我爬取的结果：

首先，需要用到的模块有两个：

?requests

?lxml

• 第一步，我们先用Chrome的检查分析豆瓣250页面的http请求报头（Request URL）：?

让我们把注意力放在箭头所指的start = 0处，当start = 0时，意味着发送的是第一页榜单的URL请求

豆瓣设定每页榜单只显示25部电影，故共有10页，每页的Resquest URL也不一样。    

不过，每一页的Resquest URL都有一个很明显的规律，而这个规律帮了我们大忙。

让我们再看一张图：

这是250榜单的最后一页的URL请求，可以看到start的值已经变为了从第一页的0增长到了225

豆瓣250榜单共有10页，到此，规律已经很明显了，即：

    每增长一页，start的值就增加25。

• 第二步，可以开始发送请求了

    我们在上一步得到了规律，start 在每次请求中都 +=25

    所以我们可以写一 个 for 循环，在循环内发送请求，并在其中定义一个变量 count ，使它在每次循环结束都 +=25，

    先用 str.format(count) 函数来把count 赋给URL字符串，再发送请求

• 第三步，接收response，提取我们需要的数据

    提取数据时，我用的是 etree.xpath() 函数，在形参输入xpath语言提取需要的数据标签即可，然后保存。

 

上代码↓

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有