最详细爬虫入门教程!花半小时你应该就能去爬一…

2018-07-17 04:06:15来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

最详细爬虫入门教程!花半小时你应该就能去爬一些小东西了!

 

爬虫对目标网页爬取的过程可以参考下面黑色文字部分:

  • 首先访问初始url,获取其相应内容对相应内容进行解析,提取感兴趣的信息和新的链接将上一步提取到的数据存储,将获取到的链接去重并存储至仓库从url仓库获得一条未爬取过的url,开始新的循环
最详细爬虫入门教程!花半小时你应该就能去爬一些小东西了!

 

图片中由黑色文字组成的循环应该很好理解,那么具体到编程上来说,则必须将上面的流程进行抽象,我们可以编写几个元件,每个元件完成一项功能,上图中的蓝底白字就是对这一流程的抽象:

最详细爬虫入门教程!花半小时你应该就能去爬一些小东西了!

 

最详细爬虫入门教程!花半小时你应该就能去爬一些小东西了!

 

爬虫调度器将要完成整个循环,下面写出python下爬虫调度器的程序:

最详细爬虫入门教程!花半小时你应该就能去爬一些小东西了!

 

存储器、下载器、解析器和url管理器!

首先,还是来看看下面这张图,URL管理器到底应该具有哪些功能?

最详细爬虫入门教程!花半小时你应该就能去爬一些小东西了!

 

最详细爬虫入门教程!花半小时你应该就能去爬一些小东西了!

 

最详细爬虫入门教程!花半小时你应该就能去爬一些小东西了!

 

下面来说说下载器。

下载器的作用就是接受URL管理器传递给它的一个url,然后把该网页的内容下载下来。python自带有urllib和urllib2等库(这两个库在python3中合并为urllib),它们的作用就是获取指定的网页内容。不过,在这里我们要使用一个更加简洁好用而且功能更加强大的模块:Requests(查看文档)。

Requests并非python自带模块,需要安装。关于其具体使用方法请查看相关文档,在此不多做介绍。

下载器接受一个url作为参数,返回值为下载到的网页内容(格式为str)。下面就是一个简单的下载器,其中只有一个简单的函数download():

最详细爬虫入门教程!花半小时你应该就能去爬一些小东西了!

 

在requests请求中设置User-Agent的目的是伪装成浏览器,这是一只优秀的爬虫应该有的觉悟。

URL管理器和下载器相对简单!剩下的下次介绍,希望能帮到零基础小白的你!

进群:125240963   即可获取数十套PDF!

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:python全栈开发-前方高能-函数进阶

下一篇:LeetCode子域名访问计数-Python3.7<五>