Scrapy网络爬虫框架实际案例讲解，Python爬虫原…

 

创建项目

Scrapy爬虫框架提供一个工具来创建项目，生成的项目中预置了一些文件，用户需要在这些文件中添加python代码。

 

 

scrapy.cfg是项目的配置文件

用户自己写的spider要放在spiders目录下面，一个spider类似

 

 

name属性很重要，spider对应不同的name，start_urls是spider抓取网页的起始点，可以包括多个url。parse方法是spider抓到一个网页以后默认调用的callback，避免使用这个名字来定义自己的方法。

当spider拿到url的内容以后，会调用parse方法，并且传递一个response参数给它，response包含了抓到的网页的内容，在parse方法里，你可以从抓到的网页里面解析数据。上面的代码只是简单地把网页内容保存到文件。

 

 

 

 

 

 

 

 

为了实现这一点我们可以在parse方法里面提取我们需要的链接，然后构造一些Request对象，并且把他们返回，scrapy会自动的去抓取这些链接。python代码类似：

 

 

 

 

为了让这样的工作更容易，scrapy提供了另一个spider基类，利用它我们可以方便的实现自动抓取链接. 我们要用到CrawlSpider

 

 

 

 

 

 

如果item不符合要求，那么就抛一个异常，这个item不会被输出到json文件中。

要使用pipelines，我们还需要修改settings.py

 

 

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有