scrapy中pipeline的一点综合知识

初次学习scrapy ,觉得spider代码才是最重要的，越往后学，发现pipeline中的代码也很有趣，

今天顺便把pipeline中三种储存方法写下来，算是对自己学习的一点鼓励吧,也可以为后来者的学习提供

绵薄之力，写的不怎么好，谅解

 

爬虫7部曲，虽然我不知道其他人是规划的

1.创建工程

scrapy startproject xiaohuawang

2.进入xiaohuawang目录 ，命名爬虫名和爬取的域名

cd xiaohuawang

scrapy genspider xhwang

此时在能看到如下结构

scrapy.cfg  项目的主配置信息，用来部署scrapy时使用，爬虫相关的配置信息在settings.py文件中。

items.py    设置数据存储模板，用于结构化数据，

pipelines    数据处理行为，如：一般结构化的数据持久化

settings.py 配置文件，如：递归的层数、并发数，延迟下载等。

spiders      爬虫目录，如：创建文件，编写爬虫规则

xhwang.py 爬虫主要代码

3、编写item  (数据模板) 这里只编写两项

4、编写爬虫，爬虫主体代码还是挺容易理解的

5、编写pipeline（重点）此处编写了三种 （保存到mysql 、保存到json文件、以及将图片存储到本）

6、settings设置，为了使三种pipeline均生效需要设置如下 数字越小优先级越高

7、运行scrapy crawl xhwang

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有