Scrapy 基础-01

2018-12-25 08:24:53来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

Scrapy

Scrapy 是一个位了爬取网站数据,提取数据结构性数据而编写的应用框架,少量代码,就能快速爬取,使用了Twisted 异步网络框架,加快我们下载速度!

Image

 

Image

工作流程

制作 Scrapy 爬虫 一共需要4步:

    新建项目 (scrapy startproject xxx):新建一个新的爬虫项目
   明确目标 (编写items.py):明确你想要抓取的目标
   制作爬虫 (spiders/xxspider.py):制作爬虫开始爬取网页
   存储内容 (pipelines.py):设计管道存储爬取内容
 
 
  Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。
  Scheduler(调度器): 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。
  Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,
  Spider(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器).
  Item Pipeline(管道):它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方。
  Downloader Middlewares(下载中间件):你可以当作是一个可以自定义扩展下载功能的组件。
  Spider Middlewares(Spider中间件):你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)

Scrapy的运作流程

代码写好,程序开始运行...
   1 引擎:Hi!Spider, 你要处理哪一个网站?
  2 Spider:老大要我处理xxxx.com。
  3 引擎:你把第一个需要处理的URL给我吧。
  4 Spider:给你,第一个URL是xxxxxxx.com。
  5 引擎:Hi!调度器,我这有request请求你帮我排序入队一下。
  6 调度器:好的,正在处理你等一下。
  7 引擎:Hi!调度器,把你处理好的request请求给我。
  8 调度器:给你,这是我处理好的request
  9 引擎:Hi!下载器,你按照老大的下载中间件的设置帮我下载一下这个request请求
  10 下载器:好的!给你,这是下载好的东西。(如果失败:sorry,这个request下载失败了。然后引擎告诉调度器,这个request下载失败了,你 记录一下,我们待会儿再下载)
  11 引擎:Hi!Spider,这是下载好的东西,并且已经按照老大的下载中间件处理过了,你自己处理一下(注意!这儿responses默认是交给def parse()这个函数处理的)
  12 Spider:(处理完毕数据之后对于需要跟进的URL),Hi!引擎,我这里有两个结果,这个是我需要跟进的URL,还有这个是我获取到的Item数据。
  13 引擎:Hi !管道 我这儿有个item你帮我处理一下!调度器!这是需要跟进URL你帮我处理下。然后从第四步开始循环,直到获取完老大需要全部信息。
  14 管道调度器:好的,现在就做!
注意!只有当调度器中不存在任何request了,整个程序才会停止,(也就是说,对于下载失败的URL,Scrapy也会重新下载。)
 

入门实例爬取(腾讯招聘)

准备环境:

1)创建项目
pip install scrapy
scrapy startproject myspider
 
2)创建仪个爬虫
scrapy genspider itcast(爬虫名字)  "itcast.cn"(限制网站的范围)
 
3)启动爬虫
scrapy crawl itcast
 

代码:

 1 ###设置item 字段###
 2 import scrapy
 3 
 4 class MyspiderItem(scrapy.Item):
 5     title = scrapy.Field()
 6     position = scrapy.Field()
 7     time = scrapy.Field()
 8     address = scrapy.Field()
 9 
10 ###设置spiders 目录下的爬虫脚本,可以设置多个##
11 vim spiders/itcast.py
12 # -*- coding: utf-8 -
13 import scrapy
14 import sys
15 #之前设置好的items 导入进来
16 from myspider.items import MyspiderItem
17 
18 class ItcastSpider(scrapy.Spider):
19     #spider.name 可以用于判断
20     name = 'itcast'
21     #限制范围
22     allowed_domains = ['tencent.com']
23     start_urls = ['https://hr.tencent.com/position.php?lid=2218&tid=87']
24     #parse方法不能修改,必须有
25     def parse(self, response):
26         tb_list = response.xpath("//table[@class='tablelist']/tr")[1:-1]
27         for tr in tb_list:
28              #字典对象
29             item = MyspiderItem()
30             item['title'] = tr.xpath("./td[1]/a/text()").extract_first()
31             item['position'] = tr.xpath("./td[2]/text()").extract_first()
32             item['address'] = tr.xpath("./td[4]/text()").extract_first()
33             item['time'] = tr.xpath("./td[5]/text()").extract_first()
34             yield item
35         #翻页
36         next_url = response.xpath("//a[@id='next']/@href").extract_first()
37         print(next_url)
38         if next_url != "javascript:;":
39             next_url = "https://hr.tencent.com/" +next_url
40             print(next_url)
41             #下一页请求,scrapy封装好的request请求
42             yield scrapy.Request(
43                 next_url,
44                 callback=self.parse
45               )
46             print("="*30)
47 
48 ##设置存储pipeline##
49 vim pipelines.py
50 # -*- coding: utf-8 -*-
51 import json
52 class MyspiderPipeline(object):
53     def process_item(self,item,spider):
54         #有判断,以后可以写多个piiline,来存储
55         if spider.name == "itcast":
56            with open('temp.txt','a') as f:
57               #item 是一个对象,要转成字典!
58               json.dump(dict(item),f,ensure_ascii=False,indent=2)
59 
60 
61 ##设置setting 配置##
62 开启pipelines,可以设置多个
63 
64 ITEM_PIPELINES = {
65     'myspider.pipelines.MyspiderPipeline': 300,
66     'myspider.pipelines.XXXXPipeline': 300,
67 }
68 #不显示日志
69 LOG_LEVEL = "WARNING"
70 
71 ##浏览器头
72 USER_AGENT = 'Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1'

 

 

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:MRO + super面试题(详解)

下一篇:使用缓存方式优化递归函数与lru_cache