scrapy-redis 架构,Scrapy 和 scrapy-redis 的区别

一、scrapy-redis 架构

image
如上图所示示,scrapy-redis 在 scrapy 的架构上增加了 redis,基于 redis 的特性拓展了如下组件:

1、Scheduler :

Scrapy 改造了 python 本来的 collection.deque(双向队列)形成了⾃⼰的Scrapy
queue(https://github.com/scrapy/que...
,但是 Scrapy 多个 spider 不能共享待爬取队列 Scrapy queue, 即 Scrapy 本 身不⽀持爬⾍分布式,scrapy-redis 的解决是把这个 Scrapy queue 换成 redis数 据库(也是指 redis 队列),从同⼀个 redis-server 存放要爬取的 request, 便 能让多个 spider 去同⼀个数据库⾥读取。

Scrapy 中跟“待爬队列”直接相关的就是调度器 Scheduler ,它负责对新的request 进⾏⼊列操作(加⼊Scrapy queue),取出下⼀个要爬取的 request(从 Scrapy queue 中取出)等操作。它把待爬队列按照优先级建⽴了⼀个字典结构,⽐如:

{
优先级 0 : 队列
0 优先级 1 : 队 列 1 优先级 2 :
队列 2 }

然后根据 request 中的优先级,来决定该⼊哪个队列,出列时则按优先级较⼩的优先出列。为了管理这个⽐较⾼级的队列字典,Scheduler 需要提供⼀系列 的⽅法。但是原来的 Scheduler 已经⽆法使⽤,所以使⽤Scrapy-redis 的scheduler 组件。

2、Duplication Filter
Scrapy 中⽤集合实现这个 request 去重功能,Scrapy 中把已经发送的 request指纹放⼊到⼀个集合中,把下⼀个 request 的指纹拿到集合中⽐对,如果该指纹存在于集合中,说明这个 request 发送过了,如果没有则继续操作。这个核⼼的判重功能是这样实现的:

def request_seen(self, request): # self.request_figerprints 就是⼀个指纹集合
fp = self.request_fingerprint(request)
# 这就是判重的核⼼操作
if fp in self.fingerprints:
return True
self.fingerprints.add(fp)
if self.file:
self.file.write(fp + os.linesep)

#获取全套python爬虫学习教程请访问:https://item.taobao.com/item.htm?spm=a2oq0.12575281.0.0.4ace1deb9UZJB5&ft=t&id=619117901939

在 scrapy-redis 中去重是由 Duplication Filter 组件来实现的,它通过 redis的 set 不重复的特性,巧妙的实现了 Duplication Filter 去重。scrapy-redis 调 度 器从引擎接受 request,将 request 的指纹存⼊redis 的 set 检查是否重复,并将 不重复的 request push 写⼊redis 的 request queue。

引擎请求 request(Spider 发出的)时,调度器从 redis 的 request queue 队列⾥根据优先级 pop 出⼀个 request 返回给引擎,引擎将此 request 发给spider 处 理。

3、Item Pipeline
引擎将(Spider 返回的)爬取到的 Item 给 Item Pipeline,scrapy-redis 的Item Pipeline 将爬取到的 Item 存⼊redis 的 items queue。

修改过 Item Pipeline 可以很⽅便的根据 key 从 items queue 提取 item,从⽽实现 items processes 集群。

4、Base Spider
不在使⽤scrapy 原有的 Spider 类,重写的 RedisSpider 继承了 Spider 和RedisMixin 这两个类,RedisMixin 是⽤来从 redis 读取 url 的类。 当我们⽣成⼀个 Spider 继承 RedisSpider 时,调⽤setup_redis 函数,这个函数会去连接 redis 数据库,然后会设置 signals(信号):

  • ⼀个是当 spider 空闲时候的 signal,会调⽤spider_idle 函数,这个函数调schedule_next_request函数,保证 spider 是⼀直活着的状态,并且抛出 DontCloseSpider 异常。
  • ⼀个是当抓到⼀个 item 时的 signal,会调⽤item_scraped 函数,这个函数会调⽤
    schedule_next_request 函数,获取下⼀个 request。

二、Scrapy 和 scrapy-redis 的区别

Scrapy 是⼀个通⽤的爬⾍框架,但是不⽀持分布式,Scrapy-redis 是为了更⽅便地实现 Scrapy 分布式爬取,⽽提供了⼀些以 redis 为基础的组件(仅有组件)。

pip install scrapy-redis

Scrapy-redis 提供了下⾯四种组件(components):(四种组件意味着这四个模块都要做相应的修改)

  • Scheduler
  • Duplication Filter
  • Item Pipeline
  • Base Spider

评论

暂无评论