Scrapy框架

Stella981 等级 252 0 0

[TOC]

1. Scrapy介绍

1.1. Scrapy框架

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。

Scrapy框架

  • Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。

  • Scheduler(调度器): 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。

  • Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,

  • Spider(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器),

  • Item Pipeline(管道):它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方.

  • Downloader Middlewares(下载中间件):你可以当作是一个可以自定义扩展下载功能的组件。

  • Spider Middlewares(Spider中间件):你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)

1.2. Scrapy运行流程

  1. 引擎:Hi!Spider, 你要处理哪一个网站?

  2. Spider:老大要我处理xxxx.com

  3. 引擎:你把第一个需要处理的URL给我吧。

  4. Spider:给你,第一个URL是xxxxxxx.com

  5. 引擎:Hi!调度器,我这有request请求你帮我排序入队一下。

  6. 调度器:好的,正在处理你等一下。

  7. 引擎:Hi!调度器,把你处理好的request请求给我。

  8. 调度器:给你,这是我处理好的request

  9. 引擎:Hi!下载器,你按照老大的下载中间件的设置帮我下载一下这个request请求

  10. 下载器:好的!给你,这是下载好的东西。(如果失败:sorry,这个request下载失败了。然后引擎告诉调度器,这个request下载失败了,你记录一下,我们待会儿再下载)

  11. 引擎:Hi!Spider,这是下载好的东西,并且已经按照老大的下载中间件处理过了,你自己处理一下(注意!这儿responses默认是交给def parse()这个函数处理的)

  12. Spider:(处理完毕数据之后对于需要跟进的URL),Hi!引擎,我这里有两个结果,这个是我需要跟进的URL,还有这个是我获取到的Item数据。

  13. 引擎:Hi !管道 我这儿有个item你帮我处理一下!调度器!这是需要跟进URL你帮我处理下。然后从第四步开始循环,直到获取完老大需要全部信息。

  14. 管道``调度器:好的,现在就做!

1.3. 制作Srapy爬虫的四部曲

  • 新建项目 (scrapy startproject xxx):新建一个新的爬虫项目
  • 明确目标 (编写items.py):明确你想要抓取的目标
  • 制作爬虫 (spiders/xxspider.py):制作爬虫开始爬取网页
  • 存储内容 (pipelines.py):设计管道存储爬取内容

1.4. 文件目录

插入scrapy01.png

  • scrapy.cfg :项目的配置文件

    [settings] default = mySpider.settings

    [deploy] #url = http://localhost:6800/ project = mySpider

  • mySpider/ :项目的Python模块,将会从这里引用代码

  • __init__: 必须的文件

  • mySpider/items.py :项目的目标文件

    import scrapy

    class MyspiderItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # age = scrapy.Field() pass

  • mySpider/Middlewares.py :

  • mySpider/pipelines.py :项目的管道文件

    class MyspiderPipeline(object): def process_item(self, item, spider): return item

  • mySpider/settings.py :项目的设置文件

    你的爬虫名字

    BOT_NAME = 'mySpider'

    你的爬虫的位置

    SPIDER_MODULES = ['mySpider.spiders'] NEWSPIDER_MODULE = 'mySpider.spiders'

    是否遵循robust协议

    ROBOTSTXT_OBEY = True

    爬虫并发量

    #CONCURRENT_REQUESTS = 32

    下载延迟

    #DOWNLOAD_DELAY = 3

    下载延迟的额外设置:一般不用设置

    #CONCURRENT_REQUESTS_PER_DOMAIN = 16 #CONCURRENT_REQUESTS_PER_IP = 16

    是否使用cookie

    #COOKIES_ENABLED = False

    访问电话线设置

    #TELNETCONSOLE_ENABLED = False

    设置默认请求报头

    #DEFAULT_REQUEST_HEADERS = {

    'User-Agent': ''

    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8',

    'Accept-Language': 'en',

    #}

    爬虫中间键:一般不设置

    #SPIDER_MIDDLEWARES = {

    'mySpider.middlewares.MyspiderSpiderMiddleware': 543,

    #}

    下载中间键: 后面的值是优先级,越小越高

    #DOWNLOADER_MIDDLEWARES = {

    'mySpider.middlewares.MyspiderDownloaderMiddleware': 543,

    #}

    延展,没什么用

    #EXTENSIONS = {

    'scrapy.extensions.telnet.TelnetConsole': None,

    #}

    管道文件---经常使用的,用于指定优先级

    #ITEM_PIPELINES = {

    'mySpider.pipelines.MyspiderPipeline': 300,

    #}

2. Scrapy全部流程

我们打算抓取:http://www.itcast.cn/channel/teacher.shtml 网站里的所有讲师的姓名、职称和个人信息。

  • 创建项目

  • 编写items.py文件:设置需要保存的数据字段

  • 创建爬虫模板

    • 在spiders/文件夹下面运行scrapy genspider spidername "startURL"
  • 进入xxx/spiders: 编写爬虫文件,文件里的name就是爬虫名

  • 写管道文件

    • 设置文件保存的形式和写入文件
    • 在setting中设置优先级(默认自动设置)
    • 添加User-Agent到setting中
  • 运行:
    -scrapy crawl itcast

    • scrapy crawl itcast -o json/csv/xml/
  • 数据处理

    • 数据:交给管道文件处理 yield item
    • 请求:重新发送给调度器入、出队列,交给下载器下载 yield scrapy.Request(url, callback = self.parse)

3. 写爬虫主要文件

要建立一个Spider, 你必须用scrapy.Spider类创建一个子类,并确定了三个强制的属性 和 一个方法。

  • name = "" :这个爬虫的识别名称,必须是唯一的,在不同的爬虫必须定义不同的名字。

  • allow_domains = [] 是搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页,不存在的URL会被忽略。

  • start_urls = () :爬取的URL元祖/列表。爬虫从这里开始抓取数据,所以,第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。

  • parse(self, response) :解析的方法,每个初始URL完成下载后将被调用,调用的时候传入从每一个URL传回的Response对象来作为唯一参数,主要作用如下:

    • 负责解析返回的网页数据(response.body),提取结构化数据(生成item)
    • 生成需要下一页的URL请求。
收藏
评论区

相关推荐

使用Scrapy网络爬虫框架小试牛刀
前言这次咱们来玩一个在Python中很牛叉的爬虫框架——Scrapy。 scrapy 介绍标准介绍 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的
(原创)Scrapy爬取美女图片续集
      上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片,而今天接着讲解Scrapy爬取美女图片,不过采取了不同的方式和代码实现,对Scrapy的功能进行更深入的运用。 ![](https://oscimg.oschina.net/oscnet/495475f784c4eb6eadac4fb32e103808c26.jpg)
Ubuntu16.04安装Scrapy命令
背景 -- 命令行下有三种安装Scrapy的方式: * apt-get:千万不要用,因为你会下载到一个上古时期的Scrapy版本,产生一系列与你参考教程的代码不兼容的问题 * easy\_install:我没有安装成功 * pip:Scrapy官网上推荐的下载方式,我们使用这种方法 安装 -- 首先[Python](https://www
Crawlscrapy分布式爬虫
1.概念:多台机器上可以执行同一个爬虫程序,实现网站数据的分布爬取 2.原生的scrapy是不可以实现分布式式爬虫   a)调度器无法共享   b)管道无法共享 3.scrapy-redis 组件:专门为scrapy开发的一套组件,该组件可以让scrapy实现分布式   a)pip install scrapy-redis 4.分布式爬取的流程:
Python Scrapy 实战
Python Scrapy ============= 什么是爬虫? ------ 网络爬虫(英语:web crawler),也叫网络蜘蛛(spider),是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 Python 爬虫 --------- 在爬虫领域,Python几乎是霸主地位,将网络一切数据作为资源,通过自动化程序进行有针对性
Python scrapy爬取带验证码的列表数据
首先所需要的环境:(我用的是Python2的,可以选择python3,具体遇到的问题自行解决,目前我这边几百万的数据量爬取) 环境:Python 2.7.10 Scrapy Scrapy 1.5.0 第三方库: PyMySQL==0.8.0Scrapy==1.5.0pytesseract==0.2.0pip==10.0.1Pil
Python之scrapy实现的爬虫,百度贴吧的自动签到和自动发帖、自动回帖
百度贴吧Crawler =========== [![Travis branch](https://img.shields.io/travis/rust-lang/rust/master.svg)](https://gitee.com/changleibox/TiebaCrawler) 实现百度贴吧的自动签到和自动发帖、自动回帖 实现Cookies
Python爬虫教程
本篇是介绍在 Anaconda 环境下,创建 Scrapy 爬虫框架项目的步骤,且介绍比较详细 Python爬虫教程-31-创建 Scrapy 爬虫框架项目 ------------------------------ * 首先说一下,本篇是在 Anaconda 环境下,所以如果没有安装 Anaconda 请先到官网下载安装 * Anaconda
Scrapy
scrapy -->CrawlSpider 介绍 ------------------------ * * * 1、首先,通过crawl 模板新建爬虫: -------------------- scrapy genspider -t crawl lagou www.lagou.com ### 创建出来的爬虫文件lagou.py: ![](
Scrapy_redis
简介 scrapy\_redis是一个基于Redis的Scrapy组件,用于scrapy项目的分布式部署和开发 你可以启动多个spider对象,互相之间共享有一个redis的request队列,最适合多个域名的广泛内容的爬取 特点 分布式爬取 分布式数据处理 爬取到的item数据被推送到redis中,这意味着你可以启动尽可能多的item处理程序
Scrapy使用入门及爬虫代理配置
本文通过一个简单的项目实现Scrapy采集流程。希望通过该项目对Scrapy的使用方法和框架能够有帮助。 ### 1\. 工作流程 重点流程如下: * 创建一个Scrapy项目。 * 创建一个爬虫来抓取网站和处理数据。 * 通过命令行将采集的内容进行分析。 * 将分析的数据保存到MongoDB数据库。 ### 2\. 准备环境 安装
Scrapy框架
\[TOC\] 1\. Scrapy介绍 ============ 1.1. Scrapy框架 ------------- Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。 ![](http://ccszt.com.cn/python/%E7%88%AC%E8%99%AB/file/images/
Scrapy爬取遇到的一点点问题
学了大概一个月Scrapy,自己写了些东东,遇到很多问题,这几天心情也不大好,小媳妇人也不舒服,休假了,自己研究了很久,有些眉目了 利用scrapy 框架爬取慕课网的一些信息 步骤一:新建项目     scrapy startproject muke     进入muke     scrapy genspider mukewang imooc.co
Scrapy爬虫框架下执行爬虫的方法
  在使用Scrapy框架进行爬虫时,执行爬虫文件的方法是 scrapy crawl xxx ,其中 xxx 是爬虫文件名。   但是,当我们在建立了多个文件时,使用上面的命令时会比较繁琐麻烦,我们就可以使用下述方法同时完成爬虫文件的执行。   第一种,在scrapy框架下建立一个运行文件,如 run.py ,在文件中建立一个列表,列表为爬虫的执行命令,
Scrapy的架构介绍
Scrapy的架构介绍 ----------- 原始英文页面:[http://doc.scrapy.org/en/latest/topics/architecture.html](https://www.oschina.net/action/GoToLink?url=http%3A%2F%2Fdoc.scrapy.org%2Fen%2Flatest%2Ft