Scrapy爬虫框架下执行爬虫的方法

Stella981
• 阅读 497

  在使用Scrapy框架进行爬虫时,执行爬虫文件的方法是 scrapy crawl xxx ,其中 xxx 是爬虫文件名。

  但是,当我们在建立了多个文件时,使用上面的命令时会比较繁琐麻烦,我们就可以使用下述方法同时完成爬虫文件的执行。

  第一种,在scrapy框架下建立一个运行文件,如 run.py ,在文件中建立一个列表,列表为爬虫的执行命令,最后通过循环执行 execute() 函数完成执行。执行时使用 python run.py 命令即可。如下面的代码所示

from scrapy.cmdline import execute
spiders = [
    'scrapy crawl liepin',
    'scrapy crawl lagou'
]

if __name__ == '__main__':
    for i in spiders:
        execute(i.split())

  第二种,我们还可以使用自定义项目命令 COMMANDS_MODULE 添加自己的命令完成执行。

  在爬虫文件所属的文件夹同级目录下创建任意目录,如command,在文件夹下创建命令文件,如crawlall.py,此文件的名称就是我们自定义的命令。例子代码如下

from scrapy.commands import ScrapyCommand
from scrapy.utils.project import get_project_settings

class Command(ScrapyCommand):
    requires_project = True

    def run(self,args,opts):
        spiders_list = self.crawler_process.spiders.list()
        for name in spiders_list:
            self.crawler_process.crawl(name,**opts.__dict__)

        self.crawler_process.start()

  在scrapy项目的配置文件 settings.py 中添加  COMMANDS_MODULE = '项目名称.目录名称' 。至此命令添加完成,最后执行命令  scrapy xxx 进行执行(此处的xxx就是上面建立的文件名,如 scrapy crawlall )。

  参考:http://www.cnblogs.com/lei0213/p/7900340.html

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
小白学大数据 小白学大数据
9个月前
python使用aiohttp通过设置代理爬取基金数据
说到python爬虫,我们就会想到它那强大的库,很多新手小白在选择框架的时候都会想到使用Scrapy,但是仅仅停留在会使用的阶段。在实际爬虫过程中遇到反爬机制是再常见不过的,今天为了增加对爬虫机制的理解,我们就通过手动实现多线程的爬虫过程,同时引入IP代理
Stella981 Stella981
2年前
Python爬虫教程
本篇是介绍在Anaconda环境下,创建Scrapy爬虫框架项目的步骤,且介绍比较详细Python爬虫教程31创建Scrapy爬虫框架项目首先说一下,本篇是在Anaconda环境下,所以如果没有安装Anaconda请先到官网下载安装Anaconda
Wesley13 Wesley13
2年前
Java爬虫之JSoup使用教程
title:Java爬虫之JSoup使用教程date:201812248:00:000800update:201812248:00:000800author:mecover:https://imgblog.csdnimg.cn/20181224144920712(https://www.oschin
Stella981 Stella981
2年前
Scrapy爬虫框架
(1)、简介在糗事百科爬虫中我们的爬虫是继承scrapy.Spider类的,这也是基本的scrapy框架爬虫,在这个爬虫中我们自己在解析完整个页面后再获取下一页的url,然后重新发送了一个请求,而使用CrawlsSpider类可以帮助我们对url提出条件,只要满足这个条件,都进行爬取,CrawlSpider类继承自Spider,它比之前的Spid
Stella981 Stella981
2年前
Scrapy框架之分布式操作
一、分布式爬虫介绍  分布式爬虫概念:多台机器上执行同一个爬虫程序,实现网站数据的分布爬取。1、原生的Scrapy无法实现分布式爬虫的原因?调度器无法在多台机器间共享:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start\_urls列表中的url。管
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
小白学大数据 小白学大数据
3个月前
python HTML文件标题解析问题的挑战
引言在网络爬虫中,HTML文件标题解析扮演着至关重要的角色。正确地解析HTML文件标题可以帮助爬虫准确地获取所需信息,但是在实际操作中,我们常常会面临一些挑战和问题。本文将探讨在Scrapy中解析HTML文件标题时可能遇到的问题,并提供解决方案。问题背景在
笑面虎 笑面虎
3星期前
【保姆级教学】Python爬虫、Selenium、Scrapy爬虫框架、反爬与反反爬、Appium
【保姆级教学】Python爬虫、Selenium、Scrapy爬虫框架、反爬与反反爬、Appium视频课程分享——【保姆级教学】Python爬虫、Selenium、Scrapy爬虫框架、反爬与反反爬、Appium,附源码文档下载。Python爬虫是一种自