Python爬虫应用领域广泛，并且在数据爬取领域处于霸主位置，并且拥有很多性能好的框架，像Scrapy、Request、BeautifuSoap、urlib等框架可以实现爬行自如的功能，只要有能爬取的数据，Python爬虫均可实现。数据信息采集离不开Pyt

一、DownloaderMiddleware的用法DownloaderMiddleware即下载中间件，它是处于Scrapy的Request和Response之间的处理模块。!在这里插入图片描述(https://oscimg.oschina.net/oscnet/514e40

!(https://oscimg.oschina.net/oscnet/upede1a7a938f161dbdaf6489a266e85e0347.JPEG)由于互联网的极速发展，所有现在的信息处于大量堆积的状态，我们既要向外界获取大量数据，又要在大量数据中过滤无用的数据。针对我们有益的数据需要我们进行指定抓取，从而出现了现在的爬虫技术，通过爬

首先所需要的环境：（我用的是Python2的，可以选择python3，具体遇到的问题自行解决，目前我这边几百万的数据量爬取）环境：Python2.7.10ScrapyScrapy1.5.0第三方库：PyMySQL0.8.0Scrapy1.5.0pytesseract0.2.0pip10.0.1Pil

　　在使用Scrapy框架进行爬虫时，执行爬虫文件的方法是scrapycrawlxxx，其中xxx是爬虫文件名。　　但是，当我们在建立了多个文件时，使用上面的命令时会比较繁琐麻烦，我们就可以使用下述方法同时完成爬虫文件的执行。　　第一种，在scrapy框架下建立一个运行文件，如run.py，在文件中建立一个列表，列表为爬虫的执行命令，

一、定义实现随机UserAgent的下载中间件1.在middlewares.py中完善代码1importrandom2fromTencent.settingsimportUSER_AGENTS_LIST注意导入路径,请忽视pycharm的错误提示34cla

Windows10家庭中文版，Python3.6.4，Scrapy1.5.0，提示：此文存在问题，真正测试， 请勿阅读，_071414:26更新：_经过两个多小时的测试，发现此问题的原因是 昨天编写爬虫程序后，给爬虫程序添加了下面的属性：download\_timeout20此属性的解释：The

一、分布式爬虫介绍　　分布式爬虫概念：多台机器上执行同一个爬虫程序，实现网站数据的分布爬取。1、原生的Scrapy无法实现分布式爬虫的原因？调度器无法在多台机器间共享：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start\_urls列表中的url。管

程序逻辑图如下：!(https://static.oschina.net/uploads/space/2017/0616/162844_1luO_3264690.png)登录模块（获取cookie）：encodingutf8importrequestsimportrei

强大的Anaconda和Spyder。不过如何在这个平台上安装Scrapy呢。打开MSDOS（winR输入cmd回车）然后输入：condainstallcscrapinghubscrapy不是pip命令哦~然后耐心等待就可以了。出现Proceed后输入y回车，接着等待，然后就可以了！