Python爬虫应用领域广泛，并且在数据爬取领域处于霸主位置，并且拥有很多性能好的框架，像Scrapy、Request、BeautifuSoap、urlib等框架可以实现爬行自如的功能，只要有能爬取的数据，Python爬虫均可实现。数据信息采集离不开Pyt

线程存在空闲frommultiprocessing.dummyimportPoolfrommultiprocessing.dummyimportPoolasThreadPoolpoolThreadPool(20)pool.map(job_worker,result_cursor)

Druid数据连接池简介Druid是Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。性能好，同时自带监控页面，可以实时监控应用的连接池情况以及其中性能差的sql，方便我们找出应用中连接池方面的问题。Druid是一个JDBC组件，它包括三部分：1.DruidDriver代理

错误提示objc27880:__NSPlaceholderDateinitializemayhavebeeninprogressinanotherthreadwhenfork()wascalled.objc27880:__NSPlaceholderDateinitialize

DBCP(DataBaseconnectionpool),数据库连接池。是apache上的一个java连接池项目，也是tomcat使用的连接池组件。由于建立数据库连接是一个非常耗时耗资源的行为，所以通过连接池预先同数据库建立一些连接，放在内存中，应用程序需要建立数据库连接时直接到连接池中申请一个就行，用完后再放回去。百度百科(htt

基本配置：Python版本：3.7相关模块：from urllib import parsefrom lxml import etreefrom urllib3 import disable_warningsimport requests案例关键点：使用单线程爬取，未登录，爬取网易云

Python(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Flib.csdn.net%2Fbase%2Fpython)里面控制并发，除了多线程和多进程，还可以使用协程(CoRoutine)。他是在一个线程内通过程序员人为的指定来进行切换例1：通过switch（）可以人为来回切换到另外

更多的细节连接池：在幕后，redispy使用连接池管理连接到redisserver的连接.默认,一旦你创建了一个Redis的实例，这个实例相应有自己的连接池。你可以重写此行为，在创建一个Redis实例的时候指定一个创建的连接池，告诉这个实例是使用哪个连接。（我的理解：如果存在多个redisserver,指定连接哪个

Python多线程分布式和并行是完全不同的概念，分布式只负责将一个测试脚本可调用不同的远程环境来执行；并行强调“同时”的概念，它可以借助多线程或多进程技术并行来执行脚本技术。10.1单进程的时代        在单线程的时代，当处理器要处理多个任务时，必须要对这些任务排一下执行顺序并按照这个顺序

一、目标分析与基础爬虫实现我们的目标是抓取喜马拉雅某个特定分类或播主下的音频列表及其元数据。一个最基础的爬虫通常会使用同步阻塞的方式，逐个请求页面或接口，这在效率上是无法接受的。二、性能优化实战我们将从连接管理、异步非IO、线程池、请求调度等方面系统性优化