一篇文章浅析Python自带的线程池和进程池

Irene181 等级 1180 0 0

前言

大家好,我是星期八。

我们都知道,不管是Java,还是C++,还是Go,还是Python,都是有线程这个概念的。

但是我们知道,线程是不能随便创建的,就像每招一个员工一样,是有代价的,无限制招人肯定最后各种崩溃。

所以通常情况下,我们会引出线程池这个概念。

本质就是我就招了几个固定的员工,给他们派活,某一个人的活干完了再去任务中心领取新的活。

防止任务太多,一次性招太多工人,最后系统崩溃。

开心一刻

理想的多线程

一篇文章浅析Python自带的线程池和进程池

实际的多线程

一篇文章浅析Python自带的线程池和进程池

from concurrent.futures import ...


可能也是因为线程池这个东西用的越来越多了吧,从Python3.2+之后,就成了内置模块

对的,直接就能使用,不需要pip进行安装什么的。

concurrent.futures下面主要有俩接口。

  • ThreadPoolExecutor 线程池。

  • ProcessPoolExecutor进程池。

这里可没有什么所谓的异步池

个人看法:虽然异步的性能很高,但是目前除了Go以外,其他实现的都不是太好,用法上面有些怪异,当然,你们可以说我菜,我承认。

线程池

示例代码

`import time``from concurrent.futures import ThreadPoolExecutor``import random``# max_workers表示工人数量,也就是线程池里面的线程数量``pool = ThreadPoolExecutor(max_workers=10)``# 任务列表``task_list = ["任务1", "任务2", "任务3", "任务4", ]``def handler(task_name):` `# 随机睡眠,模仿任务执行时间不确定性` `n = random.randrange(5)` `time.sleep(n)` `print(f"任务内容:{task_name}")``if __name__ == '__main__':` `# 遍历任务,` `for task in task_list:` `"""` `交给函数处理,submit会将所有任务都提交到一个地方,不会阻塞` `然后线程池里面的每个线程会来取任务,` `比如:线程池有3个线程,但是有5个任务` `会先取走三个任务,每个线程去处理` `其中一个线程处理完自己的任务之后,会再来提交过的任务区再拿走一个任务` `"""` `pool.submit(handler, task)` `print("main执行完毕")`

执行结果

一篇文章浅析Python自带的线程池和进程池

发现的问题

其实这个就是并发的,不要怀疑,但是你有没有发现个问题,main先执行,这说明啥?

这说明,我main跑完之后,是不管子线程的死活的。

那能不能设置一下,所有的子线程都执行完之后main函数在执行完?

当然可以,需要一个参数即可。

pool.shutdown()

要完成上述的问题,我们需要一个参数,加上这个参数之后。

就可以让主线程等待所有子线程执行完之后,主线程再执行完

示例代码

`...``if __name__ == '__main__':` `# 遍历任务,` `for task in task_list:` `"""` `交给函数处理,submit会将所有任务都提交到一个地方` `然后线程池里面的每个线程会来取任务,` `比如:线程池有3个线程,但是有5个任务` `会先取走三个任务,每个线程去处理` `其中一个线程处理完自己的任务之后,会再来提交过的任务区再拿走一个任务` `"""` `pool.submit(handler, task)` `pool.shutdown()` `print("main执行完毕")`

主要就是13行的pool.shutdown()

执行结果

一篇文章浅析Python自带的线程池和进程池

这次结果就是我们想要的了,hhh!!!

add_done_callback

add_done_callback可以理解为是回调函数,线程执行完之后,会自动调用指定的回调函数。

并且能拿到线程执行函数的返回值

有什么用,我也没用过,怪我才疏学浅叭。

示例代码

`import time``from concurrent.futures import ThreadPoolExecutor``import random``from concurrent.futures._base import Future``# max_workers表示工人数量,也就是线程池里面的线程数量``pool = ThreadPoolExecutor(max_workers=10)``# 任务列表``task_list = ["任务1", "任务2", "任务3", "任务4", ]``def handler(task_name):` `# 随机睡眠,模仿任务执行时间不确定性` `n = random.randrange(5)` `time.sleep(n)` `print(f"任务内容:{task_name}")` `return f"任务内容:{task_name}"``def done(res: Future):` `print("done拿到的返回值:", res.result())``if __name__ == '__main__':` `# 遍历任务,` `for task in task_list:` `futrue = pool.submit(handler, task)  # type:Future` `futrue.add_done_callback(done)` `pool.shutdown()` `print("main执行完毕")`

注意:第17,27,28行代码!

执行效果

一篇文章浅析Python自带的线程池和进程池

我想,可能通常用在一些善后工作叭。

多进程方式

其实通过上述几个例子,我们基本是知道怎么使用上面这个线程池了。

但是都知道Python的线程,因为GIL(全局解释器锁)的原因,是不能并发到多个物理核心上的。

所以是IO密集型的,像爬虫,读写文件,使用线程池是ok的。

但是如果说我就是野,就是头铁,非要用Python做计算型应用,像图片压缩、视频流推送,那没办法,需要使用多进程池方式。

其实通过concurrent这个接口,可以很方便的创建进程池,只需要修改两个地方。

`...``# 改成导入进程池方式``from concurrent.futures import ProcessPoolExecutor``...``if __name__ == '__main__':` `...` `# 进程池方式` `pool = ProcessPoolExecutor(max_workers=10)` `...`

只需要修改这俩地方即可,其他和上述用法一摸一样。

总结

本篇主要讲的是Python自带的线程池进程池

比较有特色的是,ThreadPoolExecutorProcessPoolExecutor的接口是一样的。

只需要修改导入的包就行。

concurrent的接口主要有pool.submit(),pool.shutdown(),futrue.add_done_callback()

基本这几个都够自己用了。

如果在操作过程中有任何问题,记得下面留言,我们看到会第一时间解决问题。

想学习更多关于Python的知识,可以参考学习网址:http://pdcfighting.com/,点击阅读原文,可以直达噢~

**-----**------**-----**---**** End **-----**--------**-----**-****

往期精彩文章推荐:

一篇文章浅析Python自带的线程池和进程池

欢迎各位大佬点击链接加入群聊【helloworld开发者社区】:https://jq.qq.com/?_wv=1027&k=mBlk6nzX进群交流IT技术热点。

本文转自 https://mp.weixin.qq.com/s/hhhXQeTdB_uAULQPU6pFFA,如有侵权,请联系删除。

收藏
评论区

相关推荐

一篇文章浅析Python自带的线程池和进程池
前言大家好,我是星期八。我们都知道,不管是Java,还是C++,还是Go,还是Python,都是有线程这个概念的。但是我们知道,线程是不能随便创建的,就像每招一个员工一样,是有代价的,无限制招人肯定最后各种崩溃。所以通常情况下,我们会引出线程池这个概念。本质就是我就招了几个固定的员工,给他们派活,某一个人的活干完了再去任务中心领取新的活。防止任务太多,一次性
IOS中电池变化的监听
1,电池级别和电池状态监听通知 [[UIDevice currentDevice] setBatteryMonitoringEnabled:YES]; [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(checkBattery:) na
Java多线程之线程池7大参数、底层工作原理、拒绝策略详解
Java多线程之线程池7大参数详解 目录 企业面试题 线程池7大参数源码 线程池7大参数详解 底层工作原理详解 线程池的4种拒绝策略理论简介 面试的坑:线程池实际中使用哪一个? 1\. 企业面试题 线程池的工作原理,几个重要参数,然后给了具体几个参数分析线程池会怎么做,最 后问阻塞队列用是什么? 线程池的构造类的方
Java提供的几种线程池
![](https://oscimg.oschina.net/oscnet/288c3e5e-b372-4ab3-9cd0-d53b737def7b.jpg) _作者:天天不是小可爱_ _https://www.cnblogs.com/QuixoteY/p/11243997.html_ 线程池,顾名思义,放线程的池子嘛,这个池子可以
java 面试知识点笔记(十三)多线程与并发
**java线程池**,利用Exceutors创建不同的线程池满足不同场景需求: 1. newSingleThreadExecutor() 创建一个单线程的线程池。这个线程池只有一个线程在工作,也就是相当于单线程串行执行所有任务。如果这个唯一的线程因为异常结束,那么会有一个新的线程来替代它。此线程池保证所有任务的执行顺序按照任务的提交顺序执行。 2.
java_线程池
血一样的教训,今天上午参加了一家现场面试java。在这之前,我一直认为我的java基础还是可以的,而今天一问三不知。现在将面试的问题整理出来 **一、说说java中的线程池?**   1.线程池:线程池是线程的集合,不用自己创建线程,把线程直接给线程池,由线程池处理。       2.过程:首先,使用线程池可以重复利用已有的线程继续执行任务,避免线程在
java各种面试问题
二、Java多线程相关 ----------- * 线程池的原理,为什么要创建线程池?创建线程池的方式; * 线程的生命周期,什么时候会出现僵死进程; * 说说线程安全问题,什么实现线程安全,如何实现线程安全; * 创建线程池有哪几个核心参数? 如何合理配置线程池的大小? * volatile、ThreadLocal的使用场景和原理;
Unity的对象复用
对象复用是 用空间换时间的一种典型的做法,对于Unity来说虽然引擎内部有GameObject的对象池,但是 这只是Native层的,到了Managed层还是可以继续优化的。通过Profiler能够发现实例化GameObject 还是比较消耗CPU的。 Unity中对象池主要有3种, 1.普通的C# class的对象池 2.GameObject 的对
2020年首发70道阿里巴巴高级Java开发面试题(带详细答案)
**2020年首发70道阿里巴巴高级Java开发面试题(带详细答案)**![在这里插入图片描述](https://img-blog.csdnimg.cn/2020102520221477.png#pic_center) 面试题 === 1、java事件机制包括哪三个部分?分别介绍。 2、为什么要使用线程池? 3、线程池有什么作用? 4、说说几种常见
2020年首发70道阿里巴巴高级Java开发面试题(带详细答案)
**2020年首发70道阿里巴巴高级Java开发面试题(带详细答案)**![在这里插入图片描述](https://img-blog.csdnimg.cn/2020102520221477.png#pic_center) 面试题 === 1、java事件机制包括哪三个部分?分别介绍。 2、为什么要使用线程池? 3、线程池有什么作用? 4、说说几种常见
ElasticSearch 线程池类型分析之 ExecutorScalingQueue
### ElasticSearch 线程池类型分析之 ExecutorScalingQueue 在[ElasticSearch 线程池类型分析之SizeBlockingQueue](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fwww.cnblogs.com%2Fhapjin%2Fp%2
Python数据库连接池DBUtils
DBUtils是Python的一个用于实现数据库连接池的模块,有两种使用方式 为每个线程开辟一个连接 =========== 这种方式一般是不推荐使用的,因为与100个线程难道还开100个连接。线程即使调用了close方法,也不会关闭,这里的close只是把连接重新放到连接池,供自己线程再次使用。当线程终止时,连接自动关闭。 from flas
Python爬虫之Scrapy框架的UA池和代理池
#### 一 下载Scrapy的下载中间件 ![img](https://oscimg.oschina.net/oscnet/c9260e4edb2cfc96405d332cbb8ab9fd899.png) 下载中间件(Downloader Middlewares) 位于scrapy引擎和下载器之间的一层组件。 下载中间件的作用: (1)引擎请求传递
Python爬虫代理池
爬虫代理IP池 ======= > 在公司做分布式深网爬虫,搭建了一套稳定的代理池服务,为上千个爬虫提供有效的代理,保证各个爬虫拿到的都是对应网站有效的代理IP,从而保证爬虫快速稳定的运行,当然在公司做的东西不能开源出来。不过呢,闲暇时间手痒,所以就想利用一些免费的资源搞一个简单的代理池服务。 ### 1、问题 * 代理IP从何而来?
Tomcat8.5&Mysql8.0配置数据库连接池(DBCP)
DBCP(DataBase connection pool),数据库连接池。是 apache 上的一个 java 连接池项目,也是 tomcat 使用的连接池组件。由于建立数据库连接是一个非常耗时耗资源的行为,所以通过连接池预先同数据库建立一些连接,放在内存中,应用程序需要建立数据库连接时直接到连接池中申请一个就行,用完后再放回去。 --[百度百科](htt