9.2 多线程与多进程实战:concurrent.futures 线程池/进程池、锁机制与进程间通信(IPC)
本节目录
欢迎回到 HelloWorld 技术社区(www.helloworld.net) 《Python 现代开发实战》专栏。
不要再去手动 threading.Thread 或 multiprocessing.Process 拼凑线程管理了!标准库 concurrent.futures 用高度统一的 Executor 接口封装了线程池与进程池,切换并发模型只需改一个类名:
import math
from concurrent.futures import ProcessPoolExecutor, as_completed
def is_prime(n: int) -> tuple[int, bool]:
"""CPU 密集型计算任务"""
if n < 2:
return n, False
for i in range(2, math.isqrt(n) + 1):
if n % i == 0:
return n, False
return n, True
if __name__ == "__main__":
# 注意:使用多进程时,入口代码必须严格放在 if __name__ == "__main__": 保护之下!
candidates = [10_000_019, 10_000_079, 10_000_103, 10_000_121]
with ProcessPoolExecutor() as pool:
futures = [pool.submit(is_prime, num) for num in candidates]
# as_completed 哪个任务先算完就立刻处理哪个,无需按提交顺序死等
for fut in as_completed(futures):
num, flag = fut.result()
print(f"{num} 是否为素数: {flag}")
并发安全铁律:多线程共享内存修改同一计数器或缓存字典时,务必用 threading.Lock() 加锁保护临界区;多进程间内存完全隔离,需通过 multiprocessing.Queue 或 Redis 进行进程间通信。
💬 HelloWorld 社区实战打卡
在 Windows 和 macOS 上使用 ProcessPoolExecutor 时,如果不把代码放进 if __name__ == "__main__": 里,为什么会直接触发 RuntimeError 无限递归创建进程?带 #Python专栏打卡 解释!