返回专栏
专栏 ·

9.2 多线程与多进程实战:concurrent.futures 线程池/进程池、锁机制与进程间通信(IPC)

作者: 九路 共 12 章 · 48 小节

欢迎回到 HelloWorld 技术社区(www.helloworld.net) 《Python 现代开发实战》专栏。

不要再去手动 threading.Thread 或 multiprocessing.Process 拼凑线程管理了!标准库 concurrent.futures 用高度统一的 Executor 接口封装了线程池与进程池,切换并发模型只需改一个类名:

import math
from concurrent.futures import ProcessPoolExecutor, as_completed


def is_prime(n: int) -> tuple[int, bool]:
    """CPU 密集型计算任务"""
    if n < 2:
        return n, False
    for i in range(2, math.isqrt(n) + 1):
        if n % i == 0:
            return n, False
    return n, True


if __name__ == "__main__":
    # 注意:使用多进程时,入口代码必须严格放在 if __name__ == "__main__": 保护之下!
    candidates = [10_000_019, 10_000_079, 10_000_103, 10_000_121]
    with ProcessPoolExecutor() as pool:
        futures = [pool.submit(is_prime, num) for num in candidates]
        # as_completed 哪个任务先算完就立刻处理哪个,无需按提交顺序死等
        for fut in as_completed(futures):
            num, flag = fut.result()
            print(f"{num} 是否为素数: {flag}")

并发安全铁律:多线程共享内存修改同一计数器或缓存字典时,务必用 threading.Lock() 加锁保护临界区;多进程间内存完全隔离,需通过 multiprocessing.Queue 或 Redis 进行进程间通信。

💬 HelloWorld 社区实战打卡

在 Windows 和 macOS 上使用 ProcessPoolExecutor 时,如果不把代码放进 if __name__ == "__main__": 里,为什么会直接触发 RuntimeError 无限递归创建进程?带 #Python专栏打卡 解释!