Python多进程 - 实现多进程的几种方式

Bill78 等级 502 0 0
标签: 多进程Python

方式一: os.fork()

# -*- coding:utf-8 -*-

"""
pid=os.fork()
    1.只用在Unix系统中有效,Windows系统中无效
    2.fork函数调用一次,返回两次:在父进程中返回值为子进程id,在子进程中返回值为0
"""

import os

pid=os.fork()

if pid==0:
    print("执行子进程,子进程pid={pid},父进程ppid={ppid}".format(pid=os.getpid(),ppid=os.getppid()))
else:
    print("执行父进程,子进程pid={pid},父进程ppid={ppid}".format(pid=pid,ppid=os.getpid()))

方式二: 使用multiprocessing模块: 创建Process的实例,传入任务执行函数作为参数

# -*- coding:utf-8 -*-

"""
Process常用属性与方法:
    name:进程名
    pid:进程id
    run(),自定义子类时覆写
    start(),开启进程
    join(timeout=None),阻塞进程
    terminate(),终止进程
    is_alive(),判断进程是否存活
"""

import os,time
from multiprocessing import Process

def worker():
    print("子进程执行中>>> pid={0},ppid={1}".format(os.getpid(),os.getppid()))
    time.sleep(2)
    print("子进程终止>>> pid={0}".format(os.getpid()))

def main():
    print("主进程执行中>>> pid={0}".format(os.getpid()))

    ps=[]
    # 创建子进程实例
    for i in range(2):
        p=Process(target=worker,name="worker"+str(i),args=())
        ps.append(p)

    # 开启进程
    for i in range(2):
        ps[i].start()

    # 阻塞进程
    for i in range(2):
        ps[i].join()

    print("主进程终止")

if __name__ == '__main__':
    main() 

方式二: 使用multiprocessing模块: 派生Process的子类,重写run方法

# -*- coding:utf-8 -*-

import os,time
from multiprocessing import Process

class MyProcess(Process):
    def __init__(self):
        Process.__init__(self)

    def run(self):
        print("子进程开始>>> pid={0},ppid={1}".format(os.getpid(),os.getppid()))
        time.sleep(2)
        print("子进程终止>>> pid={}".format(os.getpid()))

def main():
    print("主进程开始>>> pid={}".format(os.getpid()))
    myp=MyProcess()
    myp.start()
    # myp.join()
    print("主进程终止")

if __name__ == '__main__':
    main()

方式四: 使用进程池Pool

# -*- coding:utf-8 -*-

import os,time
from multiprocessing import Pool

def worker(arg):
    print("子进程开始执行>>> pid={},ppid={},编号{}".format(os.getpid(),os.getppid(),arg))
    time.sleep(0.5)
    print("子进程终止>>> pid={},ppid={},编号{}".format(os.getpid(),os.getppid(),arg))

def main():
    print("主进程开始执行>>> pid={}".format(os.getpid()))
    ps=Pool(5)
    for i in range(10):
        # ps.apply(worker,args=(i,))          # 同步执行
        ps.apply_async(worker,args=(i,))  # 异步执行

    # 关闭进程池,停止接受其它进程
    ps.close()
    # 阻塞进程
    ps.join()
    print("主进程终止")

if __name__ == '__main__':
    main()

本文转自 https://blog.csdn.net/topleeyap/article/details/78981848,如有侵权,请联系删除。

收藏
评论区

相关推荐

python多线程原理和详解(一)
python多线程原理和详解 线程概念 1 . 线程是什么? 线程也叫轻量级进程,是操作系统能够进行运算调度的最小单位,它被包涵在进程之中,是进程中的实际运作单位。线程自己不拥有系统资源,只拥有一点儿在运行中必不可少的资源,但它可与同属一个进程的其他线程共享进程所拥有的全部资源。一个线程可以创建和撤销另一个线程,同一个进程中的多个线程之间可以并发执行。
15. Python 程序运行速度如何提高十倍?第一遍滚雪球学 Python 收工
本篇文章将给大家介绍 Python 多线程与多进程相关知识,学习完该知识点之后,你的 Python 程序将进入另一个高峰。 <center<font colorred缓解一下视疲劳</font</center 15. Python 程序运行速度如何提高十倍?第一遍滚雪球学 Python 收工(https://imghelloworld.oss
爬取五大平台621款手机,告诉你双十一在哪买最便宜!
↑关注置顶 有趣的不像个技术号 今晚0点,相约剁手 大家好,我是朱小五 明天就是双十一了,看了看自己手里的卡的像IE浏览器的手机,感觉可能等不
python多线程详解
python中的多线程是一个非常重要的知识点,今天为大家对多线程进行详细的说明,代码中的注释有多线程的知识点还有测试用的实例。 码字不易,阅读或复制完了,点个赞! import threading from threading import Lock,Thread import time,os '''
Python多进程 - 实现多进程的几种方式
方式一: os.fork() coding:utf8 """ pidos.fork() 1.只用在Unix系统中有效,Windows系统中无效 2.fork函数调用一次,返回两次:在父进程中返回值为子进程id,在子进程中返回值为0 """ import os pidos.fork() if pid0:
我的python多线程和多进程
线程存在空闲 from multiprocessing.dummy import Poolfrom multiprocessing.dummy import Pool as ThreadPool pool ThreadPool(20) pool.map(job_worker, result_cursor)
Python 爬取留言板留言(二):多线程版+selenium模拟
一、项目概述本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。具体项目说明和环境配置可参考本系列的第一篇。本篇在第一篇的基础上做了一些改进1. 采用了多线程,设定同时运行的线程的数量为3,线程数量适中,这样在保证在同一时刻有多个线
Python 爬取留言板留言(三):多进程版+selenium模拟
一、项目概述本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。具体项目说明和环境配置可参考本系列的第一篇。本篇在第二篇的基础上做了一个主要改进:从多线程改变为多进程,设定同时运行的进程的数量为3,数量适中,这样在保证在同一
百度指数 才是 百度 的良心之作!
↑ 点击上方 “凹凸数据” 关注 + 星标  每天更新,干货不断   大家好,我是朱小五前段时间有消息说百度网盘不限速了,大家纷纷表示百度良心了?其实它的良心项目还是有的,比如我们可视化用的Echarts 、做思维导图的百度脑图以及百度指数等。今天我就要“夸一夸”这个百度指数!对了,你想知道最近的股市中“韭菜”有没有进场吗?别退出哈,接着往下看何为百度指
宁可用python倒读红楼梦,也不向拼多多低头
↑一个宝藏公众号,有趣的不像个技术号 刚屏蔽了天猫的盖楼,没想到大家把拼多多链接玩出了花样 李大伟你可看好了! 我一定要退订! 主要用到python中列表的 insert() 方法 list.insert(index, obj) 其中参数obj: 要插入列表中的对象;index:对象 obj 需要插入的索引位置。 方法就是将字符串中的
一篇文章带你了解Python的分布式进程接口
一、前言    在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上。 Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上。可以写一个服务进程作为调度者,将任务分
一篇文章带你搞懂Python中的继承和多态
一、继承的介绍继承是一种创建新的类的方式,新创建的叫子类,继承的叫父类、超类、基类。继承的特点就是子类可以使用父类的属性(特征、技能)。继承是类与类之间的关系。继承可以减少代码冗余、提高重用性。在现实生活中,继承一般指的是子女继承父辈的财产,如下图: 二、如何用继承?1.继承语法Class 派生类名(基类名):基类名写在括号里。在继承关系中,已有的,设计好
一篇文章带你解析Python进程
前言进程,一个新鲜的字眼,可能有些人并不了解,它是系统某个运行程序的载体,这个程序可以有单个或者多个进程,一般来说,进程是通过系统CPU 内核数来分配并设置的,我们可以来看下系统中的进程:可以看到,360浏览器是真的皮,这么多进程啊,当然可以这样来十分清楚的看进程线程使用情况: 通过任务管理器中的资源监视器,是不是很厉害了,哈哈哈。讲完了这些,再说说用法。
一篇文章带你全面解析不一样的线程
前言在讲今天的知识点之前,大家是否了解线程,进程和协程了,那我们先来初步了解下吧。 线程中央处理器的调度单元,简单点说就是程序中的末端执行者,相当于小弟的位置。有人说python中的线程是个鸡肋,这是因为有了GIL,但是又不是一味的鸡肋,毕竟在执行io操作时还是挺管用的,只是在执行计算时就显得不尽人意。下面我们来看下线程的具体使用方法: 1.导入线程模块:
京东面试真题解析,手撕面试官
第1章快速入门1.1 Kafka简介1.2 以Kafka为中心的解决方案1.3 Kafka核心概念1.4 Kafka源码环境 第2章生产者2.1 KafkaProducer 使用示例2.2 KafkaProducer 分析 ProducerInterceptors&cProducerInterceptor Kafka 集群元数据 Serializ