13、多进程multiprocessing、进程池

2018-06-18 01:18:46来源:未知 阅读 ()

新老客户大回馈,云服务器低至5折


内容相关:

multiprocessing:

  • 进程的创建与运行
  • 进程常用相关函数

进程池:

  • 为什么要有进程池
  • 进程池的创建与运行:串行、并行
  • 回调函数

多进程multiprocessing:

python中的多进程需要使用multiprocessing模块

 

  • 多进程的创建与运行:

1.进程的创建:进程对象=multiprocessing.Process(target=函数名,args=(参数,))【补充,由于args是一个元组,单个参数时要加“,”】

2.进程的运行:  进程对象.start()

进程的join跟线程的join一样,意义是 “阻塞当前进程,直到调用join方法的那个进程执行完,再继续执行当前进程”

注:在windows中代码中必须使用这个image,在Linux 中不需要加这个

import multiprocessing,time,os

def thread_run():
    print(threading.current_thread())

def run(name):
    time.sleep(1)
    print("hello",name,"run in ",os.getpid(),"ppid:",os.getppid())

if __name__=='__main__':#必须加
    obj=[]
    for i in range(10):
        p=multiprocessing.Process(target=run,args=('bob',))
        obj.append(p)
        p.start()
    start_time=time.time()
    for i in obj:
        i.join()
    print("run in main")
    print("spend time :",time.time()-start_time)

 

  • 与多线程同样的:也可以通过继承multiprocessing的Process来创建进程

继承multiprocessing的Process类的类要主要做两件事:

1.如果初始化自己的变量,则先要调用父类的__init__()【如果不调用,则要自己填写相关的参数,麻烦!】然后做自己的初始化;如果不需要初始化自己的变量,那么不需要重写__init__,直接使用父类的__init__即可【已经继承了】

2.重写run函数

import multiprocessing

class myProcess(multiprocessing.Process):
    def run(self):
        print("run in myProcess")

if __name__=="__main__":
    p=myProcess()
    p.start()
    p.join()


进程常用相关函数:

  • os.getpid():获取当前进程号。
  • os.getppid():获取当前进程的父进程号。
  • 进程对象.is_alive():判断进程是否存活

image

  • 进程对象.terminate():结束进程【不建议的方法,现实少用】

 


进程池:

  • 为什么需要进程池
    • 如果要启动大量的子进程,可以用进程池的方式批量创建子进程,而进程池可以限制运行的进程的数量【有太多人想要游泳,而池子的容量决定了游泳的人的数量
    • Pool类可以提供指定数量的进程供用户调用,当有新的请求提交到Pool中时,如果池还没有满,就会创建一个新的进程来执行请求。如果进程池满了,请求就会告知先等待,直到池中有进程结束,才会创建新的进程来执行这些请求

 

  • 进程池的创建与使用:
    • 使用进程池需要导入:from multiprocessing import Pool
    • 创建进程池:进程池对象=Pool(容量)
    • 给进程池添加进程:
      • 串行:进程池对象.apply(func=函数名,args=(参数,))
from multiprocessing import Pool
import time,os

def func1(i):
    time.sleep(1)
    print("run in process:",os.getpid())

if __name__=="__main__":
    pool=Pool(5)

    start_time = time.time()
    for i in range(10):
        pool.apply(func=func1,args=(i,))#串行,这里是加一个运行完再加一个
     pool.close()#先close再等待
     pool.join()
    print("main run done,spend_time:",time.time()-start_time)
      • 并行:进程池对象.apply_async(func=函数名,args=(参数,),callback=回调函数)
from multiprocessing import Pool
import time,os

def func1(i):
    time.sleep(1)
    print("run in process:",os.getpid())


if __name__=="__main__":
    pool=Pool(5)

    start_time = time.time()
    for i in range(10):
        pool.apply_async(func=func1,args=(i,))#并行
       
    pool.close()#先close再等待
    pool.join()
    print("main run done,spend_time:",time.time()-start_time)#2.6,证明是并行
  • 回调函数的使用:在并行中,支持callback=回调函数,当一个进程执行完毕后会调用该回调函数,并且参数为func中的返回值
  • 注意:回调函数是在父进程中执行的!【当儿子执行完后,会在父亲里调用函数】
from multiprocessing import Pool
import time,os

def func1(i):
    time.sleep(1)
    print("run in process:",os.getpid())
    return "filename"


def log(arg):##参数为进程创建中func的函数的返回值
    print("log done :",arg)

if __name__=="__main__":
    pool=Pool(5)

    start_time = time.time()
    for i in range(10):
        pool.apply_async(func=func1,args=(i,),callback=log,)#log的参数是func1的返回值

    pool.close()#先close再等待
    pool.join()
    print("main run done,spend_time:",time.time()-start_time)

image

  • 注:对Pool对象调用join()方法会等待所有子进程执行完毕,调用join()之前必须先调用close(),调用close()之后就不能继续添加新的Process了。【意思就是比如游泳池只卖1个小时的票,约定5点关门,那么4点多之后就不能再卖票了,就一直等着游泳池里面的人出来再关门,进程池的close是一个关门的意思,并不是结束的意思,它只是关上了进来的门,而里面的进程还可以运行】【进程池的join是等池子里的所有进程执行完毕,如果后面再进来进程的话就没完没了了,所以需要先关闭进入,再等待进程结束
    • image
      • 小测试:image

 

 

 


标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:Python3 简单的将多个PDF文件合成一个

下一篇:关于metaclass,我原以为我是懂的