python3.x pool.map方法的实质
2019-01-16 05:50:05来源:博客园 阅读 ()
我使用多进程的一般方式,都是multiprocessing模块中的Pool.map()方法。下面写一个简单的示例和解析。至于此种方法使用多进程的效率问题,还希望大佬予以指正。
示例:
""" 探索pool.map多进程执行方式的实质 """ from multiprocessing import Pool from time import sleep from datetime import datetime class forMap: def __init__(self): self.name = '没啥用的初始化' def forPrinit(self, i): sleep(i) print(i) return i ** 2
基本的代码已经写好,下面看看怎么使用多进程去执行。
- 执行示例1:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 进程池中创建两个进程,调用计算机的两个内核去帮我做事。 p = Pool(2) l = [2, 4, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多进程执行时间:', e - s)
运行结果:
2 4 6 [4, 16, 36] 多进程执行时间: 0:00:08.191251
由于在进程池中创建了两个进程,所以代码会调用计算机的两个内核。而列表l中的三个元素中的前两个(“2”和“4”),会依次传入函数中,由计算机内核A和B去执行。当某一个内核执行完,会继续接收下一个传入参数“6”函数。而且内核A执行的函数,只会sleep两秒,所以,传入参数“6”的函数会由内核A去执行。所以A一共执行了2 + 6 为8秒,又由于是并行,所以总的执行时间是8秒(多的那零点几是初始化、赋值、打印等操作)。
- 执行示例2:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 进程池中创建三个进程 p = Pool(3) l = [2, 4, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多进程执行时间:', e - s)
执行结果:
2 4 6 [4, 16, 36] 多进程执行时间: 0:00:06.273263
创建了三个进程 ,并行执行,所以执行时间是6秒
- 执行示例3:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 进程池中创建三个进程 p = Pool(3) l = [2, 4, 6, 8] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多进程执行时间:', e - s)
执行结果:
2 4 6 8 [4, 16, 36, 64] 多进程执行时间: 0:00:10.211451
在列表中添加一个元素,首先内核A、B、C分别执行2, 4, 6。A先结束,所以8也会由A来执行。
- 执行示例4:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 进程池中创建三个进程 p = Pool(2) l = [2, 4, 8, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多进程执行时间:', e - s)
执行结果:
2 4 8 6 [4, 16, 64, 36] 多进程执行时间: 0:00:10.200389
还是创建两个进程,将列表中第3和第4个元素交换位置,执行结果为10秒多,而且返回值也是交换过位置之后的,说明map方法中,可迭代对象传入函数是从前到后逐个提取元素。
原文链接:https://www.cnblogs.com/zrmw/p/10272034.html
如有疑问请与原作者联系
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
上一篇:logging模块
- python_字符串方法 2019-08-13
- python_公共方法 2019-08-13
- python3 之 判断闰年小实例 2019-08-13
- pycharm查看函数用法,参数信息的设置方法 2019-07-24
- Python多进程方式抓取基金网站内容的方法分析 2019-07-24
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash