位置: 编程技术 - 正文

Python 多核并行计算的示例代码(python多核并行处理)

编辑:rootadmin

推荐整理分享Python 多核并行计算的示例代码(python多核并行处理),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python 多核并行 windows,python多核并行处理,python多核并行处理,python 多核并行计算,python多核并行处理,python多核并行处理,python 多核并行 windows,python 多核并行计算,内容如对您有帮助,希望把文章链接给更多的朋友!

以前写点小程序其实根本不在乎并行,单核跑跑也没什么问题,而且我的电脑也只有双核四个超线程(下面就统称核好了),觉得去折腾并行没啥意义(除非在做IO密集型任务)。然后自从用上了核GB内存,看到 htop 里面一堆空载的核,很自然地就会想这个并行必须去折腾一下。后面发现,其实 Python 的并行真的非常简单。

multiprocessing vs threading

Python 自带的库又全又好用,这是我特别喜欢 Python 的原因之一。Python 里面有 multiprocessing和 threading 这两个用来实现并行的库。用线程应该是很自然的想法,毕竟(直觉上)开销小,还有共享内存的福利,而且在其他语言里面线程用的确实是非常频繁。然而,我可以很负责任的说,如果你用的是 CPython 实现,那么用了 threading 就等同于和并行计算说再见了(实际上,甚至会比单线程更慢),除非这是个IO密集型的任务。

GIL

CPython 指的是 python.org 提供的 Python 实现。是的,Python 是一门语言,它有各种不同的实现,比如 PyPy, Jython, IronPython 等等……我们用的最多的就是 CPython,它几乎就和 Python 画上了等号。

CPython 的实现中,使用了 GIL 即全局锁,来简化解释器的实现,使得解释器每次只执行一个线程中的字节码。也就是说,除非是在等待IO操作,否则 CPython 的多线程就是彻底的谎言!

有关 GIL 下面两个资料写的挺好的:

GIL 的缘故 threading 不能用,那么我们就好好研究研究 multiprocessing。(当然,如果你说你不用 CPython,没有 GIL 的问题,那也是极佳的。)

Python 多核并行计算的示例代码(python多核并行处理)

首先介绍一个简单粗暴,非常实用的工具,就是 multiprocessing.Pool。如果你的任务能用 ys = map(f, xs) 来解决,大家可能都知道,这样的形式天生就是最容易并行的,那么在 Python 里面并行计算这个任务真是再简单不过了。举个例子,把每个数都平方:

map 直接返回列表,而 i 开头的两个函数返回的是迭代器;imap_unordered 返回的是无序的。

当计算时间比较长的时候,我们可能想要加上一个进度条,这个时候 i 系列的好处就体现出来了。另外,有一个小技巧,就是输出 r 可以使得光标回到行首而不换行,这样就可以制作简易的进度条了。

更复杂的操作

要进行更复杂的操作,可以直接使用 multiprocessing.Process 对象。要在进程间通信可以使用:

multiprocessing.Pipe multiprocessing.Queue 同步原语 共享变量

其中我强烈推荐的就是 Queue,因为其实很多场景就是生产者消费者模型,这个时候用 Queue 就解决问题了。用的方法也很简单,现在父进程创建 Queue,然后把它当做 args 或者 kwargs 传给 Process 就好了。

使用 Theano 或者 Tensorflow 等工具时的注意事项

需要注意的是,在 import theano 或者 import tensorflow 等调用了 Cuda 的工具的时候会产生一些副作用,这些副作用会原样拷贝到子进程中,然后就发生错误,如:

could not retrieve CUDA device count: CUDA_ERROR_NOT_INITIALIZED

解决的方法是,保证父进程不引入这些工具,而是在子进程创建好了以后,让子进程各自引入。

如果使用 Process,那就在 target 函数里面 import。举个例子:

如果使用 Pool,那么可以编写一个函数,在这个函数里面 import,并且把这个函数作为 initializer传入到 Pool 的构造函数里面。举个例子:

标签: python多核并行处理

本文链接地址:https://www.jiuchutong.com/biancheng/372180.html 转载请保留说明!

上一篇:python判断字符串是否是json格式方法分享(Python判断字符串结尾并输出yes或no)

下一篇:python生成excel的实例代码(python怎么生成excel)

  • 如何确定一个企业在网络营销中的目标受众?
  • 银行承兑贴现的会计分录怎么做
  • 行政人员出差预借差旅费需要预算会计吗
  • 长期待摊费用摊销表
  • 应收账款多几分钱怎么处理
  • 发票缴税怎么交的
  • 何为提租补贴
  • 租客一次性支付一年租金需要交个税吗
  • 个体户要申报哪些报表
  • 营改增后企业缴税种类
  • 小规模纳税人购进商品的会计分录
  • 进项税大于销项税是不是不用交税了
  • 企业车辆保险费要按什么交印花税的
  • 违约支付罚款计入哪里
  • 应收账款账龄怎么查
  • 风险控制措施包括哪5个方面
  • 出售汽车属于什么费用
  • 分期收款什么是分期还款
  • 门诊医保报销流程详细步骤
  • 在Linux系统中安装了一块虚拟磁盘大小的2G
  • 电脑屏幕保护不能设置
  • 销售差异计算公式
  • 社保缴费要和工龄一致吗
  • 公司股权转让的印花税谁来承担
  • 取得土地所有权范围内的树如何处理
  • windows11怎么设置默认应用
  • linux joe
  • 投资企业流程
  • 发放应付职工薪酬的账务处理
  • csrrs.exe
  • 无偿转让股权如何做账
  • 银行存款转定期存款分录
  • 销售返利计入什么费用
  • 金融业贷款损失多少
  • 哪些费用报销可以不用发票
  • echarts在地图上标记图标
  • 代扣代缴应付职工薪酬账务处理
  • 中国姓氏英文写法
  • 模型的内容
  • 分公司二季度安全生产分析会内容
  • 个体户办营业执照有什么优点和缺点
  • 资金占用费怎么开票
  • 现金流出包括所有股票吗
  • 帝国cms移动端
  • 织梦相关文章调用
  • 房产税从租和从价都要交吗
  • 新成立企业多长时间可以销售小微企业
  • 现金流量表编制原则
  • 顺流交易为什么也要减
  • 低值易耗品可以报废吗
  • 企业支付临时工劳务报酬需要取得发票吗
  • 工程款多付了如何追回
  • 股权变更的股东个税缴纳
  • 对供应商的罚款需要开票吗
  • 会计中借方和贷方各指什么
  • 小企业会计准则坏账怎么处理
  • 无形资产摊销年限最新规定
  • 预收账款最多挂几年
  • mysql5.7安装教程详细
  • windows的实验步骤
  • winxp u盘拒绝访问
  • OpenSolaris 6/06 DVD版本
  • 系统运行缓慢解决方法
  • 自动批处理文件的名字是什么
  • git连接linux服务器
  • win8系统如何连接wifi
  • windows8启动管理器
  • Unity3D游戏开发毕业论文
  • node.js调用第三方物流跟踪api
  • 轮廓理论
  • unity3d颜色
  • javascript中的this属性
  • jquery mobile怎么样
  • 中国纳税大户排行
  • 对税务总局党组织的评价
  • 国家税务总局,湖北省税务局
  • 辽宁省地税社保缴费基数
  • 济南税务局投诉电话多少
  • 18款凯美瑞中控屏
  • 地税局属于市直单位吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设