位置: 编程技术 - 正文

Python利用multiprocessing实现最简单的分布式作业调度系统实例(python利用for循环求1到100的和)

编辑:rootadmin

推荐整理分享Python利用multiprocessing实现最简单的分布式作业调度系统实例(python利用for循环求1到100的和),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python利用数据输出表格,python利用数据文件统计成绩,python利用range产生列表,python利用数据输出表格,python利用for循环求1到100的和,python利用数据输出表格,python利用while循环求1+2+3......+n的和,python利用数据文件统计成绩,内容如对您有帮助,希望把文章链接给更多的朋友!

介绍

Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者,将任务分布到其他多个机器的多个进程中,依靠网络通信。想到这,就在想是不是可以使用此模块来实现一个简单的作业调度系统。在这之前,我们先来详细了解下python中的多进程管理包multiprocessing。

multiprocessing.Process

multiprocessing包是Python中的多进程管理包。它与 threading.Thread类似,可以利用multiprocessing.Process对象来创建一个进程。该进程可以允许放在Python程序内部编写的函数中。该Process对象与Thread对象的用法相同,拥有is_alive()、join([timeout])、run()、start()、terminate()等方法。属性有:authkey、daemon(要通过start()设置)、exitcode(进程在运行时为None、如果为?N,表示被信号N结束)、name、pid。此外multiprocessing包中也有Lock/Event/Semaphore/Condition类,用来同步进程,其用法也与threading包中的同名类一样。multiprocessing的很大一部份与threading使用同一套API,只不过换到了多进程的情境。

这个模块表示像线程一样管理进程,这个是multiprocessing的核心,它与threading很相似,对多核CPU的利用率会比threading好的多。

看一下Process类的构造方法:

参数说明:

group:进程所属组。基本不用 target:表示调用对象。 args:表示调用对象的位置参数元组。 name:别名 kwargs:表示调用对象的字典。

创建进程的简单实例:

执行结果:

创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,并用其start()方法启动,join()方法表示等待子进程结束以后再继续往下运行,通常用于进程间的同步。

注意:

在Windows上要想使用进程模块,就必须把有关进程的代码写在当前.py文件的if __name__ == ‘__main__' :语句的下面,才能正常使用Windows下的进程模块。Unix/Linux下则不需要。

multiprocess.Pool

当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,十几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,此时可以发挥进程池的功效。

Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程来它。

apply_async和apply

函数原型:

二者都是向进程池中添加新的进程,不同的时,apply每次添加新的进程时,主进程和新的进程会并行执行,但是主进程会阻塞,直到新进程的函数执行结束。 这是很低效的,所以python3.x之后不再使用

apply_async和apply功能相同,但是主进程不会阻塞。

运行结果:

获得进程的执行结果

结果:

map

函数原型:

Python利用multiprocessing实现最简单的分布式作业调度系统实例(python利用for循环求1到100的和)

Pool类中的map方法,与内置的map函数用法行为基本一致,它会使进程阻塞直到返回结果。

注意,虽然第二个参数是一个迭代器,但在实际使用中,必须在整个队列都就绪后,程序才会运行子进程。

执行结果:

注意:执行结果中“—-”的位置,可以看到,map之后,主进程是阻塞的,等待map的结果返回

close()

关闭进程池(pool),使其不在接受新的任务。

terminate()

结束工作进程,不在处理未处理的任务。

join()

主进程阻塞等待子进程的退出,join方法必须在close或terminate之后使用。

进程间通信

多进程最麻烦的地方就是进程间通信,IPC比线程通信要难处理的多,所以留作单独一篇来记录

利用multiprocessing实现一个最简单的分布式作业调度系统

Job

首先创建一个Job类,为了测试简单,只包含一个job id属性,将来可以封装一些作业状态,作业命令,执行用户等属性。

job.py

Master

Master用来派发作业和显示运行完成的作业信息

master.py

Slave

Slave用来运行master派发的作业并将结果返回

slave.py

测试

分别打开三个linux终端,第一个终端运行master,第二个和第三个终端用了运行slave,运行结果如下

master

slave1

slave2

总结

标签: python利用for循环求1到100的和

本文链接地址:https://www.jiuchutong.com/biancheng/372245.html 转载请保留说明!

上一篇:python中os和sys模块的区别与常用方法总结(python必学的os模块详解)

下一篇:Python基础语言学习笔记总结(精华)(python语言基础与应用答案)

  • 印花税应税凭证书立日期怎么写
  • 销项税额计算公式依据
  • 管理费用和研发费用的区别
  • 个体工商户2023年税收政策
  • 个人所得税附加扣除中住房贷款利息扣除
  • 土地租金计入哪个会计科目
  • 对方公司开发票我方未付款如何做分录?
  • 先进制造业企业按照当期可抵扣进项税额
  • 在途物资可以结转成本吗
  • 预收账款确认收入摘要怎么写
  • 社团会费收取标准和管理办法
  • 入库出库模板
  • 买材料的仓储费会计分录
  • 与收益相关政府补助区分总额法净额法吗
  • 公司发实物要交税吗
  • 为什么报税资料老是显示有
  • 大连国税局工资待遇怎么样
  • 领用原材料的会计分录
  • 当进项大于销项需要做账务处理吗?
  • 预付费服务是什么
  • 企业存货跌价准备一经计提在以后会计期间不得转回
  • 采购与付款内部控制开题报告
  • 工资计提金额
  • 企业重组特殊性处理通俗理解
  • 华硕p8h61主板升级更换什么主板合适
  • 已认证的发票退税怎么退
  • 不是公司员工差评怎么写
  • 在win7中,打开资源管理器的快捷键
  • php操作json文件
  • 金税三期怎么更正申报
  • 猜单词游戏代码
  • linux 查看文件内容 转换字符编码
  • 先出库还是先开票
  • gnaupdaemon.exe是什么
  • 差旅费报销会计凭证
  • 如何防范增值税的税收风险
  • 工业制品买卖
  • 季度报表本期金额和累计金额
  • axios在vue中的使用慕课笔记
  • php计算多个集合的数据
  • 扣税的账户是基本户还有一般户
  • 企业小微企业贷逾期起诉法人房子会被拍卖吗?
  • 企业之间的借款计入什么科目
  • 为什么营业成本比营业收入大的时候没有计提减值准备呢
  • 耕地占用税如何计算
  • 库存商品和固定资产是单位会计资产核算的两项内容
  • 2023小型微利企业税收优惠
  • MYSQL的select 学习笔记
  • 企业申报纳税都交什么税
  • 汇算清缴后取得上一年发票
  • 企业被列入经营异常名录可以注销吗
  • 计入税金及附加借方的内容
  • 网吧是个人独资企业还是个体工商户
  • 年化收益率怎么算
  • 企业残保金如何计算
  • sql server自动生成语句
  • mysql5.5创建用户
  • 丢失的身份证补办后,原本的身份证还有用吗
  • 2008r2数据库备份
  • macOS 10.12.2下PDF崩溃严重怎么回事 macOS 10.12.2下PDF崩溃的原因以及解决办法
  • 深入解析linux内核
  • WINDOWS7系统安装包
  • centos7yum安装
  • 如何配置centos7的ip地址
  • Percona Server 5.5.44-37.3/5.6.25-73.0 发布
  • opengl画矩形函数
  • Extjs TimeField 显示正常时间格式的代码
  • android实现推送
  • html中的表格
  • 精仿和媲美专柜有什么区别
  • JavaScript获取元素
  • Javascript new Date().valueOf()的作用与时间戳由来详解
  • mysql数据类型大全
  • 中国有多少人2022
  • 盐城市地税局稽查大队长
  • 新疆干部在线网络平台登录
  • 消费税要把增值税算进去吗
  • 服务业增值税率6% 购进13%手机怎么抵扣
  • 个人所得税申报是什么意思
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设