位置: 编程技术 - 正文

Python利用multiprocessing实现最简单的分布式作业调度系统实例(python利用for循环求1到100的和)

编辑:rootadmin

推荐整理分享Python利用multiprocessing实现最简单的分布式作业调度系统实例(python利用for循环求1到100的和),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python利用数据输出表格,python利用数据文件统计成绩,python利用range产生列表,python利用数据输出表格,python利用for循环求1到100的和,python利用数据输出表格,python利用while循环求1+2+3......+n的和,python利用数据文件统计成绩,内容如对您有帮助,希望把文章链接给更多的朋友!

介绍

Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者,将任务分布到其他多个机器的多个进程中,依靠网络通信。想到这,就在想是不是可以使用此模块来实现一个简单的作业调度系统。在这之前,我们先来详细了解下python中的多进程管理包multiprocessing。

multiprocessing.Process

multiprocessing包是Python中的多进程管理包。它与 threading.Thread类似,可以利用multiprocessing.Process对象来创建一个进程。该进程可以允许放在Python程序内部编写的函数中。该Process对象与Thread对象的用法相同,拥有is_alive()、join([timeout])、run()、start()、terminate()等方法。属性有:authkey、daemon(要通过start()设置)、exitcode(进程在运行时为None、如果为?N,表示被信号N结束)、name、pid。此外multiprocessing包中也有Lock/Event/Semaphore/Condition类,用来同步进程,其用法也与threading包中的同名类一样。multiprocessing的很大一部份与threading使用同一套API,只不过换到了多进程的情境。

这个模块表示像线程一样管理进程,这个是multiprocessing的核心,它与threading很相似,对多核CPU的利用率会比threading好的多。

看一下Process类的构造方法:

参数说明:

group:进程所属组。基本不用 target:表示调用对象。 args:表示调用对象的位置参数元组。 name:别名 kwargs:表示调用对象的字典。

创建进程的简单实例:

执行结果:

创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,并用其start()方法启动,join()方法表示等待子进程结束以后再继续往下运行,通常用于进程间的同步。

注意:

在Windows上要想使用进程模块,就必须把有关进程的代码写在当前.py文件的if __name__ == ‘__main__' :语句的下面,才能正常使用Windows下的进程模块。Unix/Linux下则不需要。

multiprocess.Pool

当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,十几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,此时可以发挥进程池的功效。

Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程来它。

apply_async和apply

函数原型:

二者都是向进程池中添加新的进程,不同的时,apply每次添加新的进程时,主进程和新的进程会并行执行,但是主进程会阻塞,直到新进程的函数执行结束。 这是很低效的,所以python3.x之后不再使用

apply_async和apply功能相同,但是主进程不会阻塞。

运行结果:

获得进程的执行结果

结果:

map

函数原型:

Python利用multiprocessing实现最简单的分布式作业调度系统实例(python利用for循环求1到100的和)

Pool类中的map方法,与内置的map函数用法行为基本一致,它会使进程阻塞直到返回结果。

注意,虽然第二个参数是一个迭代器,但在实际使用中,必须在整个队列都就绪后,程序才会运行子进程。

执行结果:

注意:执行结果中“—-”的位置,可以看到,map之后,主进程是阻塞的,等待map的结果返回

close()

关闭进程池(pool),使其不在接受新的任务。

terminate()

结束工作进程,不在处理未处理的任务。

join()

主进程阻塞等待子进程的退出,join方法必须在close或terminate之后使用。

进程间通信

多进程最麻烦的地方就是进程间通信,IPC比线程通信要难处理的多,所以留作单独一篇来记录

利用multiprocessing实现一个最简单的分布式作业调度系统

Job

首先创建一个Job类,为了测试简单,只包含一个job id属性,将来可以封装一些作业状态,作业命令,执行用户等属性。

job.py

Master

Master用来派发作业和显示运行完成的作业信息

master.py

Slave

Slave用来运行master派发的作业并将结果返回

slave.py

测试

分别打开三个linux终端,第一个终端运行master,第二个和第三个终端用了运行slave,运行结果如下

master

slave1

slave2

总结

标签: python利用for循环求1到100的和

本文链接地址:https://www.jiuchutong.com/biancheng/372245.html 转载请保留说明!

上一篇:python中os和sys模块的区别与常用方法总结(python必学的os模块详解)

下一篇:Python基础语言学习笔记总结(精华)(python语言基础与应用答案)

  • 股权转让和变更法人一样吗?
  • 国税 增值税
  • 2021小规模免税
  • 2019年工会经费新规定
  • 存货核算与销售核算直接联系的是
  • 进料加工手册核销是什么意思
  • 油费预付卡如何开发票
  • 企业线上销售的好处
  • 公司在原有生产领域内充分利用
  • 贷款利息支出必须交税吗
  • 开专票一定要公章吗
  • 开票软件安装6位地区编号填什么
  • 公司净资产怎么算的
  • 避税和不避税怎么选
  • 带息票据贴现金额怎么算
  • 烟丝消费税组成计税价格
  • 政府奖励如何记账
  • 纸质承兑汇票到期怎么兑现,多久能到帐
  • 无法找到脚本文件c:\windows\system32
  • 取得进项税发票分录
  • 企业奠基费用如何入账
  • 飞机票开电子发票是电子行程单吗
  • 民间借贷以工资抵押的案例
  • 企业支付个人劳务费需要发票吗
  • 成品油企业自用油需要开具发票吗
  • 汇算清缴中企业基础信息表
  • 未分配收益怎么取出
  • 酒店购进布草可直接确认为成本吗
  • nrm报错
  • 建筑业2021年享受核定征收吗
  • 买入返售金融资产和卖出回购金融资产
  • 华为od机试成绩什么时候出来
  • 小规模纳税人增值税免税政策
  • 住宿费电子发票没有章
  • html里面有什么
  • 增值税纳税申报实训报告
  • 织梦栏目描述调用
  • 债券回售手续费是多少
  • 附加税扣款时做成了借税金及附加怎么办
  • 在计算应纳税所得额时,纳税人因自然灾害
  • 小规模季报利润表的本月数怎么报
  • 残疾人就业相关论文题目
  • 交易性金融资产公允价值变动怎么算
  • 房屋估价需要准备什么
  • 销项税计提多了
  • 税金及附加如何预测
  • 偿债基金作用
  • 经费开支要求
  • 个人挂靠公司承接工程如何做会计处理?
  • 小规模企业发票税率是多少
  • 股权变更产生的税费
  • 减免税款属于政府补助利得吗
  • 个人银行帐户可以代理销户吗?
  • window10预览在哪里找
  • 新买的u盘安全吗
  • Windows任务计划程序服务
  • windows sky high
  • driver's
  • .ctc文件
  • centos怎么安装
  • window8所有程序在哪
  • win7安装flash提示连接失败
  • win7系统介绍
  • win7桌面壁纸自动更换关闭
  • 升级win10系统错误代码0x80072F8F
  • cocos2d-x 3.2 在window平台vs2012下解决中文乱码问题
  • 初学excel零基础教学视频
  • 浏览器隐藏用法
  • 怎么把perl删除干净
  • linux中date命令详解
  • javascript简明教程
  • javascript substring的用法
  • 消费税增值税的区别与联系
  • 上海个人到税务局怎么开票
  • 珠海地区电话区号
  • 税控盘开票怎么赋码的教程
  • 金税盘读取发票
  • 云南4050人员2020最新政策
  • 深圳布吉下水径旧改
  • 运输合同的印花税怎么申报
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设