位置: 编程技术 - 正文

Python利用multiprocessing实现最简单的分布式作业调度系统实例(python利用for循环求1到100的和)

编辑:rootadmin

推荐整理分享Python利用multiprocessing实现最简单的分布式作业调度系统实例(python利用for循环求1到100的和),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python利用数据输出表格,python利用数据文件统计成绩,python利用range产生列表,python利用数据输出表格,python利用for循环求1到100的和,python利用数据输出表格,python利用while循环求1+2+3......+n的和,python利用数据文件统计成绩,内容如对您有帮助,希望把文章链接给更多的朋友!

介绍

Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者,将任务分布到其他多个机器的多个进程中,依靠网络通信。想到这,就在想是不是可以使用此模块来实现一个简单的作业调度系统。在这之前,我们先来详细了解下python中的多进程管理包multiprocessing。

multiprocessing.Process

multiprocessing包是Python中的多进程管理包。它与 threading.Thread类似,可以利用multiprocessing.Process对象来创建一个进程。该进程可以允许放在Python程序内部编写的函数中。该Process对象与Thread对象的用法相同,拥有is_alive()、join([timeout])、run()、start()、terminate()等方法。属性有:authkey、daemon(要通过start()设置)、exitcode(进程在运行时为None、如果为?N,表示被信号N结束)、name、pid。此外multiprocessing包中也有Lock/Event/Semaphore/Condition类,用来同步进程,其用法也与threading包中的同名类一样。multiprocessing的很大一部份与threading使用同一套API,只不过换到了多进程的情境。

这个模块表示像线程一样管理进程,这个是multiprocessing的核心,它与threading很相似,对多核CPU的利用率会比threading好的多。

看一下Process类的构造方法:

参数说明:

group:进程所属组。基本不用 target:表示调用对象。 args:表示调用对象的位置参数元组。 name:别名 kwargs:表示调用对象的字典。

创建进程的简单实例:

执行结果:

创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,并用其start()方法启动,join()方法表示等待子进程结束以后再继续往下运行,通常用于进程间的同步。

注意:

在Windows上要想使用进程模块,就必须把有关进程的代码写在当前.py文件的if __name__ == ‘__main__' :语句的下面,才能正常使用Windows下的进程模块。Unix/Linux下则不需要。

multiprocess.Pool

当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,十几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,此时可以发挥进程池的功效。

Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程来它。

apply_async和apply

函数原型:

二者都是向进程池中添加新的进程,不同的时,apply每次添加新的进程时,主进程和新的进程会并行执行,但是主进程会阻塞,直到新进程的函数执行结束。 这是很低效的,所以python3.x之后不再使用

apply_async和apply功能相同,但是主进程不会阻塞。

运行结果:

获得进程的执行结果

结果:

map

函数原型:

Python利用multiprocessing实现最简单的分布式作业调度系统实例(python利用for循环求1到100的和)

Pool类中的map方法,与内置的map函数用法行为基本一致,它会使进程阻塞直到返回结果。

注意,虽然第二个参数是一个迭代器,但在实际使用中,必须在整个队列都就绪后,程序才会运行子进程。

执行结果:

注意:执行结果中“—-”的位置,可以看到,map之后,主进程是阻塞的,等待map的结果返回

close()

关闭进程池(pool),使其不在接受新的任务。

terminate()

结束工作进程,不在处理未处理的任务。

join()

主进程阻塞等待子进程的退出,join方法必须在close或terminate之后使用。

进程间通信

多进程最麻烦的地方就是进程间通信,IPC比线程通信要难处理的多,所以留作单独一篇来记录

利用multiprocessing实现一个最简单的分布式作业调度系统

Job

首先创建一个Job类,为了测试简单,只包含一个job id属性,将来可以封装一些作业状态,作业命令,执行用户等属性。

job.py

Master

Master用来派发作业和显示运行完成的作业信息

master.py

Slave

Slave用来运行master派发的作业并将结果返回

slave.py

测试

分别打开三个linux终端,第一个终端运行master,第二个和第三个终端用了运行slave,运行结果如下

master

slave1

slave2

总结

标签: python利用for循环求1到100的和

本文链接地址:https://www.jiuchutong.com/biancheng/372245.html 转载请保留说明!

上一篇:python中os和sys模块的区别与常用方法总结(python必学的os模块详解)

下一篇:Python基础语言学习笔记总结(精华)(python语言基础与应用答案)

  • 结转本年利润要扣除企业所得税吗
  • 计提资产减值准备体现了会计信息质量特征的( )
  • 慰问金计入什么明细科目
  • 购买树木计入什么科目
  • 独资企业是向地税申报个税吗
  • 会计录入凭证怎么录入
  • 购买方已认证未抵扣,发票用退回吗
  • 商业汇票如何申领
  • 跨月的普票怎么作废从系统里作废
  • 退货款现金流量表填经营活动的什么科目
  • 新成立的公司银行存款如何入账
  • 买机票返钱
  • 城建税如何纳税申报
  • 公司转账给公司会计分录
  • 租房提取的话可以全部提取吗
  • 营改增后建筑业怎么开票
  • 不同的征税主体对同一纳税人
  • 原始凭证谁负责
  • 电子发票截图可以吗
  • 出纳微信收款之后怎么做
  • 向关联企业借款债资比
  • 个人转租房子
  • 投资预算的编制方法
  • 递延收益的账务处理案例
  • 劳务费单位没有代扣怎么办
  • 委托发行股票会亏本吗
  • 电脑管家游戏加速怎么卸载
  • 没有开工没有收入用书面语言表达
  • 收到保险公司车辆保险发票会计分录
  • php 替换字符
  • vue获取本地文件生成流
  • scards32.exe - scards32是什么进程 有什么用
  • fte文件怎么打开
  • php的file函数
  • 现金长款怎么做会计分录
  • 暂估入库的税务分录
  • php imagettftext
  • 银行进账单和现金缴款单的区别
  • 土地使用税计入管理费用还是税金及附加
  • 只有收据没有发票怎么报销
  • php xml转数组
  • 未开票收入不申报处罚
  • php session实例
  • 消耗品算什么科目
  • uniapp中使用amap-vue,设置安全密钥
  • 非货币型资产交换CPA
  • 固定资产原值和净值在报表哪里看
  • 进项加计抵减对账怎么做
  • 使用SQL server创建数据库和表
  • 增值税期末留抵退税原因采集确认单
  • 出口产品报关单
  • 工会经费计提分录最新规定
  • 制造费用的归集是什么意思
  • 净资产越来越少会有什么风险
  • 简易计税通过哪个科目核算
  • 汽修厂印花税怎么交
  • 强制执行的款在执行局领取吗
  • 事业单位非税收入帐务处理
  • 以他人名义投资该签订什么协议
  • 银行对公账户季度
  • 企业职工福利费支出包括哪些内容
  • 现金流量表中支付的各项税费包括
  • 毛利润利润总额净利润的关系图
  • 现金日记账本月合计怎么划线
  • 三种实现方法实现的特点
  • mysql 定点数和浮点数
  • windows自带软件有哪些
  • win7 64位系统插入磁盘提示“将磁盘插入驱动器”的解决方法
  • 使用win10
  • speedmgr.exe - speedmgr是什么进程 有什么用
  • win10系统休眠唤醒屏幕变大怎么办
  • win8系统怎样关机
  • 惠普笔记本win8.1
  • opengl调色
  • node.js编译
  • python结合了什么的高级语言
  • 一般纳税人买车可以抵扣进项吗
  • 统一社会信用代码证
  • 出口货物免抵税额怎么申报附加税
  • 苏州税务局办税时间
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设