位置: 编程技术 - 正文
推荐整理分享Python使用multiprocessing实现一个最简单的分布式作业调度系统(python multinomial),希望有所帮助,仅作参考,欢迎阅读内容。
文章相关热门搜索词:python multiprocessing.pool,python multiprocess,PYTHON使用缩进来体现代码之间的逻辑关系,python multiprocessing.pool,PYTHON使用缩进来体现代码之间的逻辑关系,PYTHON使用缩进来体现代码之间的逻辑关系,python multiprocessor,PYTHON使用缩进来体现代码之间的逻辑关系,内容如对您有帮助,希望把文章链接给更多的朋友!
mutilprocess像线程一样管理进程,这个是mutilprocess的核心,他与threading很是相像,对多核CPU的利用率会比threading好的多。
介绍
Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者,将任务分布到其他多个机器的多个进程中,依靠网络通信。
想到这,就在想是不是可以使用此模块来实现一个简单的作业调度系统。
实现
Job
首先创建一个Job类,为了测试简单,只包含一个job id属性
job.py
Master
Master用来派发作业和显示运行完成的作业信息
master.py
class Master:
Slave
Slave用来运行master派发的作业并将结果返回
slave.py
class Slave:
def start(self):
测试
分别打开三个linux终端,第一个终端运行master,第二个和第三个终端用了运行slave,运行结果如下
master
slave1
slave2
以上内容是小编给大家介绍的Python使用multiprocessing实现一个最简单的分布式作业调度系统,希望对大家有所帮助!
实例讲解Python中函数的调用与定义 调用函数:#!/usr/bin/envpython3#-*-coding:utf-8-*-#函数调用abs()abs(-)abs(.).abs(1,2)Traceback(mostrecentcalllast):File"stdin",line1,inmoduleTypeError:abs()takesexactlyone
Python函数中的函数(闭包)用法实例 本文实例讲述了Python闭包的用法。分享给大家供大家参考,具体如下:Python函数中也可以定义函数,也就是闭包。跟js中的闭包概念其实差不多,举个Pyt
Python简单连接MongoDB数据库的方法 本文实例讲述了Python连接MongoDB数据库的方法。分享给大家供大家参考,具体如下:Python使用pymongo操作MongoDB数据库,首先需要安装pymongo模块,如下示例
上一篇:简单讲解Python中的字符串与字符串的输入输出(python 中)
下一篇:实例讲解Python中函数的调用与定义(python的例子)
友情链接: 武汉网站建设