Python使用multiprocessing实现一个最简单的分布式作业调度系统(python multinomial)

推荐整理分享Python使用multiprocessing实现一个最简单的分布式作业调度系统(python multinomial)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:python multiprocessing.pool,python multiprocess,PYTHON使用缩进来体现代码之间的逻辑关系,python multiprocessing.pool,PYTHON使用缩进来体现代码之间的逻辑关系,PYTHON使用缩进来体现代码之间的逻辑关系,python multiprocessor,PYTHON使用缩进来体现代码之间的逻辑关系,内容如对您有帮助，希望把文章链接给更多的朋友！

mutilprocess像线程一样管理进程，这个是mutilprocess的核心，他与threading很是相像，对多核CPU的利用率会比threading好的多。

介绍

Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者，将任务分布到其他多个机器的多个进程中，依靠网络通信。

想到这，就在想是不是可以使用此模块来实现一个简单的作业调度系统。

实现

Job

首先创建一个Job类，为了测试简单，只包含一个job id属性

job.py

Master

Master用来派发作业和显示运行完成的作业信息

master.py

class Master:

Slave

Slave用来运行master派发的作业并将结果返回

slave.py

class Slave:

def start(self):

测试

分别打开三个linux终端，第一个终端运行master，第二个和第三个终端用了运行slave，运行结果如下

master

slave1

slave2

以上内容是小编给大家介绍的Python使用multiprocessing实现一个最简单的分布式作业调度系统，希望对大家有所帮助！

实例讲解Python中函数的调用与定义 调用函数：#!/usr/bin/envpython3#-*-coding:utf-8-*-#函数调用abs()abs(-)abs(.).abs(1,2)Traceback(mostrecentcalllast):File"stdin",line1,inmoduleTypeError:abs()takesexactlyone

Python函数中的函数(闭包)用法实例 本文实例讲述了Python闭包的用法。分享给大家供大家参考，具体如下：Python函数中也可以定义函数，也就是闭包。跟js中的闭包概念其实差不多，举个Pyt

Python简单连接MongoDB数据库的方法 本文实例讲述了Python连接MongoDB数据库的方法。分享给大家供大家参考，具体如下：Python使用pymongo操作MongoDB数据库，首先需要安装pymongo模块，如下示例