位置: 编程技术 - 正文
推荐整理分享Python利用multiprocessing实现最简单的分布式作业调度系统实例(python利用for循环求1到100的和),希望有所帮助,仅作参考,欢迎阅读内容。
文章相关热门搜索词:python利用数据输出表格,python利用数据文件统计成绩,python利用range产生列表,python利用数据输出表格,python利用for循环求1到100的和,python利用数据输出表格,python利用while循环求1+2+3......+n的和,python利用数据文件统计成绩,内容如对您有帮助,希望把文章链接给更多的朋友!
介绍
Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者,将任务分布到其他多个机器的多个进程中,依靠网络通信。想到这,就在想是不是可以使用此模块来实现一个简单的作业调度系统。在这之前,我们先来详细了解下python中的多进程管理包multiprocessing。
multiprocessing.Process
multiprocessing包是Python中的多进程管理包。它与 threading.Thread类似,可以利用multiprocessing.Process对象来创建一个进程。该进程可以允许放在Python程序内部编写的函数中。该Process对象与Thread对象的用法相同,拥有is_alive()、join([timeout])、run()、start()、terminate()等方法。属性有:authkey、daemon(要通过start()设置)、exitcode(进程在运行时为None、如果为?N,表示被信号N结束)、name、pid。此外multiprocessing包中也有Lock/Event/Semaphore/Condition类,用来同步进程,其用法也与threading包中的同名类一样。multiprocessing的很大一部份与threading使用同一套API,只不过换到了多进程的情境。
这个模块表示像线程一样管理进程,这个是multiprocessing的核心,它与threading很相似,对多核CPU的利用率会比threading好的多。
看一下Process类的构造方法:
参数说明:
group:进程所属组。基本不用 target:表示调用对象。 args:表示调用对象的位置参数元组。 name:别名 kwargs:表示调用对象的字典。创建进程的简单实例:
执行结果:
创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,并用其start()方法启动,join()方法表示等待子进程结束以后再继续往下运行,通常用于进程间的同步。
注意:
在Windows上要想使用进程模块,就必须把有关进程的代码写在当前.py文件的if __name__ == ‘__main__' :语句的下面,才能正常使用Windows下的进程模块。Unix/Linux下则不需要。
multiprocess.Pool
当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,十几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,此时可以发挥进程池的功效。
Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程来它。
apply_async和apply
函数原型:
二者都是向进程池中添加新的进程,不同的时,apply每次添加新的进程时,主进程和新的进程会并行执行,但是主进程会阻塞,直到新进程的函数执行结束。 这是很低效的,所以python3.x之后不再使用
apply_async和apply功能相同,但是主进程不会阻塞。
运行结果:
获得进程的执行结果
结果:
map
函数原型:
Pool类中的map方法,与内置的map函数用法行为基本一致,它会使进程阻塞直到返回结果。
注意,虽然第二个参数是一个迭代器,但在实际使用中,必须在整个队列都就绪后,程序才会运行子进程。
执行结果:
注意:执行结果中“—-”的位置,可以看到,map之后,主进程是阻塞的,等待map的结果返回
close()
关闭进程池(pool),使其不在接受新的任务。
terminate()
结束工作进程,不在处理未处理的任务。
join()
主进程阻塞等待子进程的退出,join方法必须在close或terminate之后使用。
进程间通信
多进程最麻烦的地方就是进程间通信,IPC比线程通信要难处理的多,所以留作单独一篇来记录
利用multiprocessing实现一个最简单的分布式作业调度系统
Job
首先创建一个Job类,为了测试简单,只包含一个job id属性,将来可以封装一些作业状态,作业命令,执行用户等属性。
job.py
Master
Master用来派发作业和显示运行完成的作业信息
master.py
Slave
Slave用来运行master派发的作业并将结果返回
slave.py
测试
分别打开三个linux终端,第一个终端运行master,第二个和第三个终端用了运行slave,运行结果如下
master
slave1
slave2
总结
上一篇:python中os和sys模块的区别与常用方法总结(python必学的os模块详解)
下一篇:Python基础语言学习笔记总结(精华)(python语言基础与应用答案)
友情链接: 武汉网站建设