位置: 编程技术 - 正文

深入理解python多进程编程(python怎么理解)

编辑:rootadmin

推荐整理分享深入理解python多进程编程(python怎么理解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python的了解,python怎么理解,深入理解python特性 pdf,深入理解python特性pdf百度云,浅谈python,python的理解,深入python3,深入python3,内容如对您有帮助,希望把文章链接给更多的朋友!

1、python多进程编程背景

python中的多进程最大的好处就是充分利用多核cpu的资源,不像python中的多线程,受制于GIL的限制,从而只能进行cpu分配,在python的多进程中,适合于所有的场合,基本上能用多线程的,那么基本上就能用多进程。

在进行多进程编程的时候,其实和多线程差不多,在多线程的包threading中,存在一个线程类Thread,在其中有三种方法来创建一个线程,启动线程,其实在多进程编程中,存在一个进程类Process,也可以使用那集中方法来使用;在多线程中,内存中的数据是可以直接共享的,例如list等,但是在多进程中,内存数据是不能共享的,从而需要用单独的数据结构来处理共享的数据;在多线程中,数据共享,要保证数据的正确性,从而必须要有所,但是在多进程中,锁的考虑应该很少,因为进程是不共享内存信息的,进程之间的交互数据必须要通过特殊的数据结构,在多进程中,主要的内容如下图:

2、多进程的类Process

多进程的类Process和多线程的类Thread差不多的方法,两者的接口基本相同,具体看以下的代码:

在上面例子中可以看到,多进程和多线程的API接口是一样一样的,显示创建进程,然后进行start开始运行,然后join等待进程结束。

在需要执行的函数中,打印出了进程的id和pid,从而可以看到父进程和子进程的id号,在linu中,进程主要是使用fork出来的,在创建进程的时候可以查询到父进程和子进程的id号,而在多线程中是无法找到线程的id,执行效果如下:

在操作系统中查询的id的时候,最好用pstree,清晰:

在进行运行的时候,可以看到,如果没有join语句,那么主进程是不会等待子进程结束的,是一直会执行下去,然后再等待子进程的执行。

在多进程的时候,说,我怎么得到多进程的返回值呢?然后写了下面的代码:

尝试从结果中返回值,从而在主进程中得到子进程的返回值,然而,,,并没有结果,后来一想,在进程中,进程之间是不共享内存的 ,那么使用list来存放数据显然是不可行的,进程之间的交互必须依赖于特殊的数据结构,从而以上的代码仅仅是执行进程,不能得到进程的返回值,但是以上代码修改为线程,那么是可以得到返回值的。

3、进程间的交互Queue

进程间交互的时候,首先就可以使用在多线程里面一样的Queue结构,但是在多进程中,必须使用multiprocessing里的Queue,代码如下:

其实这个是上面例子的改进,在其中,并没有使用什么其他的代码,主要就是使用Queue来保存数据,从而可以达到进程间交换数据的目的。

深入理解python多进程编程(python怎么理解)

在进行使用Queue的时候,其实用的是socket,感觉,因为在其中使用的还是发送send,然后是接收recv。

在进行数据交互的时候,其实是父进程和所有的子进程进行数据交互,所有的子进程之间基本是没有交互的,除非,但是,也是可以的,例如,每个进程去Queue中取数据,但是这个时候应该是要考虑锁,不然可能会造成数据混乱。

4、 进程之间交互Pipe

在进程之间交互数据的时候还可以使用Pipe,代码如下:

在以上代码中,主要是使用Pipe中返回的两个socket来进行传输和接收数据,在父进程中,使用的是parent_conn,在子进程中使用的是child_conn,从而子进程发送数据的方法send,而在父进程中进行接收方法recv

最好的地方在于,明确的知道收发的次数,但是如果某个出现异常,那么估计pipe不能使用了。

5、进程池pool

其实在使用多进程的时候,感觉使用pool是最方便的,在多线程中是不存在pool的。

在使用pool的时候,可以限制每次的进程数,也就是剩余的进程是在排队,而只有在设定的数量的进程在运行,在默认的情况下,进程是cpu的个数,也就是根据multiprocessing.cpu_count()得出的结果。

在poo中,有两个方法,一个是map一个是imap,其实这两方法超级方便,在执行结束之后,可以得到每个进程的返回结果,但是缺点就是每次的时候,只能有一个参数,也就是在执行的函数中,最多是只有一个参数的,否则,需要使用组合参数的方法,代码如下所示:

在使用map的时候,直接返回的一个是一个list,从而这个list也就是函数执行的结果,而在imap中,返回的是一个由结果组成的迭代器,如果需要使用多个参数的话,那么估计需要*args,从而使用参数args。

在使用apply.async的时候,可以直接使用多个参数,如下所示:

在进行得到各个结果的时候,注意使用了一个list来进行append,要不然在得到结果get的时候会阻塞进程,从而将多进程编程了单进程,从而使用了一个list来存放相关的结果,在进行得到get数据的时候,可以设置超时时间,也就是get(timeout=5),这种设置。

总结:

在进行多进程编程的时候,注意进程之间的交互,在执行函数之后,如何得到执行函数的结果,可以使用特殊的数据结构,例如Queue或者Pipe或者其他,在使用pool的时候,可以直接得到结果,map和imap都是直接得到一个list和可迭代对象,而apply_async得到的结果需要用一个list装起来,然后得到每个结果。

以上这篇深入理解python多进程编程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持积木网。

浅谈python中的面向对象和类的基本语法 当我发现要写python的面向对象的时候,我是踌躇满面,坐立不安呀。我一直在想:这个坑应该怎么爬?因为python中关于面向对象的内容很多,如果要讲

Linux中安装Python的交互式解释器IPython的教程 IPython是Python的交互式Shell,提供了代码自动补完,自动缩进,高亮显示,执行Shell命令等非常有用的特性。特别是它的代码补完功能,例如:在输入zlib.

Python的Flask框架中集成CKeditor富文本编辑器的教程 CKeditor是目前最优秀的可见即可得网页编辑器之一,它采用JavaScript编写。具备功能强大、配置容易、跨浏览器、支持多种编程语言、开源等特点。它非

标签: python怎么理解

本文链接地址:https://www.jiuchutong.com/biancheng/387613.html 转载请保留说明!

上一篇:python中根据字符串调用函数的实现方法(python字符串字符对应个数)

下一篇:浅谈python中的面向对象和类的基本语法(python面积)

  • 税务机关代开的增值税发票要加盖发票专用章吗?
  • 房地产企业样板间装修费计入什么科目
  • 私募基金如何做大规模
  • 水利基金的计税税率6
  • 凭证附件的粘法
  • 小规模现金流量表的编制方法和计算公式
  • 应付职工薪酬月末怎么结转
  • 注册资本5块钱
  • 从一个公司到另一个公司公积金
  • 员工备用金期末未报销怎么处理
  • 公司卖房产怎么缴税
  • 可税前扣除的工资
  • 通讯费可以个人承担吗
  • 无形资产的使用
  • 公司零星费用报销话术
  • 企业销售现金折扣
  • 小规模纳税人代收水电费税率
  • 学校发票抬头类型填企业还是非企业
  • 地方水利建设基金的会计分录
  • 提示涉税风险该怎么弄
  • 损益类科目包括收入类和费用类么
  • 搞金融的企业
  • 缴纳海关进口增值税
  • 个体户生产经营所得税率表2023
  • 个人所得汇算清缴是什么
  • 怎样保持ppt在所有电脑上不变
  • 如何恢复微信语言聊天
  • windows11怎么设置我的电脑
  • 电脑主板上的电池没电了会怎么样
  • 档案保管期限是写汉字吗?
  • 分配的水电费属于什么会计要素
  • 方正电脑如何做系统
  • msconfig配置文件修改
  • 进程控制块PCB不包括( )
  • 睿因无线路由器怎么设置
  • 在校学生是不是纳税人,请举例说明
  • vue项目怎么运行起来
  • uni-app实例教程
  • Access-Control-Allow-Origin 翻译
  • 《linux内核分析》
  • php文件上传操作流程图
  • 电汇收款的会计分录
  • 买配件组装成产品算生产吗
  • 文化事业建设费税收优惠2023
  • 表单上传文件
  • 生产企业免抵退是什么意思
  • 个体工商户增值税申报操作流程
  • 制造费用的归集是什么意思
  • 其他应付款如何清零
  • 加班打车费用计入什么科目
  • 计入资本公积的固定资产处置
  • 专利技术评估价值7亿
  • 返利开红字发票怎么做账
  • 什么是应收账款保理
  • 无发票的费用怎么处理
  • 低值易耗的管理制度
  • 一般纳税人先确认收入吗
  • 财务软件可以直接做管理费用吗?
  • 统计会计主要做什么
  • 年数总和法净残值怎么算
  • 建账的基本流程图
  • 重装win7系统后鼠标反应慢
  • 应该怎么消除
  • win8系统开机
  • 五种修改方法
  • 解决登陆xp系统问题
  • 在linux系统中查看文件的内容命令
  • number fields to_char
  • node与js的区别
  • 批处理新建多个文件夹
  • 三个不常见的词语有哪些
  • table css 模板
  • 星球大战与高达的关系
  • nodejs实战教程
  • nodejs eventloop
  • python数据分析入门教程
  • 电子发票冲红期限
  • 出口退税需要哪些单据
  • ca如何办理退休手续办理流程
  • 上海买房退税政策2023最新
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设