位置: 编程技术 - 正文

python并发编程之多进程、多线程、异步和协程详解(python并发和并行)

编辑:rootadmin

推荐整理分享python并发编程之多进程、多线程、异步和协程详解(python并发和并行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python的并发,python 并发编程,python并发1000个http请求,python并发和并行,python并发和并行,python并行编程,python并发执行函数,python3并发,内容如对您有帮助,希望把文章链接给更多的朋友!

最近学习python并发,于是对多进程、多线程、异步和协程做了个总结。一、多线程

多线程就是允许一个进程内存在多个控制权,以便让多个函数同时处于激活状态,从而让多个函数的操作同时运行。即使是单CPU的计算机,也可以通过不停地在不同线程的指令间切换,从而造成多线程同时运行的效果。

多线程相当于一个并发(concunrrency)系统。并发系统一般同时执行多个任务。如果多个任务可以共享资源,特别是同时写入某个变量的时候,就需要解决同步的问题,比如多线程火车售票系统:两个指令,一个指令检查票是否卖完,另一个指令,多个窗口同时卖票,可能出现卖出不存在的票。

在并发情况下,指令执行的先后顺序由内核决定。同一个线程内部,指令按照先后顺序执行,但不同线程之间的指令很难说清除哪一个会先执行。因此要考虑多线程同步的问题。同步(synchronization)是指在一定的时间内只允许某一个线程访问某个资源。

1、thread模块

2、threading模块threading.Thread 创建一个线程。

给判断是否有余票和卖票,加上互斥锁,这样就不会造成一个线程刚判断没有余票,而另外一个线程就执行卖票操作。

二、协程(又称微线程,纤程)

协程,与线程的抢占式调度不同,它是协作式调度。协程也是单线程,但是它能让原来要使用异步+回调方式写的非人类代码,可以用看似同步的方式写出来。

1、协程在python中可以由生成器(generator)来实现。

首先要对生成器和yield有一个扎实的理解.

调用一个普通的python函数,一般是从函数的第一行代码开始执行,结束于return语句、异常或者函数执行(也可以认为是隐式地返回了None)。

一旦函数将控制权交还给调用者,就意味着全部结束。而有时可以创建能产生一个序列的函数,来“保存自己的工作”,这就是生成器(使用了yield关键字的函数)。

能够“产生一个序列”是因为函数并没有像通常意义那样返回。return隐含的意思是函数正将执行代码的控制权返回给函数被调用的地方。而"yield"的隐含意思是控制权的转移是临时和自愿的,我们的函数将来还会收回控制权。

看一下生产者/消费者的例子:

当程序执行到produce的yield i时,返回了一个generator并暂停执行,当我们在custom中调用p.next(),程序又返回到produce的yield i 继续执行,这样 l 中又append了元素,然后我们print l.pop(),直到p.next()引发了StopIteration异常。

2、Stackless Python

3、greenlet模块

python并发编程之多进程、多线程、异步和协程详解(python并发和并行)

基于greenlet的实现则性能仅次于Stackless Python,大致比Stackless Python慢一倍,比其他方案快接近一个数量级。其实greenlet不是一种真正的并发机制,而是在同一线程内,在不同函数的执行代码块之间切换,实施“你运行一会、我运行一会”,并且在进行切换时必须指定何时切换以及切换到哪。

4、eventlet模块

三、多进程1、子进程(subprocess包)

在python中,通过subprocess包,fork一个子进程,并运行外部程序。

调用系统的命令的时候,最先考虑的os模块。用os.system()和os.popen()来进行操作。但是这两个命令过于简单,不能完成一些复杂的操作,如给运行的命令提供输入或者读取命令的输出,判断该命令的运行状态,管理多个命令的并行等等。这时subprocess中的Popen命令就能有效的完成我们需要的操作

利用subprocess.PIPE将多个子进程的输入和输出连接在一起,构成管道(pipe):

communicate() 方法从stdout和stderr中读出数据,并输入到stdin中。

2、多进程(multiprocessing包)

(1)、multiprocessing包是Python中的多进程管理包。与threading.Thread类似,它可以利用multiprocessing.Process对象来创建一个进程。

进程池 (Process Pool)可以创建多个进程。

apply_async(func,args) 从进程池中取出一个进程执行func,args为func的参数。它将返回一个AsyncResult的对象,你可以对该对象调用get()方法以获得结果。

close() 进程池不再创建新的进程

join() wait进程池中的全部进程。必须对Pool先调用close()方法才能join。

(2)、多进程共享资源

通过共享内存和Manager对象:用一个进程作为服务器,建立Manager来真正存放资源。

其它的进程可以通过参数传递或者根据地址来访问Manager,建立连接后,操作服务器上的资源。

四、异步

无论是线程还是进程,使用的都是同步进制,当发生阻塞时,性能会大幅度降低,无法充分利用CPU潜力,浪费硬件投资,更重要造成软件模块的铁板化,紧耦合,无法切割,不利于日后扩展和变化。

不管是进程还是线程,每次阻塞、切换都需要陷入系统调用(system call),先让CPU跑操作系统的调度程序,然后再由调度程序决定该跑哪一个进程(线程)。多个线程之间在一些访问互斥的代码时还需要加上锁,

现下流行的异步server都是基于事件驱动的(如nginx)。

异步事件驱动模型中,把会导致阻塞的操作转化为一个异步操作,主线程负责发起这个异步操作,并处理这个异步操作的结果。由于所有阻塞的操作都转化为异步操作,理论上主线程的大部分时间都是在处理实际的计算任务,少了多线程的调度时间,所以这种模型的性能通常会比较好。

标签: python并发和并行

本文链接地址:https://www.jiuchutong.com/biancheng/383436.html 转载请保留说明!

上一篇:微信 用脚本查看是否被微信好友删除(现在的微信怎么用脚本登陆了)

下一篇:python中json格式数据输出的简单实现方法(python jsonp)

  • 固定资产折旧会计处理
  • 收购分公司和谁签协议
  • 什么叫做增值税进项税额
  • 车票抵扣怎么做账
  • 私车公用报销油费
  • 固定资产融资租出计入什么科目
  • 一般纳税人销售使用过的固定资产
  • 用友怎么设置工龄工资
  • 生产企业出售空调设备
  • 正常经营损失
  • 支付以前年度的费用会计处理
  • 多交的应交税费怎么算
  • 发票丢失可以冲销吗
  • 固定资产入账必须有发票吗
  • 企业年会的增值税能抵扣吗?
  • 要注销的企业多久能注销
  • 增资扩股投资方要交印花税吗
  • 促销服务费经营范围怎么写
  • 企业职工福利费扣除标准
  • 软件企业的税收优惠政策
  • 药材种植政策
  • 保险车辆折旧的计算方法有哪些
  • 一次性收取的租金怎么纳税
  • 纳税人申领发票流程
  • 投资性房地产的后续计量从成本模式转为公允价值模式的
  • 闲置资金购买理财产品
  • 应收账款转让分录
  • phpunicode
  • 白鹤芋好养活吗
  • 销售退回的增值税怎么处理
  • Chateau de Castelnaud in Perigord, France (© Peter Adams/Offset by Shutterstock)
  • 企业解除人员什么意思
  • labview实例教程
  • web 自动化测试
  • RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublas‘
  • 受托加工收到的材料怎么入账
  • 不动产物权归属和内容的根据是什么?
  • 只有发票没有合同可以做账吗
  • 进货该怎么进
  • 售价金额核算法的优点有
  • ps高反差保留怎么弄
  • 修改账本
  • 出售其他债权投资产生的收益为什么计入留存收益
  • 房地产公司测绘费怎么做会计分录
  • 利润与利润率之差公式
  • 金税盘 申报
  • 普通发票和增值税普通发票一样吗
  • 企业持有住房税费
  • 出口货物不予免税的原因
  • 不得免征和抵扣税额抵减额分录
  • 注册资本金印花税税率是2.5还是5
  • 用友t3普及版价格
  • win7系统设置打印机共享
  • win10预览版21301bug
  • windowsxp电脑开机
  • ubuntu20.04常用软件
  • win8如何安装win10系统
  • windows8 enterprise
  • win8快捷键设置在哪里设置
  • react 同级组件之间传值
  • js方法
  • Android SQLite总结(一)
  • 批处理系统的应用场景
  • opengl extension
  • java script教程
  • 细说javascript
  • vue动态路由传参
  • js上滑翻页
  • unity 优化
  • JavaScript mapreduce工作原理简析
  • linux常用命令及实例
  • javascript运用
  • python UNIX_TIMESTAMP时间处理方法分析
  • python3 冒泡排序
  • Android性能优化的方面12个
  • 国家税务总局介绍
  • 取消税控盘服务费
  • 销售土地使用权的税率
  • 衡阳地税局的地理位置
  • 季度申报忘了报怎么办
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设