位置: 编程技术 - 正文

python并发编程之多进程、多线程、异步和协程详解(python并发和并行)

编辑:rootadmin

推荐整理分享python并发编程之多进程、多线程、异步和协程详解(python并发和并行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python的并发,python 并发编程,python并发1000个http请求,python并发和并行,python并发和并行,python并行编程,python并发执行函数,python3并发,内容如对您有帮助,希望把文章链接给更多的朋友!

最近学习python并发,于是对多进程、多线程、异步和协程做了个总结。一、多线程

多线程就是允许一个进程内存在多个控制权,以便让多个函数同时处于激活状态,从而让多个函数的操作同时运行。即使是单CPU的计算机,也可以通过不停地在不同线程的指令间切换,从而造成多线程同时运行的效果。

多线程相当于一个并发(concunrrency)系统。并发系统一般同时执行多个任务。如果多个任务可以共享资源,特别是同时写入某个变量的时候,就需要解决同步的问题,比如多线程火车售票系统:两个指令,一个指令检查票是否卖完,另一个指令,多个窗口同时卖票,可能出现卖出不存在的票。

在并发情况下,指令执行的先后顺序由内核决定。同一个线程内部,指令按照先后顺序执行,但不同线程之间的指令很难说清除哪一个会先执行。因此要考虑多线程同步的问题。同步(synchronization)是指在一定的时间内只允许某一个线程访问某个资源。

1、thread模块

2、threading模块threading.Thread 创建一个线程。

给判断是否有余票和卖票,加上互斥锁,这样就不会造成一个线程刚判断没有余票,而另外一个线程就执行卖票操作。

二、协程(又称微线程,纤程)

协程,与线程的抢占式调度不同,它是协作式调度。协程也是单线程,但是它能让原来要使用异步+回调方式写的非人类代码,可以用看似同步的方式写出来。

1、协程在python中可以由生成器(generator)来实现。

首先要对生成器和yield有一个扎实的理解.

调用一个普通的python函数,一般是从函数的第一行代码开始执行,结束于return语句、异常或者函数执行(也可以认为是隐式地返回了None)。

一旦函数将控制权交还给调用者,就意味着全部结束。而有时可以创建能产生一个序列的函数,来“保存自己的工作”,这就是生成器(使用了yield关键字的函数)。

能够“产生一个序列”是因为函数并没有像通常意义那样返回。return隐含的意思是函数正将执行代码的控制权返回给函数被调用的地方。而"yield"的隐含意思是控制权的转移是临时和自愿的,我们的函数将来还会收回控制权。

看一下生产者/消费者的例子:

当程序执行到produce的yield i时,返回了一个generator并暂停执行,当我们在custom中调用p.next(),程序又返回到produce的yield i 继续执行,这样 l 中又append了元素,然后我们print l.pop(),直到p.next()引发了StopIteration异常。

2、Stackless Python

3、greenlet模块

python并发编程之多进程、多线程、异步和协程详解(python并发和并行)

基于greenlet的实现则性能仅次于Stackless Python,大致比Stackless Python慢一倍,比其他方案快接近一个数量级。其实greenlet不是一种真正的并发机制,而是在同一线程内,在不同函数的执行代码块之间切换,实施“你运行一会、我运行一会”,并且在进行切换时必须指定何时切换以及切换到哪。

4、eventlet模块

三、多进程1、子进程(subprocess包)

在python中,通过subprocess包,fork一个子进程,并运行外部程序。

调用系统的命令的时候,最先考虑的os模块。用os.system()和os.popen()来进行操作。但是这两个命令过于简单,不能完成一些复杂的操作,如给运行的命令提供输入或者读取命令的输出,判断该命令的运行状态,管理多个命令的并行等等。这时subprocess中的Popen命令就能有效的完成我们需要的操作

利用subprocess.PIPE将多个子进程的输入和输出连接在一起,构成管道(pipe):

communicate() 方法从stdout和stderr中读出数据,并输入到stdin中。

2、多进程(multiprocessing包)

(1)、multiprocessing包是Python中的多进程管理包。与threading.Thread类似,它可以利用multiprocessing.Process对象来创建一个进程。

进程池 (Process Pool)可以创建多个进程。

apply_async(func,args) 从进程池中取出一个进程执行func,args为func的参数。它将返回一个AsyncResult的对象,你可以对该对象调用get()方法以获得结果。

close() 进程池不再创建新的进程

join() wait进程池中的全部进程。必须对Pool先调用close()方法才能join。

(2)、多进程共享资源

通过共享内存和Manager对象:用一个进程作为服务器,建立Manager来真正存放资源。

其它的进程可以通过参数传递或者根据地址来访问Manager,建立连接后,操作服务器上的资源。

四、异步

无论是线程还是进程,使用的都是同步进制,当发生阻塞时,性能会大幅度降低,无法充分利用CPU潜力,浪费硬件投资,更重要造成软件模块的铁板化,紧耦合,无法切割,不利于日后扩展和变化。

不管是进程还是线程,每次阻塞、切换都需要陷入系统调用(system call),先让CPU跑操作系统的调度程序,然后再由调度程序决定该跑哪一个进程(线程)。多个线程之间在一些访问互斥的代码时还需要加上锁,

现下流行的异步server都是基于事件驱动的(如nginx)。

异步事件驱动模型中,把会导致阻塞的操作转化为一个异步操作,主线程负责发起这个异步操作,并处理这个异步操作的结果。由于所有阻塞的操作都转化为异步操作,理论上主线程的大部分时间都是在处理实际的计算任务,少了多线程的调度时间,所以这种模型的性能通常会比较好。

标签: python并发和并行

本文链接地址:https://www.jiuchutong.com/biancheng/383436.html 转载请保留说明!

上一篇:微信 用脚本查看是否被微信好友删除(现在的微信怎么用脚本登陆了)

下一篇:python中json格式数据输出的简单实现方法(python jsonp)

  • 印花税额计算及计税基础
  • 注册资本没有全额怎么办
  • 土增清算尾盘销售
  • 赔偿费计入费用减应收账款怎么做账
  • 上月计提工资下月要冲回吗冲会吗
  • 本年利润包含增值税吗
  • 增值税附征优惠政策
  • 租赁的设备伤人了谁的责任
  • 收到国家退税
  • 关于公司食堂的文案
  • 企业出租自有厂房超经营吗
  • 过路费发票可以抵扣增值税吗
  • 长期借款费用资本化
  • 资产基金科目如何选择
  • 承兑汇票怎么换算
  • 工资个人所得税标准表
  • 无票收入报税后,后期又开票出去怎么处理?
  • 王者荣耀通用铭文狩猎和隐匿
  • 进项税和销项税怎么算
  • 补助是按基本工资还是总工资
  • 公务车加油入什么科目
  • 出差人员差旅费作细的说明叫什么
  • php编写
  • smarty模板判断数组为空的方法
  • win7如何调出浏览器
  • 电脑dwm.exe是什么
  • 购入固定资产的借款利息支出
  • 债券利息收入属于什么会计科目
  • 自适应屏幕宽度
  • 最贵的电脑键盘
  • 季度所得税表中营业收入填万元还是总金额
  • 宣告分配现金股利和股票股利的区别
  • 公允价值变动损益在利润表哪里
  • js中this指向有几种情况
  • py转换成exe后打开没用
  • php正则匹配网址
  • 个人所得税专项附加扣除赡养老人
  • 防伪税款服务费抵扣
  • 完税证明可以去税务局补打吗
  • 避税的形式
  • 劳务派遣公司经营情况说明怎么写
  • 何为居民企业
  • 应收账款坏账计提比例新标准
  • 清算所得税计税基础
  • 利息发票如何做会计分录
  • 售后更换零件的申请
  • 期末余额和期初余额
  • 机动车销售折让红字信息表
  • 收到免税发票怎么做账
  • 职工福利费的计提比例为职工工资总额扣除奖金后的
  • 过程中必须有哪两种状态
  • 苗木免税吗
  • 折扣怎么写会计分录
  • 发票怎么看是普票还是专票
  • 跨国公司国内外发展现状
  • 销售固定资产怎么做账务处理
  • 健全的财务会计制度承诺函
  • 数据转换常见策略
  • xp怎么解压文件
  • freebsd与linux
  • ubuntu nm
  • linux命令合集
  • Windows更新失败
  • win7系统怎么调鼠标
  • win8关机立马自动重启
  • linux退出telnet服务
  • 如何关闭win8快速启动
  • linux 中的MYSQL命令汇总 适合学习linux下配置mysql的朋友
  • win8.1怎么关闭更新
  • cocos creator js教程
  • bootstrap designer
  • UNITY开发工程师
  • js获取时间精确到毫秒
  • javascript中var的作用
  • 使用权资产
  • 广西12366医保缴费
  • 纳税申报期限2023
  • 税务局风险防控工作总结
  • 消费税的税率只有比例税率和定额税率两种判断题
  • 转卖车辆车船税多少
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设