位置: 编程技术 - 正文

python并发编程之多进程、多线程、异步和协程详解(python并发和并行)

编辑:rootadmin

推荐整理分享python并发编程之多进程、多线程、异步和协程详解(python并发和并行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python的并发,python 并发编程,python并发1000个http请求,python并发和并行,python并发和并行,python并行编程,python并发执行函数,python3并发,内容如对您有帮助,希望把文章链接给更多的朋友!

最近学习python并发,于是对多进程、多线程、异步和协程做了个总结。一、多线程

多线程就是允许一个进程内存在多个控制权,以便让多个函数同时处于激活状态,从而让多个函数的操作同时运行。即使是单CPU的计算机,也可以通过不停地在不同线程的指令间切换,从而造成多线程同时运行的效果。

多线程相当于一个并发(concunrrency)系统。并发系统一般同时执行多个任务。如果多个任务可以共享资源,特别是同时写入某个变量的时候,就需要解决同步的问题,比如多线程火车售票系统:两个指令,一个指令检查票是否卖完,另一个指令,多个窗口同时卖票,可能出现卖出不存在的票。

在并发情况下,指令执行的先后顺序由内核决定。同一个线程内部,指令按照先后顺序执行,但不同线程之间的指令很难说清除哪一个会先执行。因此要考虑多线程同步的问题。同步(synchronization)是指在一定的时间内只允许某一个线程访问某个资源。

1、thread模块

2、threading模块threading.Thread 创建一个线程。

给判断是否有余票和卖票,加上互斥锁,这样就不会造成一个线程刚判断没有余票,而另外一个线程就执行卖票操作。

二、协程(又称微线程,纤程)

协程,与线程的抢占式调度不同,它是协作式调度。协程也是单线程,但是它能让原来要使用异步+回调方式写的非人类代码,可以用看似同步的方式写出来。

1、协程在python中可以由生成器(generator)来实现。

首先要对生成器和yield有一个扎实的理解.

调用一个普通的python函数,一般是从函数的第一行代码开始执行,结束于return语句、异常或者函数执行(也可以认为是隐式地返回了None)。

一旦函数将控制权交还给调用者,就意味着全部结束。而有时可以创建能产生一个序列的函数,来“保存自己的工作”,这就是生成器(使用了yield关键字的函数)。

能够“产生一个序列”是因为函数并没有像通常意义那样返回。return隐含的意思是函数正将执行代码的控制权返回给函数被调用的地方。而"yield"的隐含意思是控制权的转移是临时和自愿的,我们的函数将来还会收回控制权。

看一下生产者/消费者的例子:

当程序执行到produce的yield i时,返回了一个generator并暂停执行,当我们在custom中调用p.next(),程序又返回到produce的yield i 继续执行,这样 l 中又append了元素,然后我们print l.pop(),直到p.next()引发了StopIteration异常。

2、Stackless Python

3、greenlet模块

python并发编程之多进程、多线程、异步和协程详解(python并发和并行)

基于greenlet的实现则性能仅次于Stackless Python,大致比Stackless Python慢一倍,比其他方案快接近一个数量级。其实greenlet不是一种真正的并发机制,而是在同一线程内,在不同函数的执行代码块之间切换,实施“你运行一会、我运行一会”,并且在进行切换时必须指定何时切换以及切换到哪。

4、eventlet模块

三、多进程1、子进程(subprocess包)

在python中,通过subprocess包,fork一个子进程,并运行外部程序。

调用系统的命令的时候,最先考虑的os模块。用os.system()和os.popen()来进行操作。但是这两个命令过于简单,不能完成一些复杂的操作,如给运行的命令提供输入或者读取命令的输出,判断该命令的运行状态,管理多个命令的并行等等。这时subprocess中的Popen命令就能有效的完成我们需要的操作

利用subprocess.PIPE将多个子进程的输入和输出连接在一起,构成管道(pipe):

communicate() 方法从stdout和stderr中读出数据,并输入到stdin中。

2、多进程(multiprocessing包)

(1)、multiprocessing包是Python中的多进程管理包。与threading.Thread类似,它可以利用multiprocessing.Process对象来创建一个进程。

进程池 (Process Pool)可以创建多个进程。

apply_async(func,args) 从进程池中取出一个进程执行func,args为func的参数。它将返回一个AsyncResult的对象,你可以对该对象调用get()方法以获得结果。

close() 进程池不再创建新的进程

join() wait进程池中的全部进程。必须对Pool先调用close()方法才能join。

(2)、多进程共享资源

通过共享内存和Manager对象:用一个进程作为服务器,建立Manager来真正存放资源。

其它的进程可以通过参数传递或者根据地址来访问Manager,建立连接后,操作服务器上的资源。

四、异步

无论是线程还是进程,使用的都是同步进制,当发生阻塞时,性能会大幅度降低,无法充分利用CPU潜力,浪费硬件投资,更重要造成软件模块的铁板化,紧耦合,无法切割,不利于日后扩展和变化。

不管是进程还是线程,每次阻塞、切换都需要陷入系统调用(system call),先让CPU跑操作系统的调度程序,然后再由调度程序决定该跑哪一个进程(线程)。多个线程之间在一些访问互斥的代码时还需要加上锁,

现下流行的异步server都是基于事件驱动的(如nginx)。

异步事件驱动模型中,把会导致阻塞的操作转化为一个异步操作,主线程负责发起这个异步操作,并处理这个异步操作的结果。由于所有阻塞的操作都转化为异步操作,理论上主线程的大部分时间都是在处理实际的计算任务,少了多线程的调度时间,所以这种模型的性能通常会比较好。

标签: python并发和并行

本文链接地址:https://www.jiuchutong.com/biancheng/383436.html 转载请保留说明!

上一篇:微信 用脚本查看是否被微信好友删除(现在的微信怎么用脚本登陆了)

下一篇:python中json格式数据输出的简单实现方法(python jsonp)

  • 递延所得税资产和负债怎么理解
  • 税收的基本特征包括?
  • 房地产企业增值税收入确认时间
  • 长期待摊费用的账务处理
  • 季度企业所得税可以不预缴吗
  • 营业外支出怎么结转本年利润
  • 税负率怎么算计算公式举例说明
  • 银行承兑逾期证明怎么写
  • 发票未到的库存商品如何做账
  • 筹备期会计分录
  • 合同和付款单位不一致发票应该开给谁
  • 企业税收扣除标准
  • 延期付款利息的税率是多少
  • 装修增值税普通发票几个点
  • 费用结转到本年利润是手动还自动结转?
  • 汇算清缴涉及到哪些科目的调整
  • 没有成立工会的企业要交工会筹备金吗
  • 增值税抵扣联退税多少
  • 政府补贴专项资金如何入账
  • 建筑业调试费进什么科目?
  • 代驾费用入什么二级科目
  • 个体工商户怎样开发票
  • 原本可以打开的软件
  • PHP:xml_get_error_code()的用法_XML解析器函数
  • 期货公司保证金怎么算的
  • 出口企业增值税怎么算
  • windows无法验证显卡驱动的数字签名
  • 微信小程序下单可以退款吗
  • 看望员工生病的家属支付现金如何入账
  • 公司房产税如何征收税率
  • 怎么计算应缴所得税
  • phpinfophp漏洞利用
  • 企业收取租金的未开具发票的怎么计算税款
  • 餐厅的餐具怎么摆
  • 增值税报了所得税未报可以买发票吗
  • gpt指标
  • ai当前的发展
  • 路由vue-router
  • mfc中format
  • python字符串如何提取单词
  • 网上抄税报税操作流程
  • 代开专票时缴纳的增值税账务处理如何做?
  • 在建工程过程中取得收入怎么入账
  • 公司收购股权交什么税
  • 收到保险公司退款
  • 电子承兑汇票贴现怎么做账
  • access中文版
  • 哪个命令可以对mysql数据库做完全备份
  • 生产成本科目期末怎么结转
  • 退货占销售比
  • 收到的进项发票在哪里认证
  • 客户提现产生的费用计入
  • 银行电子承兑到期后怎么操作
  • 汽车配件属于什么业务类型
  • 应交税费应交增值税借贷方向
  • 企业跨年度支出怎么计算
  • 其它权益工具投资和其他债权投资
  • 什么叫系统服务
  • 余额调节表怎么填写例题
  • java程序怎么直接运行
  • mysql 随机io
  • vultr vps搭建
  • windowsxp2
  • win8优化驱动器
  • 写出10个linux系统操作命令和用法
  • jsp环境变量配置的步骤
  • centos屏蔽ip
  • win10系统电脑开机密码在哪里设置
  • bash脚本语法
  • cocos2dx4.0入门
  • cocos2dx schedule
  • 生成0-100的随机数,直到生成88为止,停止循环
  • nodejs事件队列
  • javascript高级教程pdf
  • 甘肃国家税务发票查询
  • 江苏税务开发票
  • 发票金额模糊怎么查询
  • 红字专用发票进什么科目
  • 辽宁省疫情期间工资发放标准
  • 电子专用发票怎么申请领用
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设