位置: 编程技术 - 正文

20招让你的Python飞起来!(如何python)

编辑:rootadmin

推荐整理分享20招让你的Python飞起来!(如何python),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python怎么搞,python怎么速成,python怎么速成,python小技巧及速度提高,python怎么速成,python小技巧及速度提高,怎么样python,python zen,内容如对您有帮助,希望把文章链接给更多的朋友!

今天分享的这篇文章,文字不多,代码为主。绝对干货,童叟无欺,主要分享了提升 Python 性能的 个技巧,教你如何告别慢Python。原文作者 开元,全栈程序员,使用 Python, Java, PHP和C++。

1. 优化算法时间复杂度

算法的时间复杂度对程序的执行效率影响最大,在Python中可以通过选择合适的数据结构来优化时间复杂度,如list和set查找某一个元素的时间复杂度分别是O(n)和O(1)。不同的场景有不同的优化方式,总得来说,一般有分治,分支界限,贪心,动态规划等思想。

2. 减少冗余数据

如用上三角或下三角的方式去保存一个大的对称矩阵。在0元素占大多数的矩阵里使用稀疏矩阵表示。

3. 合理使用copy与deepcopy

对于dict和list等数据结构的对象,直接赋值使用的是引用的方式。而有些情况下需要复制整个对象,这时可以使用copy包里的copy和deepcopy,这两个函数的不同之处在于后者是递归复制的。效率也不一样:(以下程序在ipython中运行)

timeit后面的-n表示运行的次数,后两行对应的是两个timeit的输出,下同。由此可见后者慢一个数量级。

4. 使用dict或set查找元素

Python dict和set都是使用hash表来实现(类似c++标准库中unordered_map),查找元素的时间复杂度是O(1)。

dict的效率略高(占用的空间也多一些)。

5. 合理使用生成器(generator)和yield

使用()得到的是一个generator对象,所需要的内存空间与列表的大小无关,所以效率会高一些。在具体应用上,比如set(i for i in range())会比set([i for i in range()])快。

但是对于需要循环遍历的情况:

后者的效率反而更高,但是如果循环里有break,用generator的好处是显而易见的。yield也是用于创建generator:

对于内存不是非常大的list,可以直接返回一个list,但是可读性yield更佳(人个喜好)。python2.x内置generator功能的有xrange函数、itertools包等。

6. 优化循环

循环之外能做的事不要放在循环内,比如下面的优化可以快一倍:

7. 优化包含多个判断表达式的顺序

对于and,应该把满足条件少的放在前面,对于or,把满足条件多的放在前面。如:

8. 使用join合并迭代器中的字符串

join对于累加的方式,有大约5倍的提升。

9. 选择合适的格式化字符方式

三种情况中,%的方式是最慢的,但是三者的差距并不大(都非常快)。(个人觉得%的可读性最好)

20招让你的Python飞起来!(如何python)

. 不借助中间变量交换两个变量的值

使用a,b=b,a而不是c=a;a=b;b=c;来交换a,b的值,可以快1倍以上。

. 使用if is

使用 if is True 比 if == True 将近快一倍。

. 使用级联比较x < y < z

x < y < z效率略高,而且可读性更好。

. while 1 比 while True 更快

while 1 比 while true快很多,原因是在python2.x中,True是一个全局变量,而非关键字。

. 使用**而不是pow

**就是快倍以上!

. 使用 cProfile, cStringIO 和 cPickle等用c实现相同功能(分别对应profile, StringIO, pickle)的包

由c实现的包,速度快倍以上!

. 使用最佳的反序列化方式

下面比较了eval, cPickle, json方式三种对相应字符串反序列化的效率:

可见json比cPickle快近3倍,比eval快多倍。

. 使用C扩展(Extension)

目前主要有CPython(python最常见的实现的方式)原生API, ctypes,Cython,cffi三种方式,它们的作用是使得Python程序可以调用由C编译成的动态链接库,其特点分别是:

CPython原生API: 通过引入Python.h头文件,对应的C程序中可以直接使用Python的数据结构。实现过程相对繁琐,但是有比较大的适用范围。ctypes: 通常用于封装(wrap)C程序,让纯Python程序调用动态链接库(Windows中的dll或Unix中的so文件)中的函数。如果想要在python中使用已经有C类库,使用ctypes是很好的选择,有一些基准测试下,python2+ctypes是性能最好的方式。Cython: Cython是CPython的超集,用于简化编写C扩展的过程。Cython的优点是语法简洁,可以很好地兼容numpy等包含大量C扩展的库。Cython的使得场景一般是针对项目中某个算法或过程的优化。在某些测试中,可以有几百倍的性能提升。cffi: cffi的就是ctypes在pypy(详见下文)中的实现,同进也兼容CPython。cffi提供了在python使用C类库的方式,可以直接在python代码中编写C代码,同时支持链接到已有的C类库。使用这些优化方式一般是针对已有项目性能瓶颈模块的优化,可以在少量改动原有项目的情况下大幅度地提高整个程序的运行效率。

. 并行编程

因为GIL的存在,Python很难充分利用多核CPU的优势。但是,可以通过内置的模块multiprocessing实现下面几种并行模式:

多进程:对于CPU密集型的程序,可以使用multiprocessing的Process,Pool等封装好的类,通过多进程的方式实现并行计算。但是因为进程中的通信成本比较大,对于进程之间需要大量数据交互的程序效率未必有大的提高。多线程:对于IO密集型的程序,multiprocessing.dummy模块使用multiprocessing的接口封装threading,使得多线程编程也变得非常轻松(比如可以使用Pool的map接口,简洁高效)。分布式:multiprocessing中的Managers类提供了可以在不同进程之共享数据的方式,可以在此基础上开发出分布式的程序。不同的业务场景可以选择其中的一种或几种的组合实现程序性能的优化。

. 终级大杀器:PyPy

PyPy是用RPython(CPython的子集)实现的Python,根据官网的基准测试数据,它比CPython实现的Python要快6倍以上。快的原因是使用了Just-in-Time(JIT)编译器,即动态编译器,与静态编译器(如gcc,javac等)不同,它是利用程序运行的过程的数据进行优化。由于历史原因,目前pypy中还保留着GIL,不过正在进行的STM项目试图将PyPy变成没有GIL的Python。

如果python程序中含有C扩展(非cffi的方式),JIT的优化效果会大打折扣,甚至比CPython慢(比Numpy)。所以在PyPy中最好用纯Python或使用cffi扩展。

随着STM,Numpy等项目的完善,相信PyPy将会替代CPython。

. 使用性能分析工具

除了上面在ipython使用到的timeit模块,还有cProfile。cProfile的使用方式也非常简单:python -m cProfile filename.py,filename.py 是要运行程序的文件名,可以在标准输出中看到每一个函数被调用的次数和运行的时间,从而找到程序的性能瓶颈,然后可以有针对性地优化。

标签: 如何python

本文链接地址:https://www.jiuchutong.com/biancheng/384492.html 转载请保留说明!

上一篇:python搭建虚拟环境的步骤详解(python搭建虚拟环境torch)

下一篇:python 采集中文乱码问题的完美解决方法(python怎么读取中文txt文本)

  • 金税四期对企业和个人的影响
  • 简易计税征收率是多少
  • 两个公司如何一起经营
  • 进项税额转出有什么影响
  • 原始凭证丢失如何处理会罚款吗
  • 不动产税征收标准
  • 公司实行注册资本认缴制
  • 个人给单位干的小工程需代扣个税吗?
  • 什么叫含税级距和不含税级距
  • 税收分类错误报税会有问题吗
  • 季报资产负债表和利润表的勾稽关系
  • 会务费税目
  • 营改增后无形资产增加的是
  • 记账凭证按照填列方式的分类包括
  • 无偿划转房产能否入递延收益
  • 包装本公司产品的出口包装物是否缴增值税?
  • 公允出资税务处理怎么做?
  • 外管证预缴增值税怎么抵扣
  • 交易性金融资产入账价值怎么计算
  • harmonyos2.0缺点
  • 车辆购置税会计账务处理
  • 行政事业单位公车使用制度
  • 苹果电脑进入安全模式按什么键
  • 冷车启动缺缸热车正常已解决
  • windows 10 build 21354
  • 外贸企业退税需要哪些资料
  • 对账小技巧
  • 个人销售非住宅无法提供原值怎么计算增值税
  • 免税货物增值税计算公式
  • 非营利组织营利包括哪些
  • 以前年度的销售退回,冲减哪年的
  • 【K210】K210学习笔记七——使用K210拍摄照片并在MaixHub上进行训练
  • 董事长报销应该是怎样的流程
  • 增值税返还需要交增值税吗
  • 过路费抵扣进项税怎么计算
  • php好用的cms
  • 2、springboot+mybatis+ajax+pageHelper+idea+maven(全套增删改查)
  • 织梦添加文章如何修改高级参数
  • 帝国cms使用手册
  • 银行本票怎么办理转账
  • 帝国cms首页调用其他网站数据
  • 工程结算科目
  • 个体户怎么交税?
  • 工资薪金的税务筹划
  • 行政单位可以对外进行投资吗?
  • 在建工程领用原材料税费怎么处理
  • 建筑企业印花税应税凭证名称
  • 企业设置的坏账科目
  • 物流公司驾驶员安全教育培训
  • 出口退税没有进项就退不了税吗?
  • 房地产开发票的时间?
  • 小规模纳税人申请一般纳税人流程
  • 没有发票的福利费支出可以税前扣除吗
  • 融资手续费计入长期待摊
  • 营业收入影响资产负债表哪些项目
  • 公司法人可以变更给老人吗
  • 删除一组数据中的指定数据
  • centos挂载点
  • Vista Virtual PC软件安装XP系统
  • centos无法上网无法ping外网
  • Win10 Mobile/PC Build 10586.550曝光:主要修复bug和优化性能
  • linux关机后机器还亮着
  • windows7升级到win8
  • 不能运行应用程序的是
  • linux 判断语句
  • centos 安装
  • win10鼠标怎么换
  • windows8.1安装windows7
  • linux的命令行界面
  • win8禁用网络之后如何开启
  • bootstrap需要学多久
  • unity3d ui
  • 归并代码
  • javascript基础笔记
  • 酒店住宿的发票图片
  • 江苏国税电子税务局网上申报流程
  • 如何连续打印单据
  • 广东房产契税电话查询
  • 营业税未达起征点
  • 江苏盐在什么地方
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设