位置: 编程技术 - 正文

20招让你的Python飞起来!(如何python)

编辑:rootadmin

推荐整理分享20招让你的Python飞起来!(如何python),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python怎么搞,python怎么速成,python怎么速成,python小技巧及速度提高,python怎么速成,python小技巧及速度提高,怎么样python,python zen,内容如对您有帮助,希望把文章链接给更多的朋友!

今天分享的这篇文章,文字不多,代码为主。绝对干货,童叟无欺,主要分享了提升 Python 性能的 个技巧,教你如何告别慢Python。原文作者 开元,全栈程序员,使用 Python, Java, PHP和C++。

1. 优化算法时间复杂度

算法的时间复杂度对程序的执行效率影响最大,在Python中可以通过选择合适的数据结构来优化时间复杂度,如list和set查找某一个元素的时间复杂度分别是O(n)和O(1)。不同的场景有不同的优化方式,总得来说,一般有分治,分支界限,贪心,动态规划等思想。

2. 减少冗余数据

如用上三角或下三角的方式去保存一个大的对称矩阵。在0元素占大多数的矩阵里使用稀疏矩阵表示。

3. 合理使用copy与deepcopy

对于dict和list等数据结构的对象,直接赋值使用的是引用的方式。而有些情况下需要复制整个对象,这时可以使用copy包里的copy和deepcopy,这两个函数的不同之处在于后者是递归复制的。效率也不一样:(以下程序在ipython中运行)

timeit后面的-n表示运行的次数,后两行对应的是两个timeit的输出,下同。由此可见后者慢一个数量级。

4. 使用dict或set查找元素

Python dict和set都是使用hash表来实现(类似c++标准库中unordered_map),查找元素的时间复杂度是O(1)。

dict的效率略高(占用的空间也多一些)。

5. 合理使用生成器(generator)和yield

使用()得到的是一个generator对象,所需要的内存空间与列表的大小无关,所以效率会高一些。在具体应用上,比如set(i for i in range())会比set([i for i in range()])快。

但是对于需要循环遍历的情况:

后者的效率反而更高,但是如果循环里有break,用generator的好处是显而易见的。yield也是用于创建generator:

对于内存不是非常大的list,可以直接返回一个list,但是可读性yield更佳(人个喜好)。python2.x内置generator功能的有xrange函数、itertools包等。

6. 优化循环

循环之外能做的事不要放在循环内,比如下面的优化可以快一倍:

7. 优化包含多个判断表达式的顺序

对于and,应该把满足条件少的放在前面,对于or,把满足条件多的放在前面。如:

8. 使用join合并迭代器中的字符串

join对于累加的方式,有大约5倍的提升。

9. 选择合适的格式化字符方式

三种情况中,%的方式是最慢的,但是三者的差距并不大(都非常快)。(个人觉得%的可读性最好)

20招让你的Python飞起来!(如何python)

. 不借助中间变量交换两个变量的值

使用a,b=b,a而不是c=a;a=b;b=c;来交换a,b的值,可以快1倍以上。

. 使用if is

使用 if is True 比 if == True 将近快一倍。

. 使用级联比较x < y < z

x < y < z效率略高,而且可读性更好。

. while 1 比 while True 更快

while 1 比 while true快很多,原因是在python2.x中,True是一个全局变量,而非关键字。

. 使用**而不是pow

**就是快倍以上!

. 使用 cProfile, cStringIO 和 cPickle等用c实现相同功能(分别对应profile, StringIO, pickle)的包

由c实现的包,速度快倍以上!

. 使用最佳的反序列化方式

下面比较了eval, cPickle, json方式三种对相应字符串反序列化的效率:

可见json比cPickle快近3倍,比eval快多倍。

. 使用C扩展(Extension)

目前主要有CPython(python最常见的实现的方式)原生API, ctypes,Cython,cffi三种方式,它们的作用是使得Python程序可以调用由C编译成的动态链接库,其特点分别是:

CPython原生API: 通过引入Python.h头文件,对应的C程序中可以直接使用Python的数据结构。实现过程相对繁琐,但是有比较大的适用范围。ctypes: 通常用于封装(wrap)C程序,让纯Python程序调用动态链接库(Windows中的dll或Unix中的so文件)中的函数。如果想要在python中使用已经有C类库,使用ctypes是很好的选择,有一些基准测试下,python2+ctypes是性能最好的方式。Cython: Cython是CPython的超集,用于简化编写C扩展的过程。Cython的优点是语法简洁,可以很好地兼容numpy等包含大量C扩展的库。Cython的使得场景一般是针对项目中某个算法或过程的优化。在某些测试中,可以有几百倍的性能提升。cffi: cffi的就是ctypes在pypy(详见下文)中的实现,同进也兼容CPython。cffi提供了在python使用C类库的方式,可以直接在python代码中编写C代码,同时支持链接到已有的C类库。使用这些优化方式一般是针对已有项目性能瓶颈模块的优化,可以在少量改动原有项目的情况下大幅度地提高整个程序的运行效率。

. 并行编程

因为GIL的存在,Python很难充分利用多核CPU的优势。但是,可以通过内置的模块multiprocessing实现下面几种并行模式:

多进程:对于CPU密集型的程序,可以使用multiprocessing的Process,Pool等封装好的类,通过多进程的方式实现并行计算。但是因为进程中的通信成本比较大,对于进程之间需要大量数据交互的程序效率未必有大的提高。多线程:对于IO密集型的程序,multiprocessing.dummy模块使用multiprocessing的接口封装threading,使得多线程编程也变得非常轻松(比如可以使用Pool的map接口,简洁高效)。分布式:multiprocessing中的Managers类提供了可以在不同进程之共享数据的方式,可以在此基础上开发出分布式的程序。不同的业务场景可以选择其中的一种或几种的组合实现程序性能的优化。

. 终级大杀器:PyPy

PyPy是用RPython(CPython的子集)实现的Python,根据官网的基准测试数据,它比CPython实现的Python要快6倍以上。快的原因是使用了Just-in-Time(JIT)编译器,即动态编译器,与静态编译器(如gcc,javac等)不同,它是利用程序运行的过程的数据进行优化。由于历史原因,目前pypy中还保留着GIL,不过正在进行的STM项目试图将PyPy变成没有GIL的Python。

如果python程序中含有C扩展(非cffi的方式),JIT的优化效果会大打折扣,甚至比CPython慢(比Numpy)。所以在PyPy中最好用纯Python或使用cffi扩展。

随着STM,Numpy等项目的完善,相信PyPy将会替代CPython。

. 使用性能分析工具

除了上面在ipython使用到的timeit模块,还有cProfile。cProfile的使用方式也非常简单:python -m cProfile filename.py,filename.py 是要运行程序的文件名,可以在标准输出中看到每一个函数被调用的次数和运行的时间,从而找到程序的性能瓶颈,然后可以有针对性地优化。

标签: 如何python

本文链接地址:https://www.jiuchutong.com/biancheng/384492.html 转载请保留说明!

上一篇:python搭建虚拟环境的步骤详解(python搭建虚拟环境torch)

下一篇:python 采集中文乱码问题的完美解决方法(python怎么读取中文txt文本)

  • 外购商品结转成本分录
  • 无形资产的确认条件
  • 贴现手续费计入投资收益
  • 转让不动产销项税
  • 营销策划合同需要缴纳印花税吗
  • 冲红的发票要拿回来吗
  • 股东股权转让印花税公司可以报销吗
  • 公司做帐成本发票怎么开
  • 资本公积科目余额能出现小数吗
  • 运费成本会计分录
  • 城市创建税务人在行动
  • 安装工程发票怎么开
  • 基础年收入是什么意思
  • 工程结算审计费用谁承担
  • 外贸企业出口退税流程图
  • 上月暂估本月怎么冲销
  • 利润负数所得税怎么算
  • 跨市工程预交的税怎么算
  • 计提附加税的会计分录怎么写
  • 没票的购进能入成本吗
  • 收到以前年度退回的企业所得税怎么做账
  • VM虚拟机怎么安装网心容器
  • 电脑怎么备份系统win7
  • win7系统中如何让未响应的程序继续运行
  • 收到租金税费怎么计算
  • 苹果系统最新版本
  • 一年内的待摊费用可以一次性进入成本吗
  • 季度成本分析报告
  • 若依框架登录后跳转到指定页面
  • 微信小程序开发一个多少钱
  • win7怎么看服务
  • vue3性能对比
  • javascript移动鼠标
  • 稽查查补销售额后补开票如何申报
  • 已申报未导入是什么情况
  • 各行业税点大全最新
  • 固定资产包括无形资产吗?
  • 工程项目过路费是指什么意思啊
  • mybatis调用存储过程详解
  • 应付福利费算支出吗
  • 生产成本帐
  • 购置环保设备一次性扣除
  • 文化事业建设费减免政策
  • 承租人违约押金怎么办
  • 施工总包能分包土方吗
  • 公司客户招待费用标准
  • 无法收回的应收账款如何进行财务处理
  • 企业实缴各类税金的总额
  • 实名汽车票抵扣
  • 建筑业营改增后,人工费不存在可抵扣
  • mysql源码编译
  • linux系统vim编辑readonly option
  • XP系统安装不了QQ
  • xp系统的输入法在哪里设置
  • windowmsgserver32是什么
  • 如何升级mac系统到10.12
  • window10虚拟系统
  • 手把手教你如何退税
  • 苹果电脑旋转屏幕设置在哪里找
  • mac进入睡眠时间长
  • macbook怎样充电
  • win7显卡属性在哪
  • windows10不能在任务栏进行的操作
  • bat批处理脚本教程
  • cocos2djs教程
  • opengl编译
  • node.js底层原理
  • 虚拟机中使用keil
  • javascript运用
  • Node.js中的什么模块是用于处理文件和目录的
  • linux脚本case
  • jquery回车触发事件
  • 如何利用百度地图定位
  • zabbix 微信
  • uk开票网络连接异常怎么回事
  • 预征率是2%怎么计算
  • 甘肃省契税征收标准
  • 公司员工开始摆烂怎么办
  • 企业所得税按开票金额的多少计算税率
  • 营业执照增加项目怎么办理
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设