python 性能优化方法小结(python 效率优化)

编辑：rootadmin

推荐整理分享python 性能优化方法小结(python 效率优化)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:Python性能优化指南,python性能调优,python性能调优,python 运行速度优化,Python性能优化指南,python性能调优,Python性能优化指南,python性能优化,内容如对您有帮助，希望把文章链接给更多的朋友！

提高性能有如下方法

1、Cython,用于合并python和c语言静态编译泛型

2、IPython.parallel，用于在本地或者集群上并行执行代码

3、numexpr，用于快速数值运算

4、multiprocessing,python内建的并行处理模块

5、Numba，用于为cpu动态编译python代码

6、NumbaPro，用于为多核cpu和gpu动态编译python代码

为了验证相同算法在上面不同实现上的的性能差异，我们先定义一个测试性能的函数

定义执行的算法如下

对应的数学公式是

生成数据如下

第一个实现f1是在内部循环执行f函数，然后将每次的计算结果添加到列表中，实现如下

当然实现这种方案的方法不止一种，可以使用迭代器或eval函数,我自己加入了使用生成器和map方法的测试，发现结果有明显差距，不知道是否科学：

迭代器实现

eval实现

生成器实现

map实现

接下来是使用numpy的narray结构的几种实现

上面的f5和f6只是使用的处理器个数不同，可以根据自己电脑cpu的数目进行修改，也不是越大越好

下面进行测试

测试结果如下

发现f8的时间最短，调大一下时间精度再测一次

发现使用map的性能最高，生成器次之，其他方法的性能就差的很远了。但是使用narray数据的在一个数量级，使用python的list数据又在一个数量级。生成器的原理是并没有生成一个完整的列表，而是在内部维护一个next函数，通过一边循环迭代一遍生成下个元素的方法的实现的，所以他既不用在执行时遍历整个循环，也不用分配整个空间，它花费的时间和空间跟列表的大小是没有关系的，map与之类似，而其他实现都是跟列表大小有关系的。

内存布局

numpy的ndarray构造函数形式为

np.zeros(shape, dtype=float, order='C')

np.array(object, dtype=None, copy=True, order=None, subok=False, ndmin=0)

shape或object定义了数组的大小或是引用了另一个一个数组

dtype用于定于元素的数据类型，可以是int8，int，float8，float等等

order定义了元素在内存中的存储顺序，c表示行优先，F表示列优先

下面来比较一下内存布局在数组很大时的差异，先构造同样的的基于C和基于F的数组，代码如下：

下面来测试性能

输出如下

可知，C内存布局要优于F内存布局

并行计算