位置: IT常识 - 正文

python+cuda编程(一)(python调用cuda执行加法)

编辑:rootadmin
python+cuda编程(一) 文章目录一、简介二、numba

推荐整理分享python+cuda编程(一)(python调用cuda执行加法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:cython cuda,cuda pycharm,cuda opencv python,cuda opencv python,cuda opencv python,cuda opencv python,python调用cuda程序,python cuda编程,内容如对您有帮助,希望把文章链接给更多的朋友!

使用Python写CUDA程序有两种方式:

NumbaPyCUDA

numbapro现在已经不推荐使用了,功能被拆分并分别被集成到accelerate和Numba了。

一、简介

numba Numba通过及时编译机制(JIT)优化Python代码,Numba可以针对本机的硬件环境进行优化,同时支持CPU和GPU的优化,并且可以和Numpy集成,使Python代码可以在GPU上运行,只需在函数上方加上相关的指令标记,

PyCUDA PyCUDA的内核函数(kernel)其实就是使用C/C++编写的,通过动态编译为GPU微码,Python代码与GPU代码进行交互。

对比 numba使用一些指令标记某些函数进行加速(也可以使用Python编写内核函数),这一点类似于OpenACC,而PyCUDA需要自己写kernel,在运行时进行编译,底层是基于C/C++实现的。通过测试,这两种方式的加速比基本差不多。但是,numba更像是一个黑盒,不知道内部到底做了什么,而PyCUDA就显得很直观。因此,这两种方式具有不同的应用:

如果只是为了加速自己的算法而不关心CUDA编程,那么直接使用numba会更好。

如果为了学习、研究CUDA编程或者实验某一个算法在CUDA下的可行性,那么使用PyCUDA。

如果写的程序将来要移植到C/C++,那么就一定要使用PyCUDA了,因为使用PyCUDA写的kernel本身就是用CUDA C/C++写的。

二、numba

C/C++ 这类编译性语言最大的好处就是其编译过程是发生在运行之前的,源代码在调用前被编译器转换为可执行机器码,这样就节约了大量的时间。而 python 作为一种解释性语言,没法做到一次编译,后续可以直接运行,每次运行的时候都要重新将源代码通过解释器转化为机器码。这样一个好处就是非常容易 debug( 这里要再次感叹一下 python 真不愧是新手友好型语言~), 当然,这个问题自然也是有尝试解决的办法,一个很重要的技术就是 JIT (Just-in-time compilation):JIT 即时编译技术是在运行时(runtime)将调用的函数或程序段编译成机器码载入内存,以加快程序的执行。说白了,就是在第一遍执行一段代码前,先执行编译动作,然后执行编译后的代码。

上面只是简单列出了两点,当然还有更多的原因,限于篇幅就不再具体介绍,numba 就是通过 JIT 加速了 python 代码。那么怎么使用 numba 加速我们的代码呢?我们可以看一些简单的例子:

numba 加速 python 的小例子 用 numba 加速 python 代码多简单方便呢,我们先来看看如何使用 numba 加速 python 代码:

如果让你用单纯的 python 计算一个矩阵所有元素的和,很容易可以写出下面的代码:

def cal_sum(a): result = 0 for i in range(a.shape[0]): for j in range(a.shape[1]): result += a[i, j] return resultpython+cuda编程(一)(python调用cuda执行加法)

当需要计算的矩阵很小的时候,貌似速度也不慢,可以接受,但是如果输入的矩阵大小为 (500, 500),

a = np.random.random((500, 500))%timeit cal_sum(a)

输出结果为:

47.8 ms ± 499 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

我们尝试加上 numba:

import numba@numba.jit(nopython=True) def cal_sum(a): result = 0 for i in range(a.shape[0]): for j in range(a.shape[1]): result += a[i, j] return result

输入同样大小的矩阵

a = np.random.random((500, 500))%timeit cal_sum(a)

输出结果为:

236 µs ± 545 ns per loop (mean ± std. dev. of 7 runs, 1000 loops each)

注意在这里我们使用了 %itemit 测试运行时间(原因我们留到后面说),通过对比两个时间,我们可以发现通过 numba 获得了非常明显的加速效果!

我们来具体看一下如何用 numba 加速 python 代码:在实际使用过程中,numba 其实是以装饰器的形式加在 python 函数上的,用户可以不用关心到底 numba 是通过什么方法来优化代码,只需要调用就行。同时需要注意到 @jit 装饰器同时也有一个参数 nopython, 这个参数主要是来区分 numba 的运行模式,numba 其实有两种运行模式:一个是 nopython 模式,另一个就是 object模式。只有在nopython 模式下,才会获得最好的加速效果,如果 numba 发现你的代码里有它不能理解的东西,就会自动进入 object 模式,保证程序至少是能够运行的(当然这其实就失去了添加 numba 的意义)。如果我们将装饰器改为 @jit(nopython=True) 或者 @njit,numba 会假设你已经对所加速的函数非常了解,强制使用加速的方式,不会进入 object 模式,如编译不成功,则直接抛出异常。

当然说到这里,可能大家还是很困惑,numba 到底是怎么加速 python 代码的?

python 代码的编译过程包括四个阶段:词法分析 -> 语法分析 -> 生成字节码 -> 将字节码解释为机器码执行, 常见的 python 解释器的类型有 cpython、IPython、PyPy、Jython、IronPython,与其他解释器不同,numba 是使用 LLVM 编译技术来解释字节码的。

LLVM 是一个编译器,它采用字节码,并将其编译为机器码,编译过程涉及许多额外的传递,而 LLVM编译器可以优化字节码,例如某些频繁执行的模块,LLVM 可以将其作为 “hot code” 从而进行相应的优化,LLVM 工具链非常擅长优化字节码,它不仅可以编译 numba 的代码,还可以优化它。

在第一次调用 numba 装饰的函数时,numba 将在调用期间推断参数类型,numba 会结合给定的参数类型将其编译为机器代码。这个过程是有一定的时间消耗的,但是一旦编译完成,numba 会为所呈现的特定类型的参数缓存函数的机器代码版本,如果再次使用相同的类型调用它,它可以重用缓存的机器代码而不必再次编译。

就上面举的简单的例子来说,使用 numpy 和 numba 加速基本效果差不多,但是在实际情况里面,不是所有的 for 循环代码都可以直接用 numpy 自带的函数实现。但是 numba 基本对所有的 for 循环代码都有非常好的加速效果,当然前提是 for 循环里面的代码必须是 numba 能够理解的。

而在从实际使用中,一般推荐将代码中密集的计算部分提取出来作为单独的函数实现,并使用 nopython 方式优化,这样可以保证我们能使用到 numba 的加速功能。其余部分还是使用 python 原生代码,这样一方面就可以做到在 numba 加速不明显或者无法加速的代码中调用各种函数实现自己的代码逻辑, 另一方面也能享受到 numba 的加速效果。

numba 加速 numpy 运算

上面说了 numba 一大亮点就是加速 for 循环,除此以外,numba 对 numpy 的运算也同样的有加速的效果。因为即使是numpy 也没有 numba 转换为机器码快,numba 尤其擅长加速 numpy 的基本运算 (如加法、相乘和平方等等),其实准确来说如果 numpy 函数是对各个元素采用相同的操作的情况下,都会有比较好的效果。我们简单举一个 numba 加速 numpy运算的例子:

a = np.ones((1000, 1000), np.int64) * 5b = np.ones((1000, 1000), np.int64) * 10 c = np.ones((1000, 1000), np.int64) * 15 def add_arrays(a, b, c): return np.square(a, b, c) @numba.njit def add_arrays_numba(a, b, c): return np.square(a, b, c) # 第一次调用完成编译 add_arrays_numba(a) # 函数被编译,机器代码被缓存 start = time.time() add_arrays_numba(a) end = time.time() print("Elapsed (after compilation) = %s" % (end - start)) # 不使用 numba 加速 start = time.time() add_arrays(a) end = time.time() print("Elapsed = %s" % (end - start))Elapsed (after compilation) = 0.002088785171508789Elapsed = 0.0031290054321289062

numba 使用 CUDA 加速

numba 更厉害的地方就在于,我们可以直接用 python 写 CUDA Kernel, 直接在 GPU 上编译和运行我们的 Python程序,numba 通过将 python 代码直接编译为遵循 CUDA 执行模型的 CUDA 内核和设备函数来支持 CUDA GPU 编程(但是实际上 numba 目前支持的 CUDA API 很少,希望开发团队能更肝一点~~~) ,对于不熟悉 CUDA 的同学,我们推荐大家看一下之前的一篇文章 PyTorch 源码解读之 cpp_extension:揭秘 C++/CUDA 算子实现和调用全流程 了解一下 CUDA 编程的基本概念。为了节省将 numpy 数组复制到指定设备,然后又将结果存储到 numpy数组中所浪费的时间,numba 提供了一些函数来

本文链接地址:https://www.jiuchutong.com/zhishi/298618.html 转载请保留说明!

上一篇:tsconfig.json详细配置(tsconfig baseurl)

下一篇:【深度学习时间序列预测案例】零基础入门经典深度学习时间序列预测项目实战(附代码+数据集+原理介绍)

  • 佳能5d相机价目表(佳能5dx)(佳能5d单反多少钱)

    佳能5d相机价目表(佳能5dx)(佳能5d单反多少钱)

  • MacBook怎么开大写(MacBook怎么开大小写)

    MacBook怎么开大写(MacBook怎么开大小写)

  • 台式电脑蓝牙设备在哪里(台式电脑蓝牙设置在哪里打开)

    台式电脑蓝牙设备在哪里(台式电脑蓝牙设置在哪里打开)

  • v1818a是什么手机(vivo y93)

    v1818a是什么手机(vivo y93)

  • 位寻址和字节寻址区别(位寻址和字节寻址转换)

    位寻址和字节寻址区别(位寻址和字节寻址转换)

  • 电脑版微信视频聊天摄像头为什么用不了(电脑版微信视频聊天怎么全屏)

    电脑版微信视频聊天摄像头为什么用不了(电脑版微信视频聊天怎么全屏)

  • 1.4ghz是什么意思(1.4ghz是多少hz)

    1.4ghz是什么意思(1.4ghz是多少hz)

  • 淘宝评价删除后还能再评价吗(淘宝评价删除后商家能查到吗)

    淘宝评价删除后还能再评价吗(淘宝评价删除后商家能查到吗)

  • 电脑自己打字停不下来是怎么回事(电脑自己打字停不下来)

    电脑自己打字停不下来是怎么回事(电脑自己打字停不下来)

  • 网易云无法更改下载目录(网易云音乐无法修改资料)

    网易云无法更改下载目录(网易云音乐无法修改资料)

  • 如何做微信电子版文件(如何做微信电子相册)

    如何做微信电子版文件(如何做微信电子相册)

  • 抖音被限制分享是什么意思(抖音被限分享怎么办)

    抖音被限制分享是什么意思(抖音被限分享怎么办)

  • 苹果手机输错多少次密码会被锁(苹果手机输错多少次密码会停用五分钟)

    苹果手机输错多少次密码会被锁(苹果手机输错多少次密码会停用五分钟)

  • 怎么看微博关注历史(怎么看微博关注时间)

    怎么看微博关注历史(怎么看微博关注时间)

  • 苹果铃声怎么下载(苹果铃声怎么下载来电铃声)

    苹果铃声怎么下载(苹果铃声怎么下载来电铃声)

  • OPPO k5支持双WiFi吗(oppok5双4g网络吗)

    OPPO k5支持双WiFi吗(oppok5双4g网络吗)

  • vivox21有nfc功能吗(vivox21手机nfc功能是什么怎么用)

    vivox21有nfc功能吗(vivox21手机nfc功能是什么怎么用)

  • 微信加好友能不能隐藏来源(微信加好友能不能看到来源)

    微信加好友能不能隐藏来源(微信加好友能不能看到来源)

  • 小爱同学怎么连接蓝牙(小爱同学怎么连接wifi连不上)

    小爱同学怎么连接蓝牙(小爱同学怎么连接wifi连不上)

  • 怎么解除抖音分享限制(怎么解除抖音分期付款)

    怎么解除抖音分享限制(怎么解除抖音分期付款)

  • 苹果的原彩显示是什么意思(苹果的原彩显示为什么感觉发黄)

    苹果的原彩显示是什么意思(苹果的原彩显示为什么感觉发黄)

  • word怎么弄成横版(word文档单独一页变成横向)

    word怎么弄成横版(word文档单独一页变成横向)

  • element-ui table使用type=‘selection‘复选框全禁用-全选禁用

    element-ui table使用type=‘selection‘复选框全禁用-全选禁用

  • 如何解决ECharts图表切换后缩成一团的问题(如何解决面颊毛孔粗大)

    如何解决ECharts图表切换后缩成一团的问题(如何解决面颊毛孔粗大)

  • 可税前扣除的费用有哪些
  • 累计扣除税额
  • 可供出售金融资产和长期股权投资
  • 出差补贴要不要发票
  • 现金流量表存货增加是负的
  • 税控盘技术维护费申报时候怎么填报
  • 税款滞纳金计入成本费用还是营业外
  • 已出库未开票未收款会计分录
  • 房地产企业没有退还的履约保证金税务
  • 其他应付款年终怎么结转
  • 外商投资企业是中国企业吗
  • 销售农业产品的税率
  • 公司转工程款到个人银行卡需要交个税吗
  • 劳动合同解除和终止的经济补偿
  • 开物流公司能挣多少钱
  • 减免所得税额明细怎么填
  • 农产品收购发票上的买价含税吗
  • 附加税里包括地税吗
  • 待认证进项税额借方余额表示什么
  • 公司购买的商品给别的企业用了,企业所得税能列支吗
  • 公司向外单位借款摘要怎么写
  • 取得海运费发票怎么入账
  • 现金日记账如何结账
  • 开发阶段包括
  • 钱打到对公账户
  • 关联企业借款利息税前扣除
  • 无线路由器1200m覆盖范围
  • 个体工商户和个人商家的区别
  • win10如何自定义鼠标指针
  • 安全平台无法认证怎么办
  • 发票支票区别
  • GrooveMonitor.exe是什么进程?GrooveMonitor.exe可以禁用卸载吗?
  • php自定义字段
  • 其他应收款的会计处理
  • 企业在建工程领用自产的应税消费品
  • laravel定时任务如何实现的
  • php 构造方法
  • 餐饮发票可以计入福利费吗
  • 注册资金抽回
  • 发票金额有小数可以取整数吗
  • 针对多用户实现什么功能
  • 短期借款的会计科目
  • 现金溢余和短缺的会计分录
  • 会计人员信息采集怎么看审核通过
  • 手工账结转
  • 转让不动产为什么能差额
  • 收到的销项负数发票如何申报
  • 微信支付宝等第三方支付的优缺点
  • 未分配利润分配后在报表如何体现
  • 外经证适用范围
  • 进项税怎么记账
  • 公司社保外包了,没给我社保卡怎么办?
  • 收到科技局研发项目资金计入什么科目
  • 代收会计分录
  • 营改增后众筹融资业务的会计处理分析?
  • 所税税汇算补交怎么算
  • 党费结余如何计算
  • 原始凭证和记账凭证的填制
  • 成本含税如何做会计分录
  • 计提工资和发放工资的账务处理
  • 税控盘网上抄报税的步骤
  • 小企业会计建账分录
  • 私营企业固定资产法律制度
  • 32位操作系统不能玩cf
  • ubuntu系统安装程序
  • windows组策略a-g-dl-p
  • Linux的bg和fg命令简单介绍
  • onionwormimmune.exe是什么
  • perl tr函数
  • 2014 ChinaJoy落下帷幕 十大年度热门事件盘点
  • js动态添加dom
  • AddForceAtPosition方法:增加刚体点作用力
  • jquery动画让div旋转
  • Python装饰器基础详解
  • NGUI学习:(1)spine导入后图层顺序的问题
  • python中迭代例子
  • 税务上征信
  • 电子税务局申报截止日期
  • 餐饮企业需要缴纳哪些税
  • 车辆购置税计入固定资产一起折旧吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设