位置: IT常识 - 正文

深度学习模型精度fp16和fp32

编辑:rootadmin
深度学习模型精度fp16和fp32

推荐整理分享深度学习模型精度fp16和fp32,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

当前的深度学习框架大都采用的都是fp32来进行权重参数的存储,比如Python float的类型为双精度浮点数fp64,PyTorch Tensor的默认类型为单精度浮点数fp32。

使用fp32主要存在问题:

模型尺寸大,训练的时候对显卡的显存要求高;模型训练速度慢;模型推理速度慢。深度学习模型精度fp16和fp32

解决方案:使用低精度计算对模型进行优化

1.推理过程中,模型优化目前比较成熟的方案就是fp16量化和int8量化;

2.训练方面的方案是混合精度训练,它的基本思想很简单: 精度减半(fp32→ fp16) ,训练时间减半。与单精度浮点数float32(32bit,4个字节)相比,半精度浮点数float16仅有16bit,2个字节组成。

训练过程中,直接使用半精度进行计算会导致的两个问题:

舍入误差(Rounding Error):对足够小的浮点数执行的任何操作都会将该值四舍五入到零,在反向传播中很多甚至大多数梯度更新值都非常小,在反向传播中舍入误差累积可以把这些数字变成0或者nan,这会导致不准确的梯度更新,影响网络的收敛。溢出错误(Grad Overflow / Underflow):精度下降(小数点后16相比较小数点后8位要精确的多)会导致得到的值大于或者小于fp16的有效动态范围,也就是上溢出或者下溢出。

解决方案:使用混合精度训练(Mixed Precision)和损失缩放(Loss Scaling)

基于apex的apm(Apex混合精度加速):

自动:Tensor的dtype类型会自动变化,框架按需自动调整tensor的dtype混合精度:采用不止一种精度的Tensor,torch.FloatTensor和torch.HalfTensor

本文链接地址:https://www.jiuchutong.com/zhishi/281013.html 转载请保留说明!

上一篇:sentstrt.exe - sentstrt进程是什么文件 有什么用

下一篇:linux系统怎么使用vmstat命令显示虚拟内存状态?(linux zmodem)

  • 个税计算方法和规定
  • 资产负债表中未交税金负数表示什么
  • 单位购买预付卡
  • 没有工会 还需要交钱吗
  • 赊销现金折扣分录
  • 增值税普通发票需要交税吗
  • 划拨房二次出售缴纳出让金吗
  • 怎么处理善意取得的大头小尾发票?
  • 应付账款坏账处理分录怎么写
  • 招待费进项税如何抵扣
  • 如何从百旺开票系统中导出开票明细
  • 核定征收的企业需要做账吗
  • 自己公司开发票有什么好处
  • 汇算清缴之前找回来成本发票可以吗
  • 代订住宿费属于那个经营范围
  • 水利建设专项收入怎么申报不了
  • 补交申报的利息怎么入账
  • 财务费用余额在借方是正数还是负数
  • 坏账准备年末余额怎么计算
  • 没有实缴的股份转让要交个人所得税吗
  • 苹果电脑安装了windows能取消吗
  • win10系统声音有杂音
  • 房产税如何进行计提
  • 手机如何测试网络稳定性
  • 福利费发票已认证怎么查
  • 财政性资金所得税
  • cpqeadm.exe是什么进程 可以关闭吗 cpqeadm进程查询
  • 关于javascript
  • icon图标教程
  • 北海道的鱼
  • 小规模纳税人进项票可以抵扣吗
  • 小程序开发定制
  • 第三方代收的款项是什么意思
  • php读取二进制文件
  • php获取年月日
  • php curl_multi_init
  • 预付装修款账务处理
  • 免税收入是否入成本科目
  • 车辆购置税是税前还是税后
  • 免税收入和免征
  • 计税工资什么意思2019
  • 当月开的票必须开发票吗
  • 收到银行开具的利息发票怎么做账
  • 纳税人企业本月纳税额
  • 用友t3软件的系统内没有利润表模块
  • 办公室用茶叶怎么入账
  • 表彰奖励奖金规定
  • 研发产品收入的会计分录
  • 企业代扣税费会计分录
  • 旅游业小规模纳税人增值税申报
  • 临时设施属于什么科目
  • 工厂没给工人买社保我们应该找哪个部门
  • 管家婆里面的记账凭证怎么做?
  • 资产负债表中负债的排列依据是
  • 发票专用章盖在中间行不行
  • 股东不能参与公司运营和决策,可以起诉吗
  • 工会经费会返还吗
  • 工业企业低值易耗品二级科目
  • mysql必知必会和sql基础教程
  • 安装mysql提示one or more
  • win7怎么调整
  • c盘满了怎么释放空间
  • bios单词
  • mac os 删除
  • linux怎么分盘
  • pqinit.exe - pqinit是什么进程 有什么用
  • Win10更新后浏览器不能联网怎么办
  • 基于web的学生成绩管理系统毕业论文
  • javascript中的闭包
  • 如何删除命令
  • 网页制作css样式
  • Python 数据清洗
  • android 保存密码
  • jQuery Easyui datagrid/treegrid 清空数据
  • 成都市电子税务局网上申报
  • 票种核定和税种核定的区别
  • 国税人事部门党建工作(税务局党建部门)
  • 小规模年度财务报表
  • 建筑施工劳务资质
  • 企业税收筹划的最终目的
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设