位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • 2022个税手续费返还交增值税吗
  • 买车要交哪些税收
  • 垃圾处理费怎么算
  • 应付账款超过三年未付
  • 不同月份的发票能抵扣吗
  • 文化创意服务的税率
  • 没有发票的福利有哪些
  • 应交税费销项税在借方还是贷方
  • 资产负债表存货为负数原因
  • 建造普通标准住宅出售,增值税超过扣除金额的
  • 超过保质期存储时间或变质的食品应该怎样处理
  • 开具的增值税专用发票上注明的金额
  • 房屋租赁违法
  • 不影响利润的跨期发票如何处理?
  • 新公司注册后先开户还是先税务登记
  • 预提 冲销
  • 二手店铺转让手续流程
  • 丧失控股权的后果
  • 确认无法回收的应收账款会计分录
  • linux命令执行成功后会返回什么
  • win7 右键 没反应怎么办
  • 运费结转成本的计算公式
  • 安全生产费用怎么支出
  • 固定资产进项发票
  • linux中free命令详解
  • windows 11任务栏没有网络图标
  • php教程100
  • 劳动法律法规包含哪些
  • 应付职工薪酬包括个人社保和个税吗
  • 基西米河生态退化原因
  • 社保退工伤保险怎样做分录
  • 境外服务费代扣代缴所得税
  • bert获取中文词向量
  • vue中使用原生js
  • -mtime命令
  • 物流公司开几个点的发票
  • python中@是什么意思
  • Sqlite 常用函数 推荐
  • 员工实际工资
  • 餐饮服务税率是服务类税率还是货物类
  • 工会经费的计提基数不包括
  • 调减加计抵减额什么意思
  • 个体工商户要做账报税吗
  • 出货后90天付款
  • 预缴增值税后期如何处理
  • 土地增值税是什么税种类型
  • 小规模纳税人税率1%政策到什么时候
  • 现金日记账的登记证据有
  • 房产税征收标准2020
  • 原材料入库损耗
  • 装修公司开劳务发票会被罚款吗
  • 可供分配利润的计算公式
  • 修建的道路怎么做账
  • 支付给职工以及为职工支付的现金增加
  • sqlserver 通用分页存储过程
  • ubuntu更新软件
  • 苹果电脑怎么锁文件夹
  • ubuntu20.04命令
  • 重装Windows11
  • mac mail邮件本地存储路径
  • explorer.exe进程出错
  • win10系统开机蓝屏得重启后才能开机
  • windows7旗舰版桌面壁纸怎么更换
  • win8怎么设置桌面
  • win8.1卸载软件在哪里
  • win7旗舰版升级win10
  • opengl二维绘图函数
  • bootstrap和jsp
  • jQuery插件封装时如要实现链式编程,需要
  • perl -i -pe
  • 代码的历史
  • unity3d性能优化之贴图科普篇
  • 自定义图片制作软件
  • python中的字典怎么用
  • cocos引擎教程
  • jquery中的动画方法有哪些
  • 履职提醒函与督办函区别
  • 纳税申报的具体内容
  • 苏州社保一卡通要充值吗
  • 代理记账公司成本怎样结转的
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设