位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • 个人开不动产租赁发票税率
  • 怎样确认个人所得税专项扣除操作流程
  • 高校报销需要增值税专用发票吗
  • 做了销售之后的结果
  • 审核通过的红字发票怎么作废
  • 小规模纳税人普票收入会计分录
  • 软件开发里面的人天
  • 差额发票的税额怎么计算
  • 转让固定资产发生的费用可以税前扣除吗
  • 跨境电子商务出来能干嘛
  • 增值税普通发票和普通发票的区别怎么交税
  • 长期股权投资超过50%
  • 母子公司之间的管理费可以税前扣除吗
  • 小规模公司怎么注册
  • 股权转让个人所得税会计分录
  • 伙食费没有发票可以税前扣除吗
  • 外商投资企业补税政策
  • 社保费现金收缴管理制度
  • tplink无线网卡驱动802.11n
  • c盘满了清理什么
  • 包装物押金收入含税吗
  • 查看电脑开机时间记录win10
  • 完美解决怠速抖动加油就平稳
  • php怎么把图片存入mysql
  • 关闭bios启动
  • php assign
  • php做
  • PHP:iconv_mime_decode_headers()的用法_iconv函数
  • 企业需要税务登记吗
  • 国有土地租赁合同规定多少年
  • 采用公允价值模式计量的投资性房地产处置
  • php json格式化
  • openapi开放平台
  • 合伙企业能享受所得税减半征收
  • 预提跨年工资怎么处理
  • mongo创建db
  • 货物运输行业前景如何
  • 原材料卖出去会计分录
  • 一般纳税企业增值税的核算应当使用
  • 企业所得税包含营业外收入吗
  • 制造费用分配后总账月末余额在哪方?
  • 公司的个人所得税是什么意思
  • mysql左连接和右连接语法
  • mysql delete limit 使用方法详解
  • 残保金少申报了怎么办
  • 一年内到期的非流动负债计算公式
  • 未开票的收入怎么申报增值税
  • 实物出资没有发票怎么办
  • 凭空多出来的原材料的账务处理?
  • 支付职工培训费是什么科目
  • 工资薪酬所得税税率表最新
  • 办公费项目内容
  • 外派员工的薪酬构成有哪些项目
  • 年末待处理财产损益有余额怎么办
  • 配置是什么意思
  • mysql在本地主机创建用户账号
  • mysql5.7.31安装
  • 教你设置陌陌耳返
  • mmc无法创建管理单元怎么办win11
  • win10rs2是哪个版本
  • windows102021年更新
  • 联想笔记本出厂编号
  • 进程 电脑
  • win8.1安装应用商店
  • win 7电脑音箱没有声音
  • win8.1卸载系统自带应用工具
  • win10交接wifi
  • 如何做批处理命令
  • javascript中常见的数据类型有哪些?
  • bat脚本ftp上传文件
  • 深入学习习总书记系列讲话精神
  • shell脚本自动化
  • Unity3D之iTween
  • javascript:void(o)怎么解决
  • python 汉诺塔
  • python excel库哪个好
  • 黑龙江省国家税务局通用定额发票
  • 消费税的纳税义务的发生时间是如何规定的
  • 国家税务总局公告2022年第9号
  • 国家发票真伪查验
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设