位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • 出口退税无纸化备案怎么弄
  • 发票超过认证期有什么影响
  • 税务师考试各科老师推荐
  • 小规模纳税人所得税优惠政策2023
  • 原始凭证填写过程
  • 出口货物不报关走快递
  • 减免税属于政府转移支付吗
  • 企业收到的政府补贴交所得税吗
  • 合伙企业季度所得税预缴不用纳税调整是吗
  • 银行回单少了一笔
  • 高管培训费不能税前列支
  • 折价购入
  • 股权转让收入属于什么
  • 注册资金印花税是资金账簿吗
  • 离职补偿金需要交工会经费吗
  • 前期差错更正中所得税的会计处理
  • 开票码是什么意思
  • 年中入职个税怎么预扣
  • 分配利润怎么做科目
  • 餐饮调理产品有哪些
  • 税控设备 抵减
  • 苹果14promax价格
  • cmd常用命令大全图解
  • 屏幕乱跳广告解决办法
  • mac os 10.15安装教程
  • 变动成本法和完全成本法利润差异
  • 贴息贷款利息怎么入账
  • 事业单位个人借款未还违反什么规定
  • 飞机票增值税发票可以作为报销凭证吗
  • Win11 Build 22471 Dev版更新推送(附更新修复已知问题汇总)
  • 购货款先到支付后付款
  • 笔记本电脑保养与维护
  • php declare
  • 电和电能是什么关系
  • php使用js
  • 企业破产是不是要没收法人家里全部财产
  • 会计学中借和贷怎么区分
  • 织梦怎么添加相关
  • php is_executable判断给定文件名是否可执行实例
  • 来料加工成品如何入库
  • 新建厂房的费用由谁承担
  • 累计折旧累计摊销属于现金流吗
  • 出租改自用房产税
  • 融资租赁车辆过户给个人
  • 帝国cms自定义列表
  • 织梦建站详细教程
  • 收支平衡表excel怎么做
  • 现金科目的指定科目是什么
  • 个体户定额3万需要申报吗
  • 下列行为免征增值税的有
  • 银行汇票背书
  • 计入职工福利费的房租折旧属于人工成本吗
  • 广告公司工程部
  • 政府补助怎么记账
  • 收到红字发票如何申报增值税?
  • 退货款现金流量如何做
  • 以前年度多计提了费用
  • 网银退回是什么意思
  • 行政单位年终奖的相关发放规定
  • 固定资产抵账的账务处理
  • 进项发票已经认证,对方作废了
  • 外贸企业需要取得什么资质
  • 医院财务核算制度
  • 税种工会经费
  • ubuntu 管理软件
  • 神州战神bios怎么进
  • winxp系统开机蓝屏
  • linux 查找语句
  • unity着色器在哪
  • python 管理内存
  • javascript的promise
  • JavaScript、jQuery与Ajax的关系
  • java stringapi
  • python语言解析
  • Python回调函数注册类型不匹配
  • android:exported 属性详解
  • 《简单》阅读答案
  • 一手房有契税和个税吗
  • 宏观经济十大因素有哪些
  • 地方税务局怎么样
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设