位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • 什么是简易征税项目
  • 个人所得税的标准计算
  • 汽油费通行费等怎么记账
  • 已收货款没发货怎么退款
  • 上级补助收入支出决算科目
  • 生产工人的费用属于什么会计科目
  • 工资薪金所得应纳税所得额
  • 库存现金和银行存款的区别
  • 发生销售折让时为什么不冲减成本
  • 公司委托收款该怎么办
  • 收入未确认可以结转成本吗
  • 其他综合收益为什么要结转
  • 在建工程安装工程包括
  • 总公司中标分公司开票避税
  • 税收筹划的定义,有哪些筹划的方法
  • 向银行贷款资产包括哪些
  • 固定资产报废怎么开票
  • 收到分包公司工程发票收入怎么做账
  • 惠普hp笔记本电脑怎么开机
  • 人力成本费用率和人工成本利润率
  • linux命令“ln file1 file2”的含义是
  • windows闹钟
  • 视同销售要做收入?
  • pc程序是什么
  • 不能运行windows10的设备有哪些
  • 委托出口的会计分录
  • 应交增值税视频讲解
  • 购买免税农产品的会计分录
  • php错误和异常
  • 勾选确认发票后能撤销吗
  • php十进制转二进制算法
  • auto系列软件
  • this.emit('input')
  • 基于springboot的购物商城
  • 部署fabric
  • 所得税费用科目的贷方登记
  • 门窗安装属于土建还是安装?
  • 人力资源增加什么资金积累
  • 往来款会计
  • 销售部门的固定资产
  • 分公司财务负责人要求
  • 企业固定资产如何查询
  • 出借和出租包装物会计分录是什么
  • 什么内容的发票可以报销
  • 销售折扣与折让在财务报表哪里
  • 分期付款购入固定资产该如何做账务处理呢?
  • 低值易耗品的管理流程
  • 应收账款计提坏账影响利润吗
  • 增值税销项税率是多少
  • 暂估销售收入账目
  • 已认证的发票开具红字发票账务处理?
  • 外经证的办理流程
  • 累计折旧税率
  • 工程施工和主营业务成本关系
  • sqlserver存储过程声明变量
  • 深度解析桂附地黄丸
  • win8.1系统升级win10
  • mac os 应用
  • 苹果mac最新的系统
  • linux安装wine命令
  • freebsd6.2 nginx+php+mysql+zend系统优化防止ddos攻击
  • wysafe.exe是什么
  • 如何用pe弄双系统引导
  • 一直显示正在安装windows
  • win10锁屏界面的搜索怎么关
  • 如何设置win10用户名
  • win10一年更新一次
  • 如何判断肾虚阴虚阳虚
  • js修改值
  • jquery右击事件
  • js随机生成数
  • 可以生成选区的方式是使用
  • jquery教程 csdn
  • android 开发 教程
  • 安卓仿平板
  • 面向对象设计六大原则
  • java script
  • 昆山国税局上班时间
  • 浙江省如何自助缴纳社保
  • 开展志愿服务关爱活动
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设