位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • 苹果恋爱模式怎么开(苹果恋爱模式怎么开xr)

    苹果恋爱模式怎么开(苹果恋爱模式怎么开xr)

  • QQ悬浮窗怎么调出来(QQ悬浮窗怎么调大)

    QQ悬浮窗怎么调出来(QQ悬浮窗怎么调大)

  • opporeno4pro支持nfc吗(opporeno4pro支持nfc功能吗)

    opporeno4pro支持nfc吗(opporeno4pro支持nfc功能吗)

  • 快手助推中到底会不会上热门(快手助推完成后的助推奖励是什么)

    快手助推中到底会不会上热门(快手助推完成后的助推奖励是什么)

  • 苹果x为什么突然掉电厉害(苹果x为什么突然没有声音了)

    苹果x为什么突然掉电厉害(苹果x为什么突然没有声音了)

  • 微信夜间设置在哪(微信夜间设置怎么弄?)

    微信夜间设置在哪(微信夜间设置怎么弄?)

  • 暂时无人接听,请稍后再拨是什么情况(暂时无人接听有几种可能)

    暂时无人接听,请稍后再拨是什么情况(暂时无人接听有几种可能)

  • qq电话关闭麦克风对方看得见吗(qq电话关闭麦克风)

    qq电话关闭麦克风对方看得见吗(qq电话关闭麦克风)

  • 华为手机微信不见了怎么找出来(华为手机微信不显示未读消息数量)

    华为手机微信不见了怎么找出来(华为手机微信不显示未读消息数量)

  • 红米k30pro重量多少克(红米k30pro重量厚度)

    红米k30pro重量多少克(红米k30pro重量厚度)

  • 微信一天可以提现50万吗(微信一天可以提现10万吗)

    微信一天可以提现50万吗(微信一天可以提现10万吗)

  • office2010找不到安装源(office2010找不到卸载程序)

    office2010找不到安装源(office2010找不到卸载程序)

  • 苹果x照相不清晰什么原因(苹果X照相不清晰)

    苹果x照相不清晰什么原因(苹果X照相不清晰)

  • 苹果6plus支持无线充电吗(iphone6 plus支持无线充电吗)

    苹果6plus支持无线充电吗(iphone6 plus支持无线充电吗)

  • word怎么删除空白页(word怎么删除空格)

    word怎么删除空白页(word怎么删除空格)

  • 苹果11怎么关闭刘海(苹果11怎么关闭勿扰模式)

    苹果11怎么关闭刘海(苹果11怎么关闭勿扰模式)

  • 如何用word快速画线(如何用word快速打印名字桌牌)

    如何用word快速画线(如何用word快速打印名字桌牌)

  • 画图窗口有哪几部分组成(画图窗口介绍)

    画图窗口有哪几部分组成(画图窗口介绍)

  • 好分数绑定别人了咋改(好分数绑定别人账号别人可以看得见吗)

    好分数绑定别人了咋改(好分数绑定别人账号别人可以看得见吗)

  • 苹果手表怎么调录像(苹果手表怎么调整时间)

    苹果手表怎么调录像(苹果手表怎么调整时间)

  • 金凌是哪座城市(金凌全名叫什么)

    金凌是哪座城市(金凌全名叫什么)

  • 华为手机怎么传视频到电脑(华为手机怎么传输数据到苹果手机)

    华为手机怎么传视频到电脑(华为手机怎么传输数据到苹果手机)

  • 小米手机怎么互相定位(小米手机怎么互传文件)

    小米手机怎么互相定位(小米手机怎么互传文件)

  • 华为p30快充设置(华为p30如何设置快充模式)

    华为p30快充设置(华为p30如何设置快充模式)

  • hd电话标志怎么关闭(电话怎么显示hd)

    hd电话标志怎么关闭(电话怎么显示hd)

  • 花呗如何开通(微信花呗如何开通)

    花呗如何开通(微信花呗如何开通)

  • c语言中assert函数的使用注意(c语言中asin)

    c语言中assert函数的使用注意(c语言中asin)

  • 保本理财增值税可以开票吗怎么开
  • 出口退免税管理工作规范2.0
  • 所得税汇算补提所得税会计分录
  • 餐饮娱乐服务费进项税不能从销项税额抵扣
  • 更正个税申报需要做账吗
  • 滞纳金按年怎么算
  • 购买车辆交纳的费用
  • 高新技术企业所得税减免怎么算
  • 财务怎么算社保缴费
  • 不动产出租需要缴纳哪些税
  • 支付违约金未取得正规发票能不能在税前列支
  • 会计核算体系的重要性
  • 增值税预缴税金交错了怎么办
  • 核定征收企业所得税率是多少
  • 贴现利息应该计入哪个科目
  • 研发项目领原料加工成产品会计处理是怎样的?
  • 一般纳税人预交税款算法
  • 发票没开完可以领取吗?
  • 个人建筑安装如何交税
  • 出口业务增值税免抵税额
  • 水利基金计提比例
  • 土地增值税计算表
  • 利润表反映了哪些情况
  • 实收资本的会计处理
  • 长期挂账的其他应收款如何处理
  • 向境外企业支付技术咨询指导费
  • 广告制作费怎么入账
  • 公司给员工定任务合法吗
  • 与工程有关的差旅费是否可以计入在建工程呢?
  • 货币资金包括哪些
  • harmonyos2.0缺点
  • 如何解决win10系统安装不兼容驱动的问题
  • 清除cookies有什么用
  • centos apache配置文件
  • linux源码安装软件的方法介绍
  • 怎样搭建php开发平台
  • 会计核算的方法主要有
  • 在vue3项目中自定义组件通常存放在
  • 我想看阿尔伯塔
  • 目标检测数据集
  • 财务费用汇兑损失是什么
  • 电力系统培训计划
  • 经费支出的定义
  • 如何修改php网页内容
  • sql server递归查询
  • 设计模式模板方法和策略模式对比
  • 有什么学电脑的网站
  • 出口退税抵减应纳税额
  • 开票服务名称可以自己添加吗
  • 短期投资计提跌价准备
  • 企业注销库存怎么处理
  • 哪些发票必须备注
  • 支付土地补偿款计入什么科目
  • 集团内部借款利率如何确定
  • 烟丝缴纳消费税计算
  • 应付职工薪酬的账务处理
  • 物业公司收的停车费做什么科目
  • 个贷系统平账专户怎么做分录
  • 开具红字专用发票理由
  • 合伙企业是否需要缴纳印花税
  • 财务费用为零的原因
  • 电脑开票怎么操作流程
  • 预收物业费预收什么意思
  • win8系统打开我的电脑就黑屏
  • 关于操作系统的叙述中
  • 屏保 win7
  • window8设置在哪里
  • 深入分析的成语
  • ExtJs 3.1 XmlTreeLoader Example Error
  • android viewpager嵌套viewpager
  • linux安装xen
  • perl子函数
  • opengl learn
  • svn如何cleanup
  • vue wepack
  • JavaScript正则表达
  • ie不支持p标签
  • android内存优化三 简书
  • android fragmentactivity
  • 新疆干部在线网络平台登录
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设