位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • 手机连不上wifi是怎么回事(手机连不上wifi是怎么回事)(手机连不上wifi是怎么回事无ip分配)

    手机连不上wifi是怎么回事(手机连不上wifi是怎么回事)(手机连不上wifi是怎么回事无ip分配)

  • 安卓微博有深色模式吗(安卓微博深色模式不见了)

    安卓微博有深色模式吗(安卓微博深色模式不见了)

  • 小米6手环怎么设置壁纸(小米6手环怎么开机)

    小米6手环怎么设置壁纸(小米6手环怎么开机)

  • 苹果12mini用的屏幕是什么材质的(苹果12mini屏幕好吗)

    苹果12mini用的屏幕是什么材质的(苹果12mini屏幕好吗)

  • 海信手机忘记锁屏密码(海信手机忘记锁屏图案怎么办)

    海信手机忘记锁屏密码(海信手机忘记锁屏图案怎么办)

  • 1440乘900算高清吗(1440*900算高清吗)

    1440乘900算高清吗(1440*900算高清吗)

  • 京东自营可配货要多久(京东自营配货要多久)

    京东自营可配货要多久(京东自营配货要多久)

  • mlaal00是什么型号(mla_tl00)

    mlaal00是什么型号(mla_tl00)

  • 朋友圈点赞取消有痕迹么(朋友圈点赞取消又点赞会有通知吗)

    朋友圈点赞取消有痕迹么(朋友圈点赞取消又点赞会有通知吗)

  • 陌生人看自己的微信朋友圈自己能知道吗?(陌生人看自己的朋友圈自己能看到访客记录不能)

    陌生人看自己的微信朋友圈自己能知道吗?(陌生人看自己的朋友圈自己能看到访客记录不能)

  • 华为手机忘了密码怎么解(华为手机忘了密码怎么解锁)

    华为手机忘了密码怎么解(华为手机忘了密码怎么解锁)

  • 苹果7电量突然下降到1(苹果7电量突然掉的很快)

    苹果7电量突然下降到1(苹果7电量突然掉的很快)

  • 苹果官修机是什么意思(苹果的官修机是什么意思)

    苹果官修机是什么意思(苹果的官修机是什么意思)

  • applepencil不用怎么关(applepencil不用会耗电吗)

    applepencil不用怎么关(applepencil不用会耗电吗)

  • 手机插件怎么删除(手机中插件怎么删除)

    手机插件怎么删除(手机中插件怎么删除)

  • 华为手环3e怎么连接手机(华为手环3e怎么关机)

    华为手环3e怎么连接手机(华为手环3e怎么关机)

  • word段落怎么分栏(word段落怎么分为等宽两栏)

    word段落怎么分栏(word段落怎么分为等宽两栏)

  • a1602是第几代airpods(型号a1602是第几代)

    a1602是第几代airpods(型号a1602是第几代)

  • 爬虫技术是什么(爬虫技术是什么时候出现的)

    爬虫技术是什么(爬虫技术是什么时候出现的)

  • 7p哪年上市时间(7p哪年上市时间和价格)

    7p哪年上市时间(7p哪年上市时间和价格)

  • 佳能70d怎么连接手机(佳能70d怎么连接遥控器)

    佳能70d怎么连接手机(佳能70d怎么连接遥控器)

  • 这条评论已删除是什么意思(这条评论已删除怎么看评论的内容)

    这条评论已删除是什么意思(这条评论已删除怎么看评论的内容)

  • dwm.exe是什么进程?dwm.exe为什么运行?dwm.exe图文介绍(dwmexe是什么进程)

    dwm.exe是什么进程?dwm.exe为什么运行?dwm.exe图文介绍(dwmexe是什么进程)

  • 非货币性资产交换补价大于25%的会计处理
  • 开农贸市场挣钱吗
  • 个税申报和工资表不符
  • 境外增值税代扣代缴
  • 开票与实际收款不一致有什么风险
  • 企业将自用设备进行出租
  • 无形资产摊销是增加还是减少
  • 物业费纳税
  • 专票开户行和账号必须填吗
  • 企业购买商品
  • 其他应付款质保金到期怎么附单据
  • 补缴的增值税可以计入以前年度损益调整
  • 其他应付款包括应付职工薪酬吗
  • 主营业务利润计算
  • 受托加工物资的账务处理例题
  • 系统备份工具
  • 浏览器备份文件在哪里
  • PHP:oci_internal_debug()的用法_Oracle函数
  • wamp搭建网站教程
  • 系统之家哪个系统比较好用
  • 只有高新技术企业能享受研发加计扣除吗
  • PHP:session_cache_limiter()的用法_Session函数
  • 小规模商贸企业增值税税率
  • html页面中利用______标签可引入jquery库
  • 工程决算审计费收费标准
  • 期间费用的含义
  • 资金性质是什么有哪些方面
  • 原材料入库时如何计价
  • vue中数字运算
  • 大前端2021
  • pytorch jit
  • 多模态特征融合pytorch
  • Win11 Build 25330 预览版今日更新: 优化 Surface Dial 设置页面
  • php无限级分销
  • 发票取得取得售卡方公司开具的增值税专用发票
  • 存货毁损计入什么科目
  • 新建配电房需要哪些手续
  • 个人所得税专项附加扣除标准一览表
  • 保障金需要还吗
  • 固定资金是什么科目
  • python中assert()函数
  • 九步功法
  • 织梦文档网站模板
  • 个体户电子申报税流程
  • 合伙企业怎么建账
  • 餐饮无票收入怎么做账
  • 职工食堂的费用,会计上怎么做账?
  • 暂估成本的账务处理分录
  • 电子凭证用不了
  • 车费属于什么会计科目类
  • 劳务报酬现金流量
  • 营业外支出可以抵扣进项税吗
  • 营改增后建筑企业如何正确开具发票
  • 进项和销项必须一致才能抵扣吗
  • 企业建账涉及哪些内容
  • windows怎么彻底删除
  • ubuntu怎样
  • freebsd重置密码
  • linux c命令
  • Linux怎么删除文件第一行
  • 关闭gui引导有什么用
  • 远程控制安全
  • scrtkfg.exe - scrtkfg是什么进程 有什么用
  • js内存释放
  • div +css
  • python for key in
  • perl遍历哈希
  • 安卓退出界面
  • JavaScript中Number.NEGATIVE_INFINITY值的使用详解
  • fragment切换保存状态
  • Jar mismatch! Fix your dependencies
  • Android带有注册界面的简单app
  • JavaScript入门教程
  • class在js中的实际运用
  • prototype模型
  • 国家税务总局的局长什么级别
  • 石家庄有线电视客服电话9688
  • 税盘数字证书密码怎么查看
  • 契税的征收机关是哪里
  • 医务人员抗疫补助发放标准最新
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设