位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • goodnotes怎么分屏做笔记(goodnotes怎么分屏写笔记)

    goodnotes怎么分屏做笔记(goodnotes怎么分屏写笔记)

  • 华为nova9支持5g吗(华为nova9支持5g手机吗)

    华为nova9支持5g吗(华为nova9支持5g手机吗)

  • 小米手环5能用小爱同学吗(小米手环5能用多久)

    小米手环5能用小爱同学吗(小米手环5能用多久)

  • 华为p30有视频通话美颜的吗

    华为p30有视频通话美颜的吗

  • 抖音粉丝牌怎么升级(抖音粉丝牌怎么在别的房间不显示)

    抖音粉丝牌怎么升级(抖音粉丝牌怎么在别的房间不显示)

  • 苹果tt语音上不了麦(苹果tt语音上不了网了)

    苹果tt语音上不了麦(苹果tt语音上不了网了)

  • 为什么找不到撤销退款申请(为什么找不到撤销退货退款申请)

    为什么找不到撤销退款申请(为什么找不到撤销退货退款申请)

  • 索尼4800万和三星6400万区别(索尼4800万和三星一亿像素)

    索尼4800万和三星6400万区别(索尼4800万和三星一亿像素)

  • 魅族手机收不到验证码怎么解决(魅族手机收不到短信验证码怎么办)

    魅族手机收不到验证码怎么解决(魅族手机收不到短信验证码怎么办)

  • ipad弯了要怎么修复(ipad弯了怎么压回来)

    ipad弯了要怎么修复(ipad弯了怎么压回来)

  • 平板下载hd还是普通(平板应该下载hd)

    平板下载hd还是普通(平板应该下载hd)

  • 注册美团骑手需要什么条件(注册美团骑手需要哪些费用)

    注册美团骑手需要什么条件(注册美团骑手需要哪些费用)

  • 魅族17屏幕尺寸(魅族17的屏幕尺寸)

    魅族17屏幕尺寸(魅族17的屏幕尺寸)

  • qq互联业务登录能干嘛(qq互联业务登录直接被盗)

    qq互联业务登录能干嘛(qq互联业务登录直接被盗)

  • 网页500错误什么意思(打开网页报500错误)

    网页500错误什么意思(打开网页报500错误)

  • 抖音注销账号需要多久(抖音注销账号需要人脸识别吗)

    抖音注销账号需要多久(抖音注销账号需要人脸识别吗)

  • ipad9是哪款(ipad9是不是苹果2019)

    ipad9是哪款(ipad9是不是苹果2019)

  • 抖音为什么有的视频不能保存本地(抖音为什么有的人不显示ip属地)

    抖音为什么有的视频不能保存本地(抖音为什么有的人不显示ip属地)

  • 十年没用的qq还能找回密码吗(十年没用的qq还能恢复吗)

    十年没用的qq还能找回密码吗(十年没用的qq还能恢复吗)

  • 小米省电模式什么影响(小米省电模式什么时候开启比较好)

    小米省电模式什么影响(小米省电模式什么时候开启比较好)

  • ml8lite是什么型号(m|8lite)

    ml8lite是什么型号(m|8lite)

  • 魅族m882q叫什么型号(魅族m822q是什么手机)

    魅族m882q叫什么型号(魅族m822q是什么手机)

  • 华为手机报警是什么情况(华为手机报警系统)

    华为手机报警是什么情况(华为手机报警系统)

  • 快手怎么开k歌房间(快手怎么开通k歌功能)

    快手怎么开k歌房间(快手怎么开通k歌功能)

  • 手机电话图标不见怎么恢复(手机电话图标不小心删了怎么办)

    手机电话图标不见怎么恢复(手机电话图标不小心删了怎么办)

  • xsmax怎么开机(xsmax怎样开机)

    xsmax怎么开机(xsmax怎样开机)

  • mediaaccess.exe是什么进程 有什么作用  mediaaccess进程查询(mediacache是什么文件夹)

    mediaaccess.exe是什么进程 有什么作用 mediaaccess进程查询(mediacache是什么文件夹)

  • 计提增值税会计科目是什么
  • 城市公交算国企吗
  • 平价转让股权如何做
  • 总账一级科目有哪些
  • 个体的个人所得税怎么算
  • 企业给员工的福利取消了可以劳动仲裁么
  • 固定资产报废处置收入要交增值税吗
  • 其他收益在报表哪个位置
  • 固定资产明细表范本
  • 视同销售收入计入会计利润吗
  • 捐赠个人支出需要交纳个税吗?
  • 小规模纳税人需要汇算清缴吗
  • 淘宝企业店铺是工厂直销吗
  • 案例分析建筑业发展趋势
  • 增值税进项发票网上勾选平台
  • 关于两套账老板和会计须知的4个点
  • 关于企业所得税若干优惠政策的通知
  • 对外投资增长过快
  • 国税退税怎么做账
  • 购销合同印花税税率
  • 企业资产转移是什么意思
  • 查账征收的个体户注销流程
  • 积分全部换购商品是什么
  • win10 5月更新已知bug
  • 税优识别码是纳税人识别号吗
  • vmware10虚拟机安装
  • 应税货物销售额怎么填
  • linux zen3
  • 汇算清缴应补税额小于400
  • 调整以前年度亏损
  • 电子发票有哪些种类
  • 演员片酬要分给经纪公司吗
  • HTML常用的表单控件有哪些
  • 建筑保温材料施工规范
  • 现金流量表要填满吗
  • 什么情况下可以提取公积金
  • 新会计准则规定
  • 织梦一直显示上一页和下一页
  • 成本费用利润率越高越好吗
  • 递延收益与预收收益区别
  • 增值税专用发票怎么开
  • 为什么盈余公积减少,未分配利润增加
  • 汇算清缴思路
  • 营改增后一般纳税人按简易办法计税的规定
  • 出口退税申报系统汇率修改
  • 网上报税有没有时间限制
  • 以前年度多计提成本怎么处理
  • 实收资本可以以现金入账吗
  • 运输公司车辆保养记录表格
  • 根据银行流水如何计算成本
  • 垫款报销
  • 以前年度应付款少记怎么入账
  • 加计抵减需要计税吗
  • sqlserver清空所有表数据
  • windos桌面
  • xp不能安装win8
  • dll文件在哪儿
  • 苹果电脑dock栏是什么意思
  • centos 任务计划
  • linux锁住用户
  • ie11怎么打开ie8
  • win7电脑开机显示屏显示黑屏怎么办
  • winxp系统笔记本电脑如何开启无线网络
  • win7控制面板有哪些功能
  • xp电脑小游戏
  • centos设置双网卡
  • win8网络图标不显示
  • 教程:如何在Win10 PC上玩Pokémon Go游戏
  • win8iis安装配置
  • 新版电脑装win7
  • python ssh 远程执行命令
  • android ios UI
  • jquery怎么设置宽度
  • PreferenceActivity、PreferenceFragment使用
  • [置顶]马粥街残酷史
  • javascript中匿名函数
  • python计算字符串长度的程序
  • 是否一般纳税人怎么查
  • 增值税纳税申报操作流程和内容
  • 新余契税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设