位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • 腾达路由器怎么设置信号增强(腾达路由器怎么改名字)

    腾达路由器怎么设置信号增强(腾达路由器怎么改名字)

  • 微信隔空投送怎么打开(微信隔空投送怎么打开vivo)

    微信隔空投送怎么打开(微信隔空投送怎么打开vivo)

  • 苹果7plus返回键如何设置(苹果7plus返回键坏了能修吗)

    苹果7plus返回键如何设置(苹果7plus返回键坏了能修吗)

  • 图表系统组建失败是什么意思

    图表系统组建失败是什么意思

  • 变频压缩机接线方法(变频压缩机接线图)

    变频压缩机接线方法(变频压缩机接线图)

  • 华为p40手机发热怎么办(华为p40手机发热怎么办解决)

    华为p40手机发热怎么办(华为p40手机发热怎么办解决)

  • adsl拨号上网什么意思(adsl是拨号上网吗)

    adsl拨号上网什么意思(adsl是拨号上网吗)

  • 哪些行为会被闲鱼降权(哪些行为会被征信)

    哪些行为会被闲鱼降权(哪些行为会被征信)

  • 微信辅助验证是什么(微信辅助验证是几位数)

    微信辅助验证是什么(微信辅助验证是几位数)

  • 三星s8关机充电显示感叹号(三星s8关机充电时屏幕底端有黄色闪电)

    三星s8关机充电显示感叹号(三星s8关机充电时屏幕底端有黄色闪电)

  • 站内信通知是什么意思(站内信息是什么意思)

    站内信通知是什么意思(站内信息是什么意思)

  • 微信密码丢失 并且手机号也换了(微信密码丢失怎么找回密码不用手机短信验证)

    微信密码丢失 并且手机号也换了(微信密码丢失怎么找回密码不用手机短信验证)

  • 表格升降序怎么设置(表格升降序怎么还原)

    表格升降序怎么设置(表格升降序怎么还原)

  • 小米手环34区别(小米手环3 4 5)

    小米手环34区别(小米手环3 4 5)

  • 怎么看苹果手机是国行还是美版(怎么看苹果手机内存)

    怎么看苹果手机是国行还是美版(怎么看苹果手机内存)

  • 红米k20pro摄像头弹不出来(红米k20pro摄像头红灯闪烁)

    红米k20pro摄像头弹不出来(红米k20pro摄像头红灯闪烁)

  • 微信表情包上限是多少(微信表情包上限扩充)

    微信表情包上限是多少(微信表情包上限扩充)

  • 手机话费发票怎么打印(手机话费发票怎么下载)

    手机话费发票怎么打印(手机话费发票怎么下载)

  • 手机怎么修改qq密码(手机怎么修改QQ独立密码)

    手机怎么修改qq密码(手机怎么修改QQ独立密码)

  • 手机怎么提炼黄金(手机怎么提炼黄金犯法吗)

    手机怎么提炼黄金(手机怎么提炼黄金犯法吗)

  • ios12我的照片流在哪(iphone12 我的照片流)

    ios12我的照片流在哪(iphone12 我的照片流)

  • 三星s9 g9550是什么(三星s9 g9600)

    三星s9 g9550是什么(三星s9 g9600)

  • oppowifi备份后是乱码(手机wifi备份)

    oppowifi备份后是乱码(手机wifi备份)

  • 腾讯文档转word(腾讯文档转Word文档出错)

    腾讯文档转word(腾讯文档转Word文档出错)

  • 电脑全选是ctrl加什么(全选的电脑快捷键是什么)

    电脑全选是ctrl加什么(全选的电脑快捷键是什么)

  • keep连续包月怎么取消(keep连续包月怎么取消苹果)

    keep连续包月怎么取消(keep连续包月怎么取消苹果)

  • 机械键盘轴的区别声音(机械键盘轴的区别图)

    机械键盘轴的区别声音(机械键盘轴的区别图)

  • 打开资源管理器后直接显示“我的电脑”(怎么打开资源管理器)

    打开资源管理器后直接显示“我的电脑”(怎么打开资源管理器)

  • 展现AI与自动化测试技术之间的神奇化学反应(ai与自动化有什么区别)

    展现AI与自动化测试技术之间的神奇化学反应(ai与自动化有什么区别)

  • python poetry如何创建项目

    python poetry如何创建项目

  • 企业所得税从业人数怎么填,依据什么填写
  • 个体工商户单位性质怎么填
  • 小规模纳税人企业所得税怎么计算
  • 小规模纳税人免税账务处理
  • 财务如何审核合同支付条款风险
  • 现金流量表抵消分录
  • 医院企业所得税怎么征收的
  • 税务登记财务负责人可以是法人吗
  • 样品费用会计分录
  • 财务会计制度备案表
  • 可控费用包括工资吗
  • 资金不需要验资,实收资本怎么入账
  • 未分配利润转增股本要交税吗
  • 固定资产丢失收入怎么办
  • 外贸企业购进货物出口后,应退消费税应当贷记
  • 前期差错更正处理方法
  • 残保金工资总额怎么算
  • 资产负债表里面的应收账款包括哪些
  • 企业短期投资交增值税吗
  • 无法手动设置时区
  • 优酷路由宝是什么东西
  • 企业违章行为
  • 平时发票未上传怎么回事
  • windows 11预览版
  • 产品试用装怎么做会计分录
  • linux 计算字符数
  • win10dev预览版
  • 万年青的养殖方法和注意事项盆栽
  • 车间耗材管理办法
  • 货物运输印花税计算公式
  • 工业企业采购部工作职责
  • 委托证券公司发行股票的手续费计入什么科目
  • 游戏运营服务是做什么的
  • 对公账户的银行卡号是几位数
  • 小程序制作平台
  • 检测费的税票税率怎么算
  • java解析xml常用方式
  • 注意力机制加在什么位置
  • 指令获取
  • python按行读入
  • php clob
  • ps怎么把皮肤变红润
  • python获取字符串中汉字的个数
  • 处置长期股权投资产生的投资收益是什么
  • 公对公的税票是怎么个流程
  • 什么是财务报表分析,方法有哪些
  • 技术服务费增值税税率1%
  • js 自定义类型
  • mongodb如何修改数据
  • 房地产企业开发的已出租的房屋属于投资性房地产吗
  • 自来水适用3%税率还是9%税率
  • 代开专票的个税减免吗?
  • 技术服务费可以计入成本吗
  • 应付职工薪酬的二级科目都有哪些
  • 计提折旧会计分录怎么做
  • 货物赔偿款如何计算
  • 车辆etc设备
  • 税控系统设备可以全额抵扣吗
  • 公开发行企业债券,发行人累计债券余额
  • 卖蒸汽的增值税是多少
  • mysql的修改命令
  • 如何修改windows注册表
  • win7把声音设备禁用了怎么要回来
  • 怎么看80端口被占用
  • win7文件夹怎么显示大小
  • win10更新需要重启怎么办
  • 带上Windows 8去旅行 让你的旅途更轻松
  • win7系统怎样修复网络连接
  • win7怎么下到u盘
  • ubuntu on android
  • android查询数据库
  • python tkinter tabview
  • python提取xml的值
  • pm2系统的操作
  • Unity之megaFierstext翻书插件控制代码分析
  • jquery validate表单校验html
  • python中json的用法
  • 江苏税务怎么在手机上办
  • 正外部性与负外部性的定义
  • 增值税电子普通发票和普通发票区别
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设