位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • qq活跃度在哪里看(qq活跃度在哪里看手机)

    qq活跃度在哪里看(qq活跃度在哪里看手机)

  • vivo手机微信分身在哪设置(vivo手机微信分屏功能在哪里)

    vivo手机微信分身在哪设置(vivo手机微信分屏功能在哪里)

  • 拼多多不可以一次购买多种产品吗(拼多多不可以一次性付款吗)

    拼多多不可以一次购买多种产品吗(拼多多不可以一次性付款吗)

  • 手机微信屏幕变黑色怎么办(手机微信屏幕变成黑白色怎样调回来)

    手机微信屏幕变黑色怎么办(手机微信屏幕变成黑白色怎样调回来)

  • p30可以当空调遥控器用吗(p30怎么当空调遥控器)

    p30可以当空调遥控器用吗(p30怎么当空调遥控器)

  • cad引线标注快捷键(cad引线标注快捷键是啥)

    cad引线标注快捷键(cad引线标注快捷键是啥)

  • 小米摄像头蓝色灯闪烁是什么情况(小米摄像头蓝色指示灯怎么关闭)

    小米摄像头蓝色灯闪烁是什么情况(小米摄像头蓝色指示灯怎么关闭)

  • 笔记本南桥坏了有必要修吗(笔记本南桥坏了怎么修)

    笔记本南桥坏了有必要修吗(笔记本南桥坏了怎么修)

  • mate30闪光灯下面的白点(mate30pro闪光灯下面白点)

    mate30闪光灯下面的白点(mate30pro闪光灯下面白点)

  • 苹果总是自动关闭软件(苹果总是自动关机是什么原因)

    苹果总是自动关闭软件(苹果总是自动关机是什么原因)

  • ipad闪退黑屏怎么修复(ipad闪退黑屏怎么办)

    ipad闪退黑屏怎么修复(ipad闪退黑屏怎么办)

  • 轻颜相机有涂鸦功能吗(轻颜相机有涂鸦模式吗)

    轻颜相机有涂鸦功能吗(轻颜相机有涂鸦模式吗)

  • 网站备案是icp吗(网站备案就是icp备案吗)

    网站备案是icp吗(网站备案就是icp备案吗)

  • 魅族16sPro怎么开启简易模式(魅族16spro怎么开dc调光)

    魅族16sPro怎么开启简易模式(魅族16spro怎么开dc调光)

  • 苹果7的诊断与用量在哪里(iphone诊断)

    苹果7的诊断与用量在哪里(iphone诊断)

  • 京东号违规了怎么处理(京东账号存在严重违规已关闭会员服务)

    京东号违规了怎么处理(京东账号存在严重违规已关闭会员服务)

  • 微信能发实况照片吗(微信能否发实况照片)

    微信能发实况照片吗(微信能否发实况照片)

  • realme手机是哪家公司的(realme是哪家的)

    realme手机是哪家公司的(realme是哪家的)

  • 零输入响应和零状态响应(零输入响应和零状态响应的关系)

    零输入响应和零状态响应(零输入响应和零状态响应的关系)

  • 苹果屏保时间怎么设置 (苹果屏保时间怎么变成黑色)

    苹果屏保时间怎么设置 (苹果屏保时间怎么变成黑色)

  • 详解Linux系统中ping和arping命令的用法(linux的pipe)

    详解Linux系统中ping和arping命令的用法(linux的pipe)

  • 详解Linux系统中的文件权限设置(linux系统用法)

    详解Linux系统中的文件权限设置(linux系统用法)

  • python怎样使用read读取不同类型文件(python rem)

    python怎样使用read读取不同类型文件(python rem)

  • 税负统计口径
  • 取得虚开普票怎样补增值税
  • 100万劳务费发票多少税
  • 地价计入房产原值公式
  • 收到发票未付款怎么处理
  • 出口货物进项税怎样处理
  • 没有工会 还需要交钱吗
  • 企业交税前可以扣除的费用
  • 现金折让怎么做会计分录
  • 运保佣是什么
  • 为安装设备所发生的差旅费入什么科目
  • 券商买卖股票手续费
  • 未使用的固定资产提不提折旧
  • 17税点变更成16税点
  • 技术开发免税收益方
  • 发票认证系统查不到发票
  • 小规模纳税人金额
  • 工资三金是指哪三样
  • 小微企业销售已按固定资产入账的办公家具也享受免税政策吗?
  • 纳税信用b
  • 城市维护建设税的计税依据是什么
  • 无票收入冲回会计分录
  • 纳税人申领发票流程
  • 小企业补贴收入怎么做账
  • 如何关闭edge浏览器下载保护
  • 汇算清缴后的会计分录
  • 一键ghost软件怎么用
  • 电脑CPU性能天梯
  • 应付职工薪酬账户期末余额可能是
  • 卡特迈国家公园地图
  • 处置二手固定资产
  • 计算利润要扣除企业所得税吗
  • 金融资产减值损益怎么算
  • php获取网页所有页数
  • 小型微利企业的认定标准
  • 存货的会计核算及业务处理
  • 销售商品的折扣
  • 企业所得税第二十七条规定
  • 减免税款账务处理
  • sqlserver 存储过程 临时表
  • 购买的手机可以退货吗
  • 营业外收入主要包括( )
  • 企业所得税汇算清缴操作流程
  • 库存商品暂估入库是什么意思
  • 增值税涉及的税目有哪些
  • 按最低标准买社保30年退休后每个月领多少钱
  • 先开发票后付款如何记账?
  • 投资款项是什么意思
  • 接到国外的电话是怎么回事
  • 怎样把有余额的钱取出来
  • Centos7 下Mysql5.7.19安装教程详解
  • mysql5.7版本下载
  • centos 管理员
  • ubuntu设置启动项
  • centos安装位置选择
  • centos配置网络地址命令
  • npssvc.exe - npssvc是什么进程 有什么用
  • linux whoami命令详解
  • win10搜索不到无线网卡
  • linux备份的文件bak如何恢复
  • WIN10系统怎么删除软件
  • win10 build 21277
  • unity怎么输出文件
  • javascript事件绑定学习要点
  • javascript 浏览器
  • jquery中attr和prop
  • Jquery Ajax Error 调试错误的技巧
  • 在布局中使用选定的比例
  • firefox document
  • javascriptz
  • 提高css文件可维性的方法
  • Node.js中的construct构造函数
  • gin项目
  • android面试2021
  • python scripy
  • js下拉菜单的制作方法
  • 河南电子税务局官网入口
  • 电子税务局怎么添加开票员
  • 音箱海关税
  • 重庆税务查询企业信息查询系统
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设