位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • SEO常见推广方式有哪些?(seo推广方案怎么做)

    SEO常见推广方式有哪些?(seo推广方案怎么做)

  • opporeno4充电速度如何(OPPOreno4充电速度)

    opporeno4充电速度如何(OPPOreno4充电速度)

  • 多人qq电话的时候怎么闭麦(qq多人语音通话)

    多人qq电话的时候怎么闭麦(qq多人语音通话)

  • iphone8plus是否支持5g(苹果8p支持)

    iphone8plus是否支持5g(苹果8p支持)

  • 微信会被盗号吗(扫码登录微信会被盗号吗)

    微信会被盗号吗(扫码登录微信会被盗号吗)

  • qq为什么会被盗(qq为什么会被盗号发涩图)

    qq为什么会被盗(qq为什么会被盗号发涩图)

  • 安培和毫安的换算(1安培等于多少毫安培)

    安培和毫安的换算(1安培等于多少毫安培)

  • 超融合与云计算的区别(超融合与云计算的双活)

    超融合与云计算的区别(超融合与云计算的双活)

  •   华为激活日期怎么看(华为激活日期和保修日期查询)

      华为激活日期怎么看(华为激活日期和保修日期查询)

  • 为啥QQ不显示5G在线(为啥QQ不显示厘米秀了)

    为啥QQ不显示5G在线(为啥QQ不显示厘米秀了)

  • qq消息推送在哪里设置(qq消息推送在哪里打开)

    qq消息推送在哪里设置(qq消息推送在哪里打开)

  • 抖音通过手机通讯录关注是什么意思(抖音通过手机通讯录找不到)

    抖音通过手机通讯录关注是什么意思(抖音通过手机通讯录找不到)

  • 手机网络卡是什么原因(手机网络卡是什么原因,这样简单设置一下,网速瞬间提升)

    手机网络卡是什么原因(手机网络卡是什么原因,这样简单设置一下,网速瞬间提升)

  • 快手为什么看不到播放量(快手为什么看不到别人的动态)

    快手为什么看不到播放量(快手为什么看不到别人的动态)

  • 软件删除了怎么找回来(软件删除了怎么找回来 免费)

    软件删除了怎么找回来(软件删除了怎么找回来 免费)

  • 多媒体会议业务是什么(多媒体会议解决方案)

    多媒体会议业务是什么(多媒体会议解决方案)

  • mate30 使用的什么屏幕(mate30主打什么)

    mate30 使用的什么屏幕(mate30主打什么)

  • 段落对齐方式有哪五种(段落对齐方式有哪些)

    段落对齐方式有哪五种(段落对齐方式有哪些)

  • 华为mate30pro有没有双系统(华为mate30pro有没有OTG功能)

    华为mate30pro有没有双系统(华为mate30pro有没有OTG功能)

  • 哔咔在苹果商店叫什么(哔咔苹果app)

    哔咔在苹果商店叫什么(哔咔苹果app)

  • 手机怎么交流量(手机怎么交流量费用)

    手机怎么交流量(手机怎么交流量费用)

  • skwa0什么手机(skr ao什么手机)

    skwa0什么手机(skr ao什么手机)

  • 华为怎么拍正方形照片(华为怎么拍正方形的照片)

    华为怎么拍正方形照片(华为怎么拍正方形的照片)

  • 荣耀20的nfc在哪里(荣耀20i的nfc)

    荣耀20的nfc在哪里(荣耀20i的nfc)

  • leoxao是什么牌子(leoyruoo是什么牌子)

    leoxao是什么牌子(leoyruoo是什么牌子)

  • 铃声多多怎么导入视频(铃声多多怎么导入本地苹果手机)

    铃声多多怎么导入视频(铃声多多怎么导入本地苹果手机)

  • mate20开发者选项在哪里(mate20开发者选项在哪 无法打开)

    mate20开发者选项在哪里(mate20开发者选项在哪 无法打开)

  • phpcms如何关联连接?(怎么连接php)

    phpcms如何关联连接?(怎么连接php)

  • 项目税后现金流量的计算方法
  • 税收减免的定义
  • 甲方给的工程奖项有哪些
  • 火车票补票报销流程
  • 销售税金及附加含增值税吗
  • 超过诉讼时效的答辩状怎么写
  • 税务局锁了开票系统票已领出还可以开出来吗
  • 定期存款利息税是多少
  • 替票和代票的区别是什么
  • 安装固定资产领用原材料
  • 发票查询显示无数据怎么回事
  • 中方人员取得的工资、薪金所得,征收个人所得税有特别规定吗?
  • 购买软件可以退款吗
  • 专用发票退回
  • 月销售额不超10万,免征教育费附加分录
  • 委托代购商品的核算有
  • 设备租赁公司成本
  • 可变现净值是不是就是毛利
  • 印花税的购销合同改成买卖合同了吗?
  • 差额纳税和全额纳税
  • 暂估金额与发票金额的区别
  • 费用开两次发票怎么入账?
  • 错账查找的方法
  • 个人以房产投资一人有限公司时,房产要开发票吗
  • 电脑管家玩游戏卡吗
  • win10任务栏怎么隐藏
  • 一个药厂能够生产药品的三个前提条件
  • 电脑麦克风对方听不到声音怎么办
  • 单位保洁外包公司收费标准
  • 财政补助收入的会计分录
  • win10开始菜单设置无效
  • php的数组函数
  • php or
  • netsurf.exe - netsurf是什么进程 有什么用
  • vue trim
  • 公司以知识产权出资纳税筹划
  • 如何开增值税专用发票步骤图解
  • 山上覆盖着皑皑白雪
  • mkfs.ext4 命令 对磁盘设备进行Ext4格式化
  • 电脑学word下哪个软件视频
  • 应付职工薪酬包括哪些二级科目
  • 企业财务报表有附注吗
  • 科目汇总表一张不够怎么写下一页
  • 企业应设置的账簿包括什么
  • 开票方未缴税,为何要追回付款方的退税款
  • 专项应付款转入资本公积的规定
  • 增值税一般纳税人企业对同属于增值税
  • 明细与发票
  • 以前年度应付款少记怎么入账
  • 跨年度未开发票第二年如何做确认收入?
  • 基本生产成本和生产成本
  • 哪些行业可以开收购发票
  • 企业利润的构成内容
  • 低值易耗品与固废的区别
  • win2003控制面板在哪里打开
  • window7临时文件
  • 在windows中下列叙述正确的是什么
  • ubuntu常用的50个命令
  • u盘安装启动盘
  • puppet部署
  • 电脑windows8怎么样
  • window mobile系统
  • win7系统笔记本怎么连接wifi
  • gzip与zip
  • win7如何清理c盘空间不影响系统
  • win10能运行的单机游戏
  • nodejs的socket
  • perl里怎么对数组实现一次遍历
  • Bullet(Cocos2dx)之增加调试绘制PhysicsDraw3D
  • cocos js
  • 用Python设计一个游戏
  • nodejs连接mongodb副本集
  • python多线程怎么用
  • javascript数组的常用方法
  • python网络爬虫项目步骤
  • jquery有哪些
  • python 观察者
  • python3 re
  • 互联网服务业有哪些行业
  • 企业税务自查报告
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设