位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • 微信已撤回消息怎么看(微信已撤回消息恢复器安卓)

    微信已撤回消息怎么看(微信已撤回消息恢复器安卓)

  • 手机出现fastboot是怎么回事(手机出现fastboot怎么退出来)

    手机出现fastboot是怎么回事(手机出现fastboot怎么退出来)

  • 抖音可以删掉共同关系吗(抖音共获得赞怎么删)

    抖音可以删掉共同关系吗(抖音共获得赞怎么删)

  • 华为p30拍照像素是多少(华为p30拍照像素多少万)

    华为p30拍照像素是多少(华为p30拍照像素多少万)

  • 企业微信管理员权限有哪些(企业微信管理员怎么添加员工)

    企业微信管理员权限有哪些(企业微信管理员怎么添加员工)

  • 路由器设置上网方式选哪个(路由器设置上网设置怎么设置)

    路由器设置上网方式选哪个(路由器设置上网设置怎么设置)

  • 手机屏幕突然全是雪花(手机屏幕突然全黑了没关机)

    手机屏幕突然全是雪花(手机屏幕突然全黑了没关机)

  • 视频信号数字化存在的最大问题是(视频信号数字化仪是输入设备吗)

    视频信号数字化存在的最大问题是(视频信号数字化仪是输入设备吗)

  • 什么是网络信息安全与保密的核心和关键(什么是网络信息安全的核心技术)

    什么是网络信息安全与保密的核心和关键(什么是网络信息安全的核心技术)

  • 淘宝退货上门取件和自己寄有什么区别(淘宝退货上门取件可以改地址吗)

    淘宝退货上门取件和自己寄有什么区别(淘宝退货上门取件可以改地址吗)

  • 苹果手机怎么强行关机快捷键(苹果手机怎么强制关机)

    苹果手机怎么强行关机快捷键(苹果手机怎么强制关机)

  • 华为智能眼镜有啥用

    华为智能眼镜有啥用

  • vivos5手机怎样截图(vivo5手机如何截屏)

    vivos5手机怎样截图(vivo5手机如何截屏)

  • 手机开流量了还是没有网怎么办(手机开流量了还是没有网怎么办?)

    手机开流量了还是没有网怎么办(手机开流量了还是没有网怎么办?)

  • OPPOK5有没有视频通话美颜(opporeno5k手机视频)

    OPPOK5有没有视频通话美颜(opporeno5k手机视频)

  • 苹果power键是哪个键(苹果的power键)

    苹果power键是哪个键(苹果的power键)

  • 计算器上的off键的作用(计算器上的off键是干什么用的)

    计算器上的off键的作用(计算器上的off键是干什么用的)

  • 手机qq怎么查看屏蔽的人(手机qq怎么查看别人撤回的消息)

    手机qq怎么查看屏蔽的人(手机qq怎么查看别人撤回的消息)

  • 大众点评d币在哪看(大众点评点评券怎么用)

    大众点评d币在哪看(大众点评点评券怎么用)

  • 苹果手机怎么看日历节日(苹果手机怎么看激活日期)

    苹果手机怎么看日历节日(苹果手机怎么看激活日期)

  • 数字机顶盒怎么连接显示器(数字机顶盒怎么搜台)

    数字机顶盒怎么连接显示器(数字机顶盒怎么搜台)

  • 苹果手机怎么授权信任(苹果手机怎么授权)

    苹果手机怎么授权信任(苹果手机怎么授权)

  • 苹果xrgps在哪(苹果xrgps在哪里)

    苹果xrgps在哪(苹果xrgps在哪里)

  • 华为p30pro怎么装卡(华为p30pro怎么装双卡)

    华为p30pro怎么装卡(华为p30pro怎么装双卡)

  • 方言app开发前景如何(方言app开发前景分析)

    方言app开发前景如何(方言app开发前景分析)

  • moment的常见用法总结(moments的用法)

    moment的常见用法总结(moments的用法)

  • 房地产开发企业资质证书
  • 固定资产升值可以入账吗?
  • 企业其他综合收益减少应该怎么处理
  • 农产品加工需要交税吗
  • 企业新增固定资产流程图
  • 小规模企业收到专票可以入账吗
  • 存货暂估入账需要什么单据?
  • 营改增计算举例
  • 抵押车贷款会不会扣车
  • 品牌使用费的账务处理
  • 会计凭证的概念及分类
  • 已认证的发票没领怎么办
  • 会务费发票税点是多少
  • 农业企业销售林木违法吗
  • 如何防止虚开发票 等舞弊行为?
  • 发票领出来之后税盘要怎么处理
  • 金税三期得死多少企业
  • world超链接
  • 企业原材料成本有哪些
  • 今年利润弥补以后怎么算
  • 废品损失涉及的税种
  • linux 匹配字符
  • php数组函数大全
  • 怎么找回windows图片查看器
  • 押金要不回来怎么办
  • win10平板模式怎么切换
  • 企业发生的间接费用应先在
  • yolo 官网
  • ROS2+cartographer+激光雷达+IMU里程计数据融合(robot_locazation) 建图
  • 计提投资者利润
  • 员工借款能直接从公司账上转么
  • 前端es6是什么意思
  • java cookie
  • 最新预提房租会计分录
  • 实缴注册资本印花税如何缴纳
  • 赠品视同销售会计分录要如何编制?
  • 主营业务成本记错了怎么调整
  • 小规模附加税优惠政策2021
  • 个税累积税阶
  • 如何用织梦在本地搭建网站
  • python报错怎么办
  • 代扣代缴个人所得税分录
  • 样品开发计划
  • 年金现值和终值的关系
  • 小规模季度交税分录怎么做
  • 企业的存货清查包括
  • 小规模免征增值税的会计处理办法
  • 复利现值和复利终值互为逆运算对吗
  • 企业股东撤资如何清算
  • 租用写字楼水电怎么收费
  • 同城票据交换差额户金额从哪得来的
  • 年底需要结转的会计科目
  • 小规模纳税人怎么申报增值税报表
  • 增值税科目设置成多栏式还是三栏式好
  • 应收账款的账户余额
  • sqlserver优化方案
  • 电脑主机windows 7
  • 方正电脑升级
  • android x86 4.0 iso
  • linux oracle图形界面
  • linux如何操作数据库
  • reminder.exe - reminder是什么进程 有什么用
  • Linux编译内核无法启动
  • linuxu
  • recyclerview addview
  • cocos2d怎么创建项目
  • opengl es api
  • 基于jquery实现可定制的web在线富文本编辑器附源码下载
  • javascript实现2048游戏示例
  • linux中mysql备份shell脚本代码
  • jquery easyui validatebox remote的使用详解
  • 网页编辑器手机版
  • jquery网页
  • unity手柄圆盘
  • jquery的css方法
  • 非营利组织税务处理
  • 曲靖市税务局领导班子
  • 国内海运费的运价表
  • 船舶吨税税收优惠口诀
  • 基本账号信息
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设