位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • 苹果怎么把定位放到快捷(苹果手机怎么找人的位置)

    苹果怎么把定位放到快捷(苹果手机怎么找人的位置)

  • 支付宝如何解除拉黑好友(支付宝如何解除闲鱼绑定)

    支付宝如何解除拉黑好友(支付宝如何解除闲鱼绑定)

  • 苹果xsmax屏幕失灵(xsmax突然屏幕失灵)

    苹果xsmax屏幕失灵(xsmax突然屏幕失灵)

  • 手机旁边裂开怎么办(手机旁边裂开怎么办能不能爆炸)

    手机旁边裂开怎么办(手机旁边裂开怎么办能不能爆炸)

  • 服务器开小差请稍后在试怎么解决(服务器开小差啥意思)

    服务器开小差请稍后在试怎么解决(服务器开小差啥意思)

  • 华为mate30没有返回键(华为mate30没有返回键怎么办)

    华为mate30没有返回键(华为mate30没有返回键怎么办)

  • 芒果TV怎么看vip的视频(芒果TV怎么看湖南卫视)

    芒果TV怎么看vip的视频(芒果TV怎么看湖南卫视)

  • 钉钉极速打卡和手动打卡的区别(钉钉极速打卡和手动打卡得性质一样?)

    钉钉极速打卡和手动打卡的区别(钉钉极速打卡和手动打卡得性质一样?)

  • 无氟空调用什么制冷(无氟空调什么时候出的)

    无氟空调用什么制冷(无氟空调什么时候出的)

  • 飞行模式可以用流量吗(飞行模式可以用wifi上网吗)

    飞行模式可以用流量吗(飞行模式可以用wifi上网吗)

  • q8300配什么主板(q8300cpu参数配置)

    q8300配什么主板(q8300cpu参数配置)

  • 苹果来电闪光灯设置后为什么不亮(怎么取消苹果来电闪光灯)

    苹果来电闪光灯设置后为什么不亮(怎么取消苹果来电闪光灯)

  • 震旦打印机卡纸怎么办(震旦打印机卡纸怎么拿出来)

    震旦打印机卡纸怎么办(震旦打印机卡纸怎么拿出来)

  • 语音通话连接失败是什么意思(语音电话显示连接失败)

    语音通话连接失败是什么意思(语音电话显示连接失败)

  • 华为m和p系列的区别(华为m和p系列的区别在哪)

    华为m和p系列的区别(华为m和p系列的区别在哪)

  • 微信回执单号什么意思(微信回执单号是什么时候能看到)

    微信回执单号什么意思(微信回执单号是什么时候能看到)

  • 华为p20带不带无线充电(华为p20带不带无线充电功能)

    华为p20带不带无线充电(华为p20带不带无线充电功能)

  • 在回收站里删掉的东西可以恢复吗(在回收站里删掉的东西)

    在回收站里删掉的东西可以恢复吗(在回收站里删掉的东西)

  • 怎么添加底纹颜色(这么添加底纹)

    怎么添加底纹颜色(这么添加底纹)

  • 苹果11pro美版是双卡吗(苹果12pro美版)

    苹果11pro美版是双卡吗(苹果12pro美版)

  • 抖音作品怎么转私密(抖音作品怎么转发到微信朋友圈)

    抖音作品怎么转私密(抖音作品怎么转发到微信朋友圈)

  • 如何将空间中的热播关掉(把空间的)

    如何将空间中的热播关掉(把空间的)

  • 手机耳机能插电脑当话筒吗(手机耳机能插电脑上后怎么操作)

    手机耳机能插电脑当话筒吗(手机耳机能插电脑上后怎么操作)

  • 如何设置页面边框为星星(如何设置页面边框为艺术型)

    如何设置页面边框为星星(如何设置页面边框为艺术型)

  • 苹果系统能不能降下来(苹果系统能不能玩原神)

    苹果系统能不能降下来(苹果系统能不能玩原神)

  • 私车公用如何处理
  • 应付款多付了怎么处理
  • 定期定额纳税申报表应税项应填哪个数
  • 收到的印花税退税怎么会计处理
  • 资产收益权转让产品
  • 检测费属于什么税目
  • 钱汇错需要退回应该怎么做分录?
  • 客户退回发票会退回吗
  • 税务迁移会影响外经证核销吗
  • 国税是负税需要缴税吗
  • 逃避缴纳税款征管法第几条
  • 携税宝报税流程
  • 怎么查以前申报的财务报表
  • 工资可以一次性计提全年的吗
  • 企业未成立工会需要交工会经费吗
  • 未缴少缴税款追征期
  • 1697510710
  • 每月的话费到下个月会扣吗
  • macbook自带的游戏
  • 神州战神笔记本怎么进入不了bios
  • 商业保险费包括哪些
  • 融资租赁和经营租赁哪个更常见
  • php循环结构有哪几种语句
  • php面向对象的三大特征
  • 家用电脑分为哪几类
  • 房产证办理流程图
  • 复制快捷键ctrl+c
  • 一列火车穿过一条隧道,已知火车长450米,隧道长750米
  • 酒店行业存货周转率多少合适
  • 个人所得税的征收模式为()A分类征收B综合征收C
  • 日本福吉山
  • 2023前端面试题csdn
  • 开办费的具体内容有哪些
  • vue运行报错怎么解决
  • 企业内部转账通知单
  • 编译原理第三版
  • php返回数组中所有的值的函数是什么?
  • tcpreplay命令详解
  • python怎么设置字符串宽度
  • 什么情况印花税
  • 转让使用过的固定资产增值税
  • 企业应设置的账簿包括什么
  • 织梦专题页模板
  • 计提工资附什么单据
  • sql中循环语句怎么写
  • 个税更改公司怎么操作
  • 中标的工程交易怎么处理
  • 药品的增值税税率13%还是17%?
  • 应付账款的主要舞弊形式
  • 服装租赁费的税率是多少
  • 小规模企业提现到自己个人银行卡需要交多少税
  • 增值税专用发票有几联?
  • 开办费用怎么处理
  • 小规模纳税人购进税控收款机
  • 进口关税减免政策
  • 行政单位 预算会计
  • 参展企业收到展览费用
  • 产权转移书据纳税义务时间
  • 总账会计的岗位目的
  • 什么是电子商业承兑汇票贴现
  • 房地产开发企业资质管理规定
  • sql server的主数据库是( )
  • mysql文件存储路径设置
  • win8.1开机速度慢
  • w10预览版21343下载
  • winxp文件夹选项
  • u盘安装win7视频教程
  • mac wife
  • win10修复dllregisterserver
  • windows10如何取消密码开机
  • linux igb
  • win8应用商店下载
  • 控制角色一致性的5个方法
  • dos测试网络连接
  • python日历查询系统
  • 猫的喵喵
  • androidx混淆
  • python 备份文件夹
  • 重庆市电子税务局官网登录入口注册
  • 何为价外费用
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设