位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • anaconda 安装pytorch(anaconda安装pyradiomics)

    anaconda 安装pytorch(anaconda安装pyradiomics)

  • 苹果手表如何连接手机(苹果手表如何连接蓝牙耳机)

    苹果手表如何连接手机(苹果手表如何连接蓝牙耳机)

  • 红米手表2可以听音乐吗(红米手表2可以游泳吗)

    红米手表2可以听音乐吗(红米手表2可以游泳吗)

  • 搜狗输入法皮肤怎么换(搜狗输入法皮肤怎么设置)

    搜狗输入法皮肤怎么换(搜狗输入法皮肤怎么设置)

  • 如何关闭微博自动刷新(如何关闭微博自动播放下一个视频)

    如何关闭微博自动刷新(如何关闭微博自动播放下一个视频)

  • 微信运动怎么删除(微信运动怎么删除关注的人)

    微信运动怎么删除(微信运动怎么删除关注的人)

  • ip65级防水有多强(ip65级防水测试标准)

    ip65级防水有多强(ip65级防水测试标准)

  • 美团商家能看到访客吗(美团商家能看到客户浏览记录吗)

    美团商家能看到访客吗(美团商家能看到客户浏览记录吗)

  • 路由器怎么关闭5g(路由器怎么关闭重启)

    路由器怎么关闭5g(路由器怎么关闭重启)

  • 防爆膜和钢化膜哪个经摔(防爆膜和钢化膜哪个更好)

    防爆膜和钢化膜哪个经摔(防爆膜和钢化膜哪个更好)

  • win7调出虚拟键盘(w7调出虚拟键盘)

    win7调出虚拟键盘(w7调出虚拟键盘)

  • 快手极速版有上限吗(快手极速版有上限怎么办)

    快手极速版有上限吗(快手极速版有上限怎么办)

  • 双击亮屏和抬手亮屏哪个省电(双击亮屏和抬手亮屏)

    双击亮屏和抬手亮屏哪个省电(双击亮屏和抬手亮屏)

  • 常用的分类ip地址有

    常用的分类ip地址有

  • 承载系统lte打开有什么用(承载系统lte打开不了)

    承载系统lte打开有什么用(承载系统lte打开不了)

  • oppor15内屏碎了(oppor15x手机内屏坏了多少钱)

    oppor15内屏碎了(oppor15x手机内屏坏了多少钱)

  • 抖音怎么上传dj视频(抖音怎么上传电视剧视频片段)

    抖音怎么上传dj视频(抖音怎么上传电视剧视频片段)

  • 文件怎么保存到桌面上(文件怎么保存到QQ邮箱)

    文件怎么保存到桌面上(文件怎么保存到QQ邮箱)

  • 苹果x自动亮屏怎么设置(苹果x自动亮屏幕)

    苹果x自动亮屏怎么设置(苹果x自动亮屏幕)

  • 淘宝号如何解除身份证绑定(淘宝号如何解除银行卡绑定)

    淘宝号如何解除身份证绑定(淘宝号如何解除银行卡绑定)

  • 拼多多免拼成功啥意思(拼多多免拼成功后怎么取消订单)

    拼多多免拼成功啥意思(拼多多免拼成功后怎么取消订单)

  • 小红书怎么搜不到了(小红书怎么搜不到通讯录好友了)

    小红书怎么搜不到了(小红书怎么搜不到通讯录好友了)

  • 文档部件中域的作用(文档部件中域的文件名)

    文档部件中域的作用(文档部件中域的文件名)

  • 华为nova5和oppo reno z的区别(华为nova5和opporeno4对比)

    华为nova5和oppo reno z的区别(华为nova5和opporeno4对比)

  • 小程序视频怎么保存(小程序视频怎么在电脑上全屏)

    小程序视频怎么保存(小程序视频怎么在电脑上全屏)

  • vivox27快充怎么关闭(vivox27快充怎么突然变慢充了)

    vivox27快充怎么关闭(vivox27快充怎么突然变慢充了)

  • 苹果怎么换图标(苹果怎么换图标软件)

    苹果怎么换图标(苹果怎么换图标软件)

  • 全民k歌怎么匿名进歌房(全民k歌怎么匿名聊天)

    全民k歌怎么匿名进歌房(全民k歌怎么匿名聊天)

  • 闲鱼怎么删除评论(闲鱼怎么删除评价内容)

    闲鱼怎么删除评论(闲鱼怎么删除评价内容)

  • kmw_run.exe是什么进程 kmw_run进程查询(kms.exe)

    kmw_run.exe是什么进程 kmw_run进程查询(kms.exe)

  • 电子税务局财务报表怎么更正申报
  • 涉税专业服务是做什么的
  • 企业将要购买一套房产
  • 企业合并固定资产增值的规定
  • 税收制度具体内容
  • 流动负债中的短期借款
  • 车辆的鉴定评估方法
  • 有限责任公司(自然人投资或控股)
  • 进项留底怎么做账
  • 用友反结账流程
  • 企业充值是什么意思
  • 客户退货不退款会计怎么处理
  • 流动资产投资的特点有
  • 增值税预交怎么计算
  • 个体户到税务局开普票需要什么手续
  • 三联专用发票每一联分别给谁
  • 涉农贷款损失
  • 固定资产处置的账务处理
  • 土地作价入股土地如何过户
  • 增值税进项税怎么算
  • 进项大于销额如何处理账务处理?
  • 汇算清缴时所得税费用
  • 办税员可以增加办税员吗
  • 购车的进项税怎么算
  • 东方蝾螈怎么养吃什么
  • realpopup.exe - realpopup是什么进程
  • win10显示无法连接蓝牙
  • PHP:Memcached::addServer()的用法_Memcached类
  • 认知度高的人
  • php常用设计模式(大总结)
  • laravel框架用到哪些设计模式
  • vue2:elementUI中Form 表单在特定情况下做动态rules添加删除
  • 银行转账费用试算失败什么意思
  • php邮件发送类
  • centos安装epel
  • phpcms安装无法连接数据库服务器
  • 残保金工资总额包括什么
  • 简易记账和复式记账
  • 产成品报废会计处理
  • 劳务公司开发票劳务公司如何转取收入?
  • 网上学电脑
  • 固定资产盘亏是管理费用吗
  • 如何查询金税盘发票金额及开票数量
  • 会计科目是怎么来的
  • 固定资产减少如何处理
  • 个人所得税的计算公式方法Excel
  • 以前年度损益调整结转到哪里
  • 多交增值税退税抵欠怎么处理
  • 接受捐赠的材料计入什么科目
  • 本月未抵扣完的进项税是否转出
  • 外贸企业的退税可以转出来吗
  • 开具红字增值税专用发票信息表需要盖章吗
  • 蔬菜销售方式
  • 服务器托管税率
  • 会计刚开始学什么
  • mysql8.0 win7
  • XP系统安装不了游戏
  • 如何将windows文件复制到ubuntu
  • win7系统玩游戏
  • windows10x预览版
  • 如何调整心态和正确处理情绪
  • xp系统在新建账户怎么弄
  • 打开linux系统
  • 微软官方解决升级问题
  • [置顶]电影名字《收件人不详》
  • node. js教程
  • node.js基础入门
  • Android从零单排02_Eclipse搭建Android环境01
  • 如何做批处理命令
  • css教程推荐
  • css网站布局实录 pdf
  • js存储
  • vuecli脚手架是干什么的
  • javascript怎么用
  • ssh远程登录脚本
  • js实现生成随机的圆
  • 广东省国家税务局电子发票系统,网络设置
  • 蜀山区税务局网站首页
  • 国家税务总局关于涉税中介
  • 河南国税发票查询真伪官网
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设