位置: IT常识 - 正文

Adam优化器(通俗理解)(adamax优化器)

编辑:rootadmin
Adam优化器(通俗理解)

推荐整理分享Adam优化器(通俗理解)(adamax优化器),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:adam优化器 pytorch,adam优化器与sgd比较,adam优化器与sgd比较,adam优化器的作用,adamw优化器,adam优化器使用,adam优化器全称,adam优化器的作用,内容如对您有帮助,希望把文章链接给更多的朋友!

网上关于Adam优化器的讲解有很多,但总是卡在某些部分,在此,我将部分难点解释进行了汇总。理解有误的地方还请指出。

Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。

Adam的推导公式:

解释:

第一项梯度就是损失函数对求偏导。

第二项为t时刻,梯度在动量形式下的一阶矩估计。

第三项为梯度在动量形式下的二阶矩估计。

第四项为偏差纠正后的一阶矩估计。其中:是贝塔1的t次方,下面同理。

Adam优化器(通俗理解)(adamax优化器)

第五项为偏差纠正后的二阶矩估计。

最后一项是更新公式,可以参考RMSProp以及之前的算法。

问题:

1. 梯度下降:不懂梯度下降建议先搞懂SGD优化器。

2. 动量:在之前的SGDM优化器中就被应用了。

3. 矩估计:不懂请看大学里面的《概率论与数理统计》。

4. 为什么需要偏差纠正:

这里只是讲讲我的理解。拿二阶矩估计来举例,各个的公式如下:

而我们实际上需要的是梯度的二阶矩估计,也就是。因此使用动量求出来的二阶矩估计是有偏的,需要纠正。我们对动量二阶矩估计求期望,可以通过等比数列公式得到与的关系: 

因此,要得到,就需要除掉前面的系数(是一个常数,是贝塔2的t次方,t:t时刻)。

主要问题就是这些,其他的可以多看Adam之前一些优化器的资料,很多是一脉相承的。

本文链接地址:https://www.jiuchutong.com/zhishi/287178.html 转载请保留说明!

上一篇:最早的手机是什么(最早的手机是哪一年)

下一篇:【vue项目部署CSS失效】VUE部署后css样式加载无效和失效多种情况解决方案(vue写css)

  • 个体户是否属于免征纳税对象是什么意思
  • 电子缴税付款凭证怎么做账
  • 企业缴纳个人所得税比例
  • 支付一次性劳务报酬怎么做账
  • 企业所得税弥补亏损年限
  • 菜场摊位租赁合同
  • 应交税费贷方余额怎么算
  • 计提贷款损失准备金遵循以下原则
  • 会员卡收费怎么办理
  • 净资产合计低于实际收益
  • 应付工资可以挂账多长时间
  • 餐馆的前期投资预算
  • 地税人工费税率计算是怎样的?
  • 租赁房产不开租房发票
  • 董事会会费计入哪里
  • 小规模纳税人开了3%的专票还能享受1%
  • 发票开了款没付
  • 不动产登记房屋已竣工的材料
  • 动车票的税进行抵扣该填写在哪里
  • 包装物及其押金的消费税的注意事项
  • 企业增值税如何退税
  • 格式化时防止数据丢失
  • 提取利润会计分录怎么做
  • 软件维护费清单
  • 水电费无发票如何做账
  • php调用mysql索引查询
  • 商业自持店铺出租合法吗
  • 代理进口合同如何签署
  • 什么是两免一补的条件
  • react最新教程
  • 退休返聘人员是否享受工会福利
  • 程序员的表白情书
  • 合伙企业利润分配原则
  • 计算机视觉需要学什么
  • php时间函数用法代码
  • 网络请求失败什么意思
  • 残保金申报缴纳时间
  • admit允许
  • 多交的城建税可以抵减扣除吗
  • 行政单位核销其他应付款分录
  • 购房发票可以对折吗
  • 退税是上一年交的税都会退吗
  • 金税盘怎样设置收款人复核人
  • phpcms怎么用
  • mysql5.7免安装版
  • 运输行业一般纳税人开普票税率是多少
  • 固定收益票据
  • 公司购买新车怎么入账
  • 建筑业跨区域预缴税款的计算
  • 小微企业是怎样自己认定的呢
  • 出口不退税进项税是否可以抵扣
  • 可以以公司名义贷款吗
  • 出口货物退免税的管理规定
  • 预交税会计分录
  • 收到开错的发票怎么办
  • 购配件组装机器多少钱
  • 所得税费用的核算方法叫
  • 出库销售会计分录
  • 资本公积只能转现金吗
  • 金税盘如何查看是否清卡
  • 可供出售金融资产有哪些
  • 饭店现金账怎么记账
  • sql server设置自增
  • xampp网页服务器配置文件名
  • mysql免安装版本
  • linux中nfs的配置
  • windows1021h2更新
  • win7卸载软件时显示program
  • 微软windows8.1
  • 运维是什么的
  • win8怎么查ip地址查询
  • node.js权限管理
  • 肉鸡下的鸡蛋可以吃吗
  • 深入解析java编译器:源码剖析与实例详解
  • unity uishader
  • bootstrap需要学多久
  • jquery简单吗
  • 减免性质代码是什么意思
  • 2021年河南省企业退休职工丧葬抚恤金标准
  • 南京地税局上班时间
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设