位置: IT常识 - 正文

深度学习参数初始化(二)Kaiming初始化 含代码

编辑:rootadmin
深度学习参数初始化(二)Kaiming初始化 含代码

推荐整理分享深度学习参数初始化(二)Kaiming初始化 含代码,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

目录

一、介绍

二、基础知识

三、Kaiming初始化的假设条件 

四、Kaiming初始化的简单的公式推导

1.前向传播

2.反向传播

五、Pytorch实现

深度学习参数初始化系列:

(一)Xavier初始化 含代码

(二)Kaiming初始化 含代码

一、介绍

        Kaiming初始化论文地址:https://arxiv.org/abs/1502.01852

        Xavier初始化在ReLU层表现不好,主要原因是relu层会将负数映射到0,影响整体方差。而且Xavier初始化方法适用的激活函数有限:要求关于0对称;线性。而ReLU激活函数并不满足这些条件,实验也可以验证Xavier初始化确实不适用于ReLU激活函数。所以何恺明在对此做了改进,提出Kaiming初始化,一开始主要应用于计算机视觉、卷积网络。

二、基础知识

1.假设随机变量X和随机变量Y相互独立,则有

        (1) 

 2.通过期望求方差的公式, 方差等于平方的期望减去期望的平方.

                (2)

 3.独立变量乘积公式

        (3)

4.连续性随机变量X的概率密度函数为f(x),若积分绝对收敛,则期望公式如下:

                        (4)

三、Kaiming初始化的假设条件 

        与Xavier初始化相似,Kaiming初始化同样适用Glorot条件,即我们的初始化策略应该使得各层的激活值和状态梯度的方差在传播过程中的方差保持一致;Kaiming初始化的参数仍然满足均值是0,且更新的过程中权重的均值一直是0。

        与Xavier初始化不同的,Kaiming初始化不在要求每层输出均值都是0(因为Relu这样的激活函数做不到啊);当然也不再要求f′(0)=1。

        Kaiming初始化中,前向传播和反向传播时各自使用自己的初始化策略,但是保证前向传播时每层的方差和反向传播时梯度的方差都是1。

四、Kaiming初始化的简单的公式推导

        我们使用卷积来进行推导,并且激活函数使用ReLU。

1.前向传播

        对于一层卷积,有:

                        (5)

         其中是激活函数前的输出,是权重的个数,是权重,是输入。

        根据(3)式,可将(4)式推导为:

        (6)

         根据假设,但是是上一层通过ReLU得到的,所以,则:

                (7)

 通过(2)式可得,则(7)式推导为:

深度学习参数初始化(二)Kaiming初始化 含代码

                        (8)

根据期望公式(4), 通过第层的输出来求此期望, 我们有, 其中表示ReLU函数.

                         (9)

其中表示概率密度函数,因为的时候,所以可以去掉小于0的区间, 并且大于0的时候,可推出:

                   (10)

因为是假设在0周围对称分布且均值为0, 所以也是在0附近分布是对称的, 并且均值为0(此处假设偏置为0),则

       (11) 

所以的期望是:

              (12)

 根据公式(2),因为的期望等于0,于是有:

则式(12)推导为:

                        (13)

将(13)式带入(8)式:

                        (14)

从第一层一直往前进行前向传播, 可以得到某层的方差为 :

这里的就是输入的样本, 我们会将其归一化处理, 所以, 现在让每层输出方差等于1, 即:

于是正向传播时,Kaiming初始化的实现就是下面的均匀分布:

高斯分布:

2.反向传播

因为反向传播的时候

                (15)

 其中表示损失函数对其求导. 为参数

根据(3)式:

 其中表示反向传播时输出通道数,最后得出

于是反向传播时,Kaiming初始化的实现就是下面的均匀分布:

高斯分布:

五、Pytorch实现import torchclass DemoNet(torch.nn.Module): def __init__(self): super(DemoNet, self).__init__() self.conv1 = torch.nn.Conv2d(1, 1, 3) print('random init:', self.conv1.weight) ''' kaiming 初始化方法中服从均匀分布 U~(-bound, bound), bound = sqrt(6/(1+a^2)*fan_in) a 为激活函数的负半轴的斜率,relu 是 0 mode- 可选为 fan_in 或 fan_out, fan_in 使正向传播时,方差一致; fan_out 使反向传播时,方差一致 nonlinearity- 可选 relu 和 leaky_relu ,默认值为 。 leaky_relu ''' torch.nn.init.kaiming_uniform_(self.conv1.weight, a=0, mode='fan_out') print('xavier_uniform_:', self.conv1.weight) ''' kaiming 初始化方法中服从正态分布,此为 0 均值的正态分布,N~ (0,std),其中 std = sqrt(2/(1+a^2)*fan_in) a 为激活函数的负半轴的斜率,relu 是 0 mode- 可选为 fan_in 或 fan_out, fan_in 使正向传播时,方差一致;fan_out 使反向传播时,方差一致 nonlinearity- 可选 relu 和 leaky_relu ,默认值为 。 leaky_relu ''' torch.nn.init.kaiming_normal_(self.conv1.weight, a=0, mode='fan_out') print('kaiming_normal_:', self.conv1.weight)if __name__ == '__main__': demoNet = DemoNet()
本文链接地址:https://www.jiuchutong.com/zhishi/300432.html 转载请保留说明!

上一篇:微信小程序获取用户openid(微信小程序获取手机号失败)

下一篇:学习CSS3,使用双旋转实现福到了的迎春喜庆特效(css3知识总结)

  • word怎么画一条横线(word怎么画一条虚线)

    word怎么画一条横线(word怎么画一条虚线)

  • 荣耀30pro可以隐藏应用吗(华为荣耀30pro怎么隐藏软件)

    荣耀30pro可以隐藏应用吗(华为荣耀30pro怎么隐藏软件)

  • 魅族16th电池容量(魅族16 电池容量)

    魅族16th电池容量(魅族16 电池容量)

  • 为了您的微信安全暂不能绑定手机(为了您的微信安全暂时不能绑定手机)

    为了您的微信安全暂不能绑定手机(为了您的微信安全暂时不能绑定手机)

  • 苹果x定位不准怎么解决(iphone x定位不准)

    苹果x定位不准怎么解决(iphone x定位不准)

  • 笔记本电脑的无线网络开关在哪里 (笔记本电脑的无线开关在哪里打开)

    笔记本电脑的无线网络开关在哪里 (笔记本电脑的无线开关在哪里打开)

  • mate30自带的屏幕贴膜防摔吗(mate30rs的屏幕)

    mate30自带的屏幕贴膜防摔吗(mate30rs的屏幕)

  • 电脑无反应只有鼠标能动怎么解决(电脑无任何反应是怎么回事)

    电脑无反应只有鼠标能动怎么解决(电脑无任何反应是怎么回事)

  • bios启动项无硬盘但pe里有(bios启动项无硬盘sata有硬盘)

    bios启动项无硬盘但pe里有(bios启动项无硬盘sata有硬盘)

  • 爱奇艺怎么下载高清电影(爱奇艺怎么下载动画片到u盘)

    爱奇艺怎么下载高清电影(爱奇艺怎么下载动画片到u盘)

  • 温度太低电脑开不了机(温度低了电脑不能开机吗?)

    温度太低电脑开不了机(温度低了电脑不能开机吗?)

  • 小米mix2s各种卡顿延迟(小米mix2s卡槽在哪)

    小米mix2s各种卡顿延迟(小米mix2s卡槽在哪)

  • wan端口是什么(wan端口是哪个)

    wan端口是什么(wan端口是哪个)

  • 手机充电显示电池电压过高怎么回事(手机充电显示电池接触异常怎么解决)

    手机充电显示电池电压过高怎么回事(手机充电显示电池接触异常怎么解决)

  • 苹果手机上方出现一个电话箭头(苹果手机上方出现一个锁和圆圈)

    苹果手机上方出现一个电话箭头(苹果手机上方出现一个锁和圆圈)

  • 电脑进入安全模式按哪个键(电脑进入安全模式后怎么正常开机)

    电脑进入安全模式按哪个键(电脑进入安全模式后怎么正常开机)

  • 苹果序列号f4开头啥意思(苹果序列号F4开头是哪里生产的)

    苹果序列号f4开头啥意思(苹果序列号F4开头是哪里生产的)

  • 抖音一天限制多少关注(抖音一天限制多少流量)

    抖音一天限制多少关注(抖音一天限制多少流量)

  • 阿里卖家故意不发货(阿里卖家不发货怎么办)

    阿里卖家故意不发货(阿里卖家不发货怎么办)

  • 搜狐视频如何取消自动续费(搜狐视频如何取消自动续费会员)

    搜狐视频如何取消自动续费(搜狐视频如何取消自动续费会员)

  • Pytorch运行过程中解决出现内存不足的问题(pytorch的)

    Pytorch运行过程中解决出现内存不足的问题(pytorch的)

  • element plus组件居中显示(elementui常用组件)

    element plus组件居中显示(elementui常用组件)

  • 山茶花的养殖方法和注意事项(山茶花的养殖方法盆栽)

    山茶花的养殖方法和注意事项(山茶花的养殖方法盆栽)

  • 育空怀特霍斯附近的北极光,加拿大 (© Design Pics/Danita Delimont)

    育空怀特霍斯附近的北极光,加拿大 (© Design Pics/Danita Delimont)

  • 关于 ChatGPT 必看的 10 篇论文

    关于 ChatGPT 必看的 10 篇论文

  • 未核销fyc
  • 装修及室内设计实训报告
  • 发票上的收款人复核开票人
  • 住房贷款专项扣除
  • 哪些福利费不税前扣除
  • 收到税务局汇算清缴通知
  • 小规模免税销售额是含税还是不含税
  • 个人转让住房要交哪些税费?
  • 保险企业汇算清缴规定
  • 进出口代理公司哪家好
  • 接受投资的固定资产账务处理
  • 设备维修劳务费税率
  • 纳税人选择简易办法一经选择
  • 收到分包工程发票怎么做分录
  • 外贸企业仍一箱难求
  • 公司工资发放错误怎么退回
  • 购买方退货的会计处理
  • 金融工具包括哪些及其法律特征
  • 小规模企业给别人开16万增值税专用发票
  • 所得减免优惠明细表减免项目包括几项
  • 商品销售税金及附加会计分录
  • 为什么盈利的企业也有可能发生债务危机
  • 进口增值税计入关税完税价格吗
  • 调整上年度多计提费用
  • 企业资产转移是什么意思
  • 清算期间未申报债权
  • 管理会计完全成本法和变动成本法例题
  • 怎么恢复系统win10
  • win11和win10比较
  • 建筑公司合作模式有哪几种
  • redis使用php
  • 高新企业政府补贴政策
  • 发票未认证丢失怎么补办
  • 交易性金融资产包括哪些项目
  • uniapp实战视频教程
  • 什么是工程施工的总纲领
  • 企业以付费的形式
  • 小帽科技
  • object的类有哪些
  • 发票中食品属于哪一类
  • 成本费用做账
  • 现金支出的账务处理
  • 农业技术服务费税率
  • 所得税做账是否需要发票
  • 支付宝商户服务电话
  • 总账和明细账期间相同吗
  • 百旺 税控盘
  • 配件及修理费
  • sqlserver高版本数据库文件转低版本
  • 稳岗补贴属于是什么补贴
  • 餐饮行业的个体工商户怎么交税
  • 企业长期股权投资增加说明什么
  • 报销单据粘贴单模板
  • 计提环保税的会计分录
  • 无偿赠送货物如何申报增值税
  • 分期付款购入固定资产该如何做账务处理呢?
  • 建筑企业预缴税款怎么算
  • 公司的钱转入余额账户
  • 可供分配利润包括哪些
  • 小企业会计准则和一般企业会计准则的区别
  • 工程施工人工费如何结转
  • 小规模纳税人季度不超30万怎么做账
  • 我是海关企业员工英语
  • mysql5.7.21安装
  • apt-get download
  • win32api.exe - win32api是什么进程
  • browsercore.exe是什么
  • 在linux 上使用QQ聊天程序
  • win7网速很慢
  • 如何设置win10默认程序
  • win10 20h2怎么更新
  • linux ssh gui
  • 简述常用
  • jquery日期选择器
  • 详解各种汽油一吨等于多少升
  • html做一个新闻app首页
  • jquery使用教程
  • 四川志愿服务注册入口
  • 单位发的一次性奖励如何扣税
  • 个人所得税自行纳税申报表(A表)怎么填写
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设