位置: IT常识 - 正文

深度学习参数初始化(二)Kaiming初始化 含代码

编辑:rootadmin
深度学习参数初始化(二)Kaiming初始化 含代码

推荐整理分享深度学习参数初始化(二)Kaiming初始化 含代码,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

目录

一、介绍

二、基础知识

三、Kaiming初始化的假设条件 

四、Kaiming初始化的简单的公式推导

1.前向传播

2.反向传播

五、Pytorch实现

深度学习参数初始化系列:

(一)Xavier初始化 含代码

(二)Kaiming初始化 含代码

一、介绍

        Kaiming初始化论文地址:https://arxiv.org/abs/1502.01852

        Xavier初始化在ReLU层表现不好,主要原因是relu层会将负数映射到0,影响整体方差。而且Xavier初始化方法适用的激活函数有限:要求关于0对称;线性。而ReLU激活函数并不满足这些条件,实验也可以验证Xavier初始化确实不适用于ReLU激活函数。所以何恺明在对此做了改进,提出Kaiming初始化,一开始主要应用于计算机视觉、卷积网络。

二、基础知识

1.假设随机变量X和随机变量Y相互独立,则有

        (1) 

 2.通过期望求方差的公式, 方差等于平方的期望减去期望的平方.

                (2)

 3.独立变量乘积公式

        (3)

4.连续性随机变量X的概率密度函数为f(x),若积分绝对收敛,则期望公式如下:

                        (4)

三、Kaiming初始化的假设条件 

        与Xavier初始化相似,Kaiming初始化同样适用Glorot条件,即我们的初始化策略应该使得各层的激活值和状态梯度的方差在传播过程中的方差保持一致;Kaiming初始化的参数仍然满足均值是0,且更新的过程中权重的均值一直是0。

        与Xavier初始化不同的,Kaiming初始化不在要求每层输出均值都是0(因为Relu这样的激活函数做不到啊);当然也不再要求f′(0)=1。

        Kaiming初始化中,前向传播和反向传播时各自使用自己的初始化策略,但是保证前向传播时每层的方差和反向传播时梯度的方差都是1。

四、Kaiming初始化的简单的公式推导

        我们使用卷积来进行推导,并且激活函数使用ReLU。

1.前向传播

        对于一层卷积,有:

                        (5)

         其中是激活函数前的输出,是权重的个数,是权重,是输入。

        根据(3)式,可将(4)式推导为:

        (6)

         根据假设,但是是上一层通过ReLU得到的,所以,则:

                (7)

 通过(2)式可得,则(7)式推导为:

深度学习参数初始化(二)Kaiming初始化 含代码

                        (8)

根据期望公式(4), 通过第层的输出来求此期望, 我们有, 其中表示ReLU函数.

                         (9)

其中表示概率密度函数,因为的时候,所以可以去掉小于0的区间, 并且大于0的时候,可推出:

                   (10)

因为是假设在0周围对称分布且均值为0, 所以也是在0附近分布是对称的, 并且均值为0(此处假设偏置为0),则

       (11) 

所以的期望是:

              (12)

 根据公式(2),因为的期望等于0,于是有:

则式(12)推导为:

                        (13)

将(13)式带入(8)式:

                        (14)

从第一层一直往前进行前向传播, 可以得到某层的方差为 :

这里的就是输入的样本, 我们会将其归一化处理, 所以, 现在让每层输出方差等于1, 即:

于是正向传播时,Kaiming初始化的实现就是下面的均匀分布:

高斯分布:

2.反向传播

因为反向传播的时候

                (15)

 其中表示损失函数对其求导. 为参数

根据(3)式:

 其中表示反向传播时输出通道数,最后得出

于是反向传播时,Kaiming初始化的实现就是下面的均匀分布:

高斯分布:

五、Pytorch实现import torchclass DemoNet(torch.nn.Module): def __init__(self): super(DemoNet, self).__init__() self.conv1 = torch.nn.Conv2d(1, 1, 3) print('random init:', self.conv1.weight) ''' kaiming 初始化方法中服从均匀分布 U~(-bound, bound), bound = sqrt(6/(1+a^2)*fan_in) a 为激活函数的负半轴的斜率,relu 是 0 mode- 可选为 fan_in 或 fan_out, fan_in 使正向传播时,方差一致; fan_out 使反向传播时,方差一致 nonlinearity- 可选 relu 和 leaky_relu ,默认值为 。 leaky_relu ''' torch.nn.init.kaiming_uniform_(self.conv1.weight, a=0, mode='fan_out') print('xavier_uniform_:', self.conv1.weight) ''' kaiming 初始化方法中服从正态分布,此为 0 均值的正态分布,N~ (0,std),其中 std = sqrt(2/(1+a^2)*fan_in) a 为激活函数的负半轴的斜率,relu 是 0 mode- 可选为 fan_in 或 fan_out, fan_in 使正向传播时,方差一致;fan_out 使反向传播时,方差一致 nonlinearity- 可选 relu 和 leaky_relu ,默认值为 。 leaky_relu ''' torch.nn.init.kaiming_normal_(self.conv1.weight, a=0, mode='fan_out') print('kaiming_normal_:', self.conv1.weight)if __name__ == '__main__': demoNet = DemoNet()
本文链接地址:https://www.jiuchutong.com/zhishi/300432.html 转载请保留说明!

上一篇:微信小程序获取用户openid(微信小程序获取手机号失败)

下一篇:学习CSS3,使用双旋转实现福到了的迎春喜庆特效(css3知识总结)

  • iqoo8pro怎么打开nfc(iqoo8Pro怎么打开NFC)

    iqoo8pro怎么打开nfc(iqoo8Pro怎么打开NFC)

  • 微信隔空投送怎么打开(微信隔空投送怎么打开vivo)

    微信隔空投送怎么打开(微信隔空投送怎么打开vivo)

  • ios14添加桌面小组件的方法(ios14.2怎么设置桌面小组件)

    ios14添加桌面小组件的方法(ios14.2怎么设置桌面小组件)

  • 苹果x短信特效收不到(苹果x短信特效怎么关闭)

    苹果x短信特效收不到(苹果x短信特效怎么关闭)

  • 微信人脸支付怎么关闭(微信人脸支付怎么没有了)

    微信人脸支付怎么关闭(微信人脸支付怎么没有了)

  • 小米mix2s外屏玻璃碎了(小米mix2s外屏玻璃从正面换面)

    小米mix2s外屏玻璃碎了(小米mix2s外屏玻璃从正面换面)

  • 快手作品不适宜公开怎么办(快手作品不适宜公开要删除吗)

    快手作品不适宜公开怎么办(快手作品不适宜公开要删除吗)

  • 大王卡停机多久会被注销(大王卡停机多久不能接电话)

    大王卡停机多久会被注销(大王卡停机多久不能接电话)

  • 屏幕被烫黄了能恢复吗(手机屏幕被烫黄了)

    屏幕被烫黄了能恢复吗(手机屏幕被烫黄了)

  • ipadmini4什么时候上市的		(ipadmini4什么时候上市的多少钱)

    ipadmini4什么时候上市的 (ipadmini4什么时候上市的多少钱)

  • 华为nova7能开空调吗(华为nova7开空调)

    华为nova7能开空调吗(华为nova7开空调)

  • 话费充值失败是什么原因(话费充值总是失败)

    话费充值失败是什么原因(话费充值总是失败)

  • 淘宝限制下单永久能解吗(淘宝限制下单永久退专用是什么意思)

    淘宝限制下单永久能解吗(淘宝限制下单永久退专用是什么意思)

  • oppoa5可以用5g吗(oppoa5支持电信4g吗)

    oppoa5可以用5g吗(oppoa5支持电信4g吗)

  • 淘宝匿名评价不显示吗(淘宝评价匿名是不是别人看不到你的评价)

    淘宝匿名评价不显示吗(淘宝评价匿名是不是别人看不到你的评价)

  • oppok5屏幕是三星的吗(oppok1屏幕是三星的吗)

    oppok5屏幕是三星的吗(oppok1屏幕是三星的吗)

  • 怎么添加底纹颜色(这么添加底纹)

    怎么添加底纹颜色(这么添加底纹)

  • ipad可以接蓝牙鼠标吗(ipad可以连接蓝牙)

    ipad可以接蓝牙鼠标吗(ipad可以连接蓝牙)

  • 苹果拉黑提示音能改吗(苹果拉黑提示音怎么设置)

    苹果拉黑提示音能改吗(苹果拉黑提示音怎么设置)

  • 逗拍怎么制作视频(逗拍怎么制作抖音视频)

    逗拍怎么制作视频(逗拍怎么制作抖音视频)

  • 联想电脑显示器花屏(联想电脑显示器不亮主机正常)

    联想电脑显示器花屏(联想电脑显示器不亮主机正常)

  • Word中保存文本的快捷键是(文本文档保存)

    Word中保存文本的快捷键是(文本文档保存)

  • ipods怎么连接新设备(airpods怎么连接新ipad)

    ipods怎么连接新设备(airpods怎么连接新ipad)

  • b站下载的视频在手机哪里(b站下载的视频怎么保存到电脑)

    b站下载的视频在手机哪里(b站下载的视频怎么保存到电脑)

  • 购进农产品的进项税额是9还是10
  • 房产税从租和从价
  • 累计个税是每年累计吗
  • 会计二级科目是哪个
  • 年终销项税额要结账吗
  • 电子设备按5年折旧可以吗
  • 银行入息是入几个月的
  • 明细分类核算的方法分为
  • 金税三期报税软件
  • 红字发票的蓝字发票要退回吗
  • 由于汇率引起汇兑损益计入哪个科目?
  • 子公司之间可以相互交易吗
  • 收到备付金怎么做分录
  • 酒店租金计入什么会计科目
  • 防洪费计税基础
  • 非独立核算的分公司是什么意思
  • 物业管理公司如何纳税
  • 适用增值税差额征税的小规模纳税人
  • 定额发票2019年规定
  • 研发失败的项目可以加计扣除吗
  • 支付董事会成员津贴计入什么科目
  • 长期待摊未摊完处置如何账务处理
  • 增值税小规模纳税人优惠政策
  • 债务重组收益会计处理
  • 存货折扣怎样做账
  • 生产车间领用材料45000元,投入生产
  • 主营业务成本的二级科目有哪些
  • 升级鸿蒙系统会解除限制充电60
  • 临时工工资的会计处理
  • win11笔记本如何让电池充电到100%
  • 暂估成本能挂账多久
  • 中秋节福利产品清单
  • php数组函数大全
  • 高新技术企业研发费用归集
  • vue调用高德js
  • 政府会计制度收入支出表
  • sed指令可以打印文件的奇数或偶数行
  • phpcms rce
  • mysql随机密码怎么看
  • windows11/windows10专业清理的系统工具Duplicate Cleaner5.0.13中文破解免费下载
  • 挂靠设计公司费用标准怎么记账
  • 给中间人回扣犯罪吗
  • 金蝶kis固定资产反结账
  • 工业企业增值税税负多少合理
  • 增值税专用发票上注明的价款含税吗
  • 收回上年度拨款怎么做账
  • 拆迁补偿款收税吗
  • 出口企业样品收入分录
  • 银行利息收入怎么计算
  • 把办公场所转租合法吗
  • 颁发数字证书要符合什么条件
  • 对方发票丢失怎么申报丢失
  • mysql 5.7.28安装
  • mysql数据库备份方法
  • 系统停止工作
  • CentOS中httpd源代码安装与测试步骤分享
  • Windows PC用iCloud多设备共享数据图文教程
  • win7双系统怎么设置开机选择系统
  • ubuntu磁盘清理工具
  • cent linux
  • 体验Win8灵活分屏贴靠功能图文介绍
  • win7电脑全屏
  • win10电源选项
  • echarts splitnumber
  • win7系统安装环境
  • python 邻接表
  • shell替换文件中指定行的指定内容
  • shell脚本显示进度条
  • sql命令语句
  • js浮动窗口
  • 21个JavaScript事件(Events)属性汇总
  • js在div中添加div
  • 陕西省税务局机关服务中心
  • 留抵税额可以留抵多久
  • 湖北税务投诉电话
  • 从国外进口到国内销售的商品
  • 宁夏地税领导班子名单
  • 综合征收和分类征收
  • 办公室租金可以开专票抵扣进项税吗
  • 大班直播课怎么上
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设