位置: IT常识 - 正文

【Pytorch】torch.nn.init.xavier_uniform_()(pytorch torch)

编辑:rootadmin
【Pytorch】torch.nn.init.xavier_uniform_() 目录简介torch.nn.init.xavier_uniform_()语法作用举例参考结语

推荐整理分享【Pytorch】torch.nn.init.xavier_uniform_()(pytorch torch),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pytorch torchscript,pytorch torch.load,pytorch totensor,pytorch totensor,pytorch totensor,pytorch torchscript,pytorch torchscript,pytorch torch,内容如对您有帮助,希望把文章链接给更多的朋友!

简介

Hello! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出~   ଘ(੭ˊᵕˋ)੭ 昵称:海轰 标签:程序猿|C++选手|学生 简介:因C语言结识编程,随后转入计算机专业,获得过国家奖学金,有幸在竞赛中拿过一些国奖、省奖…已保研 学习经验:扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语!   唯有努力💪   本文仅记录自己感兴趣的内容

torch.nn.init.xavier_uniform_()语法

torch.nn.init.xavier_uniform_(tensor, gain=1.0)

作用

根据了解训练深度前馈神经网络的难度 - Glorot, X. & Bengio, Y. (2010) 中描述的方法

使用均匀分布 用值填充输入张量

结果张量将具有从 U(−a,a)\mathcal{U}(-a, a)U(−a,a) 采样的值,其中

也称为Glorot初始化

【Pytorch】torch.nn.init.xavier_uniform_()(pytorch torch)

举例w = torch.empty(3, 5)print('w : \n', w)nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))print('w : \n', w)

w = torch.Tensor([[1.0,2,3],[2.0,3,4]])print('w : \n', w)nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))print('w : \n', w)

注:w不能为1维

为什么需要Xavier 初始化?

所以论文提出,在每一层网络保证输入和输出的方差相同

参考:https://blog.csdn.net/dss_dssssd/article/details/83959474

个人感觉使用Xavier的作用就是预防一些参数过大或过小的情况,再保证方差一样的情况下进行缩放,便于计算

参考https://pytorch.org/docs/stable/nn.init.htmlhttps://blog.csdn.net/dss_dssssd/article/details/83959474结语

文章仅作为个人学习笔记记录,记录从0到1的一个过程

希望对您有一点点帮助,如有错误欢迎小伙伴指正

本文链接地址:https://www.jiuchutong.com/zhishi/300320.html 转载请保留说明!

上一篇:四轮电磁------电磁循迹位置式PID(四轮电车电机价格)

下一篇:【node.js从入门到精通】使用express创建web服务器,路由,进行中间件的创建链接路由及其他中间件(node.js快速入门)

  • 买一赠一的税务怎么算
  • 借款入账会计分录
  • 出口货物丢失起诉谁
  • 收据大写十万元整怎么写标准
  • 研发费用计入销售费用
  • 会计和税法折旧年限不同如何计算终结期现金净流量
  • 收到政府土地收回的短信
  • 当前中国有什么企业在国外
  • 企业支付在哪里
  • 合伙企业分红是免税企业需要缴纳什么税
  • 个人取得的哪些收入属于经营所得
  • 政府补助不征税条件
  • vc_runtimeMinimum_x64.msi 找不到的解决方法
  • wim文件用什么软件打开
  • 来电转接怎么设置空号
  • 安装win7的步骤
  • php7.3
  • 路由器网速慢怎么设置
  • win11好用吗知乎
  • 公司中奖要交税吗
  • 企业会计日记账保管期限为()年。A5B10C30D35
  • undetected_chromedriver下载
  • java基础教程
  • vue切换背景图片
  • 固定资产盘盈为什么要调整所得税
  • joomla中文手册
  • 租赁收入确认时点
  • php 带cookie post
  • pytorch基础教程
  • 卷积核步长公式
  • php 截断
  • 爬虫失败的原因
  • 暂估少了冲销时怎么办
  • 递延所得税的会计应用
  • 织梦下载站源码带采集
  • ❤️国庆假期快到了,用python写个倒计时程序,助你熬到假期!❤️
  • 其他应付款需要结转损益吗
  • 开票信息修改
  • 以权益结算的股份
  • 个体工商户可以开增值税专用发票
  • 房地产企业政府返还款
  • 城镇土地使用税征收标准及计算方法
  • 辞退补偿的账务处理
  • 固定资产被盗怎么处理
  • 企业减资要交税嘛
  • 收取客户好处算违法吗
  • 其他业务收入与其他业务成本的关系
  • 收到的赔款罚款怎么做账
  • 实际利率 会计
  • innodb底层实现原理
  • win8更改系统字体
  • windows隐藏
  • u深度u盘启动盘制作工具无法进入电脑
  • mac视频预览图不显示
  • gitlab离线安装 linux
  • windows8怎么新建word文档
  • linux误删文件怎么办
  • 如何自定义wifi名称
  • win10 ex4
  • win7蓝屏代码0x0000007e
  • windows8启动项设置
  • win7的注册表在哪里打开
  • win8图标大小怎么调
  • 搭建android开发环境实验原理
  • Unity3D游戏开发标准教程吴亚峰于复兴人民邮电出版社
  • jquery cookie使用
  • nodejs怎么连接mysql
  • Unity3D游戏开发(第2版)
  • javascript教学视频
  • 简单的移动端项目
  • 整理Javascript事件响应学习笔记
  • 小规模纳税人利润如何缴税
  • 交社保去地税局交吗
  • 什么是专案审计
  • 甘肃省国家税务局
  • 广告费加计扣除标准
  • 餐饮财务分析表怎么写的啊
  • 税额差怎么计算
  • 房地产对外投资契税
  • 抄报税怎么弄
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设