位置: IT常识 - 正文

【Pytorch】torch.nn.init.xavier_uniform_()(pytorch torch)

编辑:rootadmin
【Pytorch】torch.nn.init.xavier_uniform_() 目录简介torch.nn.init.xavier_uniform_()语法作用举例参考结语

推荐整理分享【Pytorch】torch.nn.init.xavier_uniform_()(pytorch torch),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pytorch torchscript,pytorch torch.load,pytorch totensor,pytorch totensor,pytorch totensor,pytorch torchscript,pytorch torchscript,pytorch torch,内容如对您有帮助,希望把文章链接给更多的朋友!

简介

Hello! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出~   ଘ(੭ˊᵕˋ)੭ 昵称:海轰 标签:程序猿|C++选手|学生 简介:因C语言结识编程,随后转入计算机专业,获得过国家奖学金,有幸在竞赛中拿过一些国奖、省奖…已保研 学习经验:扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语!   唯有努力💪   本文仅记录自己感兴趣的内容

torch.nn.init.xavier_uniform_()语法

torch.nn.init.xavier_uniform_(tensor, gain=1.0)

作用

根据了解训练深度前馈神经网络的难度 - Glorot, X. & Bengio, Y. (2010) 中描述的方法

使用均匀分布 用值填充输入张量

结果张量将具有从 U(−a,a)\mathcal{U}(-a, a)U(−a,a) 采样的值,其中

也称为Glorot初始化

【Pytorch】torch.nn.init.xavier_uniform_()(pytorch torch)

举例w = torch.empty(3, 5)print('w : \n', w)nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))print('w : \n', w)

w = torch.Tensor([[1.0,2,3],[2.0,3,4]])print('w : \n', w)nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))print('w : \n', w)

注:w不能为1维

为什么需要Xavier 初始化?

所以论文提出,在每一层网络保证输入和输出的方差相同

参考:https://blog.csdn.net/dss_dssssd/article/details/83959474

个人感觉使用Xavier的作用就是预防一些参数过大或过小的情况,再保证方差一样的情况下进行缩放,便于计算

参考https://pytorch.org/docs/stable/nn.init.htmlhttps://blog.csdn.net/dss_dssssd/article/details/83959474结语

文章仅作为个人学习笔记记录,记录从0到1的一个过程

希望对您有一点点帮助,如有错误欢迎小伙伴指正

本文链接地址:https://www.jiuchutong.com/zhishi/300320.html 转载请保留说明!

上一篇:四轮电磁------电磁循迹位置式PID(四轮电车电机价格)

下一篇:【node.js从入门到精通】使用express创建web服务器,路由,进行中间件的创建链接路由及其他中间件(node.js快速入门)

  • 小规模纳税人增值税减免账务处理
  • 一般纳税人服务费税率
  • 消费税退回退税流程
  • 不入库的商品怎么做分录
  • 滴滴能出票吗
  • 融资租赁和经营租赁的特点
  • 佣金开什么发票内容
  • 资助的开发经费可税前扣除吗
  • 贴现是融资业务吗
  • 施工单位奖金分配方案
  • 小规模纳税人开普票免税
  • 资产评估机构可以评估土地吗
  • 不是公司股东的投资者可以提前拿走投资款吗
  • 农牧业没有发票怎么办
  • 怎么查核定征收额度
  • 工资五险一金和税怎么处理
  • 上期留抵税额计算
  • 公司注销欠法人款怎么帐务处理?
  • 公司清算补偿工资标准
  • 模板摊销率
  • 定额手撕发票怎么买
  • 公司0申报怎么做账
  • 删除打印机如何添加
  • 土地使用权转让协议
  • 冲回上年多提的费用会计分录
  • 土豆发芽了能吃吗有没有毒
  • php_fileinfo作用
  • 个体户何去何从
  • 销售退回的会计分录金额
  • 排灯节起源
  • 汇兑损失是否可以抵扣
  • 有关预收账款的会计科目
  • 中小企业发展专项资金
  • 航天信息开票软件客服
  • php求日期差
  • iis部署javaweb
  • vue-element
  • exfat转换fat32命令
  • 进项抵销项的会计分录
  • 增值税专用发票进项
  • 产权转移书据印花税减半征收政策
  • 延期缴纳税款的问题
  • 开票提示未安装控件
  • 增值税发票上多了一个点能刮掉吗
  • MongoDB db.serverStatus()输出内容中文注释
  • 失控票要在抵扣当月转出吗
  • 农民工工资专户管理暂行办法
  • 劳务公司属于什么
  • 免交增值税应该计入什么科目
  • 企业当年实现的利润属于哪类会计科目
  • sqlserver2012备份
  • 免征增值税的会计处理 小企业会计准则
  • 出口退免税的税种包括增值税消费税企业所得税
  • 结转增值税的账务处理
  • 物业管理公司收入确认
  • 无偿划转资产需要挂其他应收款吗
  • 付款申请单如何转填记账凭证
  • 商家代金券谁出钱
  • 报税营业成本包括哪些费用
  • 主营业务收入为负数是什么意思
  • 对公账户与私人账户都是一级
  • xp系统安装程序没反应
  • windowsserver2008r2密码重置
  • 误删了分区怎么恢复
  • ubuntu安装chia
  • win7怎么设置禁止安装软件
  • centos查询所有用户
  • 使用无线网络上网电脑的IP地址会改变吗
  • linux系统ll
  • fsav32.exe是什么进程 有什么作用 fsav32进程查询
  • Win8系统32位和64位哪个好应该如何选择
  • cocos做游戏
  • python利用for循环求1到100的奇数之和
  • linux Shell获取某目录下所有文件夹的名称
  • unity怎么创建空对象
  • shell脚本怎么进入指定目录
  • Clipboard.js 无需Flash的JavaScript复制粘贴库
  • 安卓手机后退键
  • js实现vue
  • 国家税务总局全国增值税发票官网
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设