位置: IT常识 - 正文

【Pytorch】torch.nn.init.xavier_uniform_()(pytorch torch)

编辑:rootadmin
【Pytorch】torch.nn.init.xavier_uniform_() 目录简介torch.nn.init.xavier_uniform_()语法作用举例参考结语

推荐整理分享【Pytorch】torch.nn.init.xavier_uniform_()(pytorch torch),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pytorch torchscript,pytorch torch.load,pytorch totensor,pytorch totensor,pytorch totensor,pytorch torchscript,pytorch torchscript,pytorch torch,内容如对您有帮助,希望把文章链接给更多的朋友!

简介

Hello! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出~   ଘ(੭ˊᵕˋ)੭ 昵称:海轰 标签:程序猿|C++选手|学生 简介:因C语言结识编程,随后转入计算机专业,获得过国家奖学金,有幸在竞赛中拿过一些国奖、省奖…已保研 学习经验:扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语!   唯有努力💪   本文仅记录自己感兴趣的内容

torch.nn.init.xavier_uniform_()语法

torch.nn.init.xavier_uniform_(tensor, gain=1.0)

作用

根据了解训练深度前馈神经网络的难度 - Glorot, X. & Bengio, Y. (2010) 中描述的方法

使用均匀分布 用值填充输入张量

结果张量将具有从 U(−a,a)\mathcal{U}(-a, a)U(−a,a) 采样的值,其中

也称为Glorot初始化

【Pytorch】torch.nn.init.xavier_uniform_()(pytorch torch)

举例w = torch.empty(3, 5)print('w : \n', w)nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))print('w : \n', w)

w = torch.Tensor([[1.0,2,3],[2.0,3,4]])print('w : \n', w)nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))print('w : \n', w)

注:w不能为1维

为什么需要Xavier 初始化?

所以论文提出,在每一层网络保证输入和输出的方差相同

参考:https://blog.csdn.net/dss_dssssd/article/details/83959474

个人感觉使用Xavier的作用就是预防一些参数过大或过小的情况,再保证方差一样的情况下进行缩放,便于计算

参考https://pytorch.org/docs/stable/nn.init.htmlhttps://blog.csdn.net/dss_dssssd/article/details/83959474结语

文章仅作为个人学习笔记记录,记录从0到1的一个过程

希望对您有一点点帮助,如有错误欢迎小伙伴指正

本文链接地址:https://www.jiuchutong.com/zhishi/300320.html 转载请保留说明!

上一篇:四轮电磁------电磁循迹位置式PID(四轮电车电机价格)

下一篇:【node.js从入门到精通】使用express创建web服务器,路由,进行中间件的创建链接路由及其他中间件(node.js快速入门)

  • office和word有啥区别(office与word区别)

    office和word有啥区别(office与word区别)

  • cad遮罩命令快捷键(cad快速遮罩)

    cad遮罩命令快捷键(cad快速遮罩)

  • soul注册设备已达上限(soul注册显示设备异常)

    soul注册设备已达上限(soul注册显示设备异常)

  • 手机mmi设置成功是什么意思(手机设置midi)

    手机mmi设置成功是什么意思(手机设置midi)

  • 无理由退换货什么意思(无理由退货适用范围)

    无理由退换货什么意思(无理由退货适用范围)

  • 电脑快捷删除键该如何操作(电脑快捷删除键表格)

    电脑快捷删除键该如何操作(电脑快捷删除键表格)

  • 没有黄钻怎么看被挡访客(没有黄钻怎么看访客记录)

    没有黄钻怎么看被挡访客(没有黄钻怎么看访客记录)

  • 电脑恢复出厂设置失败是怎么回事(电脑恢复出厂设置会删除所有数据吗)

    电脑恢复出厂设置失败是怎么回事(电脑恢复出厂设置会删除所有数据吗)

  • 微信一条信息怎么发多个人(微信一条信息怎么发给全部好友)

    微信一条信息怎么发多个人(微信一条信息怎么发给全部好友)

  • 路由器上的reset是什么意思(路由器上的reset键有什么用)

    路由器上的reset是什么意思(路由器上的reset键有什么用)

  • 20gb硬盘容量多少字节(20g硬盘容量约为多少个二进制)

    20gb硬盘容量多少字节(20g硬盘容量约为多少个二进制)

  • 手机qq怎么设情侣空间(手机qq怎么设情侣头像)

    手机qq怎么设情侣空间(手机qq怎么设情侣头像)

  • 新版淘宝直播入口在哪(淘宝直播αpp)

    新版淘宝直播入口在哪(淘宝直播αpp)

  • wps如何取消字体加粗(wps如何取消字体间距)

    wps如何取消字体加粗(wps如何取消字体间距)

  • 快手移除粉丝怎么找回(快手移除粉丝怎么对方还在关注)

    快手移除粉丝怎么找回(快手移除粉丝怎么对方还在关注)

  • vivox27微信怎么开美颜(vivox27微信怎么录屏)

    vivox27微信怎么开美颜(vivox27微信怎么录屏)

  • 荣耀20nfc怎么刷门禁(荣耀20nfc怎么刷电梯)

    荣耀20nfc怎么刷门禁(荣耀20nfc怎么刷电梯)

  • 怎么让电脑定时关机(怎么让电脑定时进入腾讯会议)

    怎么让电脑定时关机(怎么让电脑定时进入腾讯会议)

  • wps重复上一步操作快捷键(wps重复上一步操作)

    wps重复上一步操作快捷键(wps重复上一步操作)

  • 饿了么到店自取在哪里(饿了么到店自取怎么操作)

    饿了么到店自取在哪里(饿了么到店自取怎么操作)

  • iphone重启记录在哪看(iphone 重启记录)

    iphone重启记录在哪看(iphone 重启记录)

  • 荣耀 X10 推送鸿蒙 HarmonyOS 2.0.0.185 更新:新增密码保险箱功能、优化操作特效等(荣耀x10的鸿蒙系统怎么开启)

    荣耀 X10 推送鸿蒙 HarmonyOS 2.0.0.185 更新:新增密码保险箱功能、优化操作特效等(荣耀x10的鸿蒙系统怎么开启)

  • 推荐一款免费的AI代码提示工具Codeium(推荐一款免费的vba编辑器)

    推荐一款免费的AI代码提示工具Codeium(推荐一款免费的vba编辑器)

  • vue 实现内容超出两行显示展开更多功能,可依据需求自定义任意行数!(vue super)

    vue 实现内容超出两行显示展开更多功能,可依据需求自定义任意行数!(vue super)

  • 涅迪克角灯塔上的节日彩灯,缅因州 (© Walter Bibikow/Alamy)

    涅迪克角灯塔上的节日彩灯,缅因州 (© Walter Bibikow/Alamy)

  • 帝国cms7.5快速建站的方法(帝国cms建站实例教程)

    帝国cms7.5快速建站的方法(帝国cms建站实例教程)

  • 装修行业小规模纳税人标准
  • 预缴增值税的销售额怎么填
  • 商铺税费怎么算2021
  • 增值税发票选择确认平台是什么?
  • 小规模代开增值税专用发票怎么操作?
  • 退回多报的教育费附加如何做账
  • 所得税多交怎么调整
  • 公司购入小汽车是否可以抵扣
  • 销售毛利率算法
  • 什么叫企业过桥资金
  • 企业收到赞助费
  • 建筑行业挂靠代扣税款如何入账?
  • 预付账款冲减费用
  • 车改补贴是否计入工资总额
  • 外汇收支申报流程
  • 不动产经营租赁印花税税率
  • 工程发票包括哪些
  • 高新技术企业研发费
  • 钢结构制作安装方案
  • 税收预测表怎么填写
  • 二手房产增值税率
  • 商铺出租和转租
  • 采购审计要点
  • 债券溢价发行会计分录举例
  • 差额纳税和全额纳税
  • macbook自带的游戏
  • 经营资产和金融资产有哪些
  • 筹建期固定资产汇算清缴
  • win10通知栏怎么设置
  • linux怎么操作
  • w10引导修复工具
  • 新车车祸报废
  • win11玩游戏鼠标卡顿
  • zend框架教程
  • 存货盘盈盘亏的账务处理
  • oracleupdate关联表
  • php修改头像
  • 员工工资扣工作服合法吗?
  • Laravel 5.1 on SAE环境开发教程【附项目demo源码】
  • 补交当年的增值税
  • 文化事业建设费征收范围及计税依据
  • 金蝶本月金额公式
  • 企业贷款贴息怎么做账
  • 法人治理结构是指明确
  • 印花税的税率变动
  • 国外差旅费怎么入账
  • 公司帐户转到法人私卡备用金行吗
  • 企业收到投资者投入资金
  • 结汇时和月底结转汇兑损益
  • 小规模开具的1%专票 一般纳税人抵扣
  • 在建工程发生的运费计入什么科目
  • 购建固定资产属于投资活动吗
  • 固定资产计提折旧的会计科目
  • 质量赔款能冲减收入么
  • 公司人才账户有什么用
  • 公司法人章财务章丢了怎么办
  • 跨年度固定资产转为在建工程怎么计算
  • sql server服务包括有
  • macbookzen
  • win8系统运行窗口怎么打开
  • 在mac下如何安装软件
  • win7u盘没有安全选项卡
  • linux usb audio
  • win10打开资源管理器很慢
  • python socket操作
  • Web Inspector:关于在 Sublime Text 中调试Js的介绍
  • linux 监视器
  • python进行聚类
  • 怎样设置安卓等比例显示按钮
  • js dom操作方法
  • sql怎么增删改
  • jq绑定事件的方法有哪些
  • jquery.js插件
  • python的排序方法
  • 百望电子发票查询下载
  • 北京 国税局
  • 无锡税务局领导
  • 如何抵扣税款
  • 草原补偿标准
  • 我们是小规模纳税人,有个人所得税代扣代缴的业务吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设