位置: IT常识 - 正文

【torch.nn.Parameter 】参数相关的介绍和使用

编辑:rootadmin
【torch.nn.Parameter 】参数相关的介绍和使用 文章目录torch.nn.Parameter基本介绍参数构造参数访问参数初始化使用内置初始化自定义初始化参数绑定参考torch.nn.Parameter基本介绍

推荐整理分享【torch.nn.Parameter 】参数相关的介绍和使用,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

torch.nn.Parameter是继承自torch.Tensor的子类,其主要作用是作为nn.Module中的可训练参数使用。它与torch.Tensor的区别就是nn.Parameter会自动被认为是module的可训练参数,即加入到parameter()这个迭代器中去。

具体格式如下:

torch.nn.parameter.Parameter(data=None, requires_grad=True)

其中 data 为待传入的 Tensor,requires_grad 默认为 True。

事实上,torch.nn 中提供的模块中的参数均是 nn.Parameter 类,例如:

module = nn.Linear(3, 3)type(module.weight)# torch.nn.parameter.Parametertype(module.bias)# torch.nn.parameter.Parameter参数构造

nn.Parameter可以看作是一个类型转换函数,将一个不可训练的类型 Tensor 转换成可以训练的类型 parameter ,并将这个 parameter 绑定到这个module 里面nn.Parameter()添加的参数会被添加到Parameters列表中,会被送入优化器中随训练一起学习更新

此时调用 parameters()方法会显示参数。读者可自行体会以下两端代码:

""" 代码片段一 """class Net(nn.Module): def __init__(self): super().__init__() self.weight = torch.randn(3, 3) self.bias = torch.randn(3) def forward(self, inputs): passnet = Net()print(list(net.parameters()))# []""" 代码片段二 """class Net(nn.Module): def __init__(self): super().__init__() self.weight = **nn.Parameter**(torch.randn(3, 3)) # 将tensor转换成parameter类型 self.bias = **nn.Parameter**(torch.randn(3)) def forward(self, inputs): passnet = Net()print(list(**net.parameters()**)) # 显示参数# [Parameter containing:# tensor([[-0.4584, 0.3815, -0.4522],# [ 2.1236, 0.7928, -0.7095],# [-1.4921, -0.5689, -0.2342]], requires_grad=True), Parameter containing:# tensor([-0.6971, -0.7651, 0.7897], requires_grad=True)]

nn.Parameter相当于把传入的数据包装成一个参数,如果要直接访问/使用其中的数据而非参数本身,可对 nn.Parameter对象调用 data属性:

a = torch.tensor([1, 2, 3]).to(torch.float32)param = nn.Parameter(a)print(param)# Parameter containing:# tensor([1., 2., 3.], requires_grad=True)print(param.data)# tensor([1., 2., 3.])参数访问

nn.Module 中有 **state_dict()** 方法,该方法将以字典形式返回模块的所有状态,包括模块的参数和 persistent buffers ,字典的键就是对应的参数/缓冲区的名称。

【torch.nn.Parameter 】参数相关的介绍和使用

由于所有模块都继承 nn.Module,因此我们可以对任意的模块调用 state_dict() 方法以查看状态:

linear_layer = nn.Linear(2, 2)print(linear_layer.state_dict())# OrderedDict([('weight', tensor([[ 0.2602, -0.2318],# [-0.5192, 0.0130]])), ('bias', tensor([0.5890, 0.2476]))])print(linear_layer.state_dict().keys())# odict_keys(['weight', 'bias'])

对于线性层,除了 state_dict()之外,我们还可以对其直接调用相应的属性,如下:

linear_layer = nn.Linear(2, 1)print(linear_layer.weight)# Parameter containing:# tensor([[-0.1990, 0.3394]], requires_grad=True)print(linear_layer.bias)# Parameter containing:# tensor([0.2697], requires_grad=True)

需要注意的是以上返回的均为参数对象,如需使用其中的数据,可调用 data 属性。

参数初始化使用内置初始化

对于下面的单隐层网络,我们想对其中的两个线性层应用内置初始化器

class Net(nn.Module): def __init__(self): super().__init__() self.layers = nn.Sequential( nn.Linear(3, 2), nn.ReLU(), nn.Linear(2, 3), ) def forward(self, X): return self.layers(X)

假设权重从 N(0,1) 中采样,偏置全部初始化为 0,则初始化代码如下:

def init_normal(module): # 需要判断子模块是否为nn.Linear类,因为激活函数没有参数 if type(module) == nn.Linear: nn.init.normal_(module.weight, mean=0, std=1) nn.init.zeros_(module.bias)net = Net()net.apply(init_normal)for param in net.parameters(): print(param)# Parameter containing:# tensor([[-0.3560, 0.8078, -2.4084],# [ 0.1700, -0.3217, -1.3320]], requires_grad=True)# Parameter containing:# tensor([0., 0.], requires_grad=True)# Parameter containing:# tensor([[-0.8025, -1.0695],# [-1.7031, -0.3068],# [-0.3499, 0.4263]], requires_grad=True)# Parameter containing:# tensor([0., 0., 0.], requires_grad=True)

对 net调用 apply方法则会递归地对其下所有的子模块应用 init_normal函数。

自定义初始化

如果我们想要自定义初始化,例如使用以下的分布来初始化网络的权重:

def my_init(module): if type(module) == nn.Linear: nn.init.uniform_(module.weight, -10, 10) mask = module.weight.data.abs() >= 5 module.weight.data *= masknet = Net()net.apply(my_init)for param in net.parameters(): print(param)# Parameter containing:# tensor([[-0.0000, -5.9610, 8.0000],# [-0.0000, -0.0000, 7.6041]], requires_grad=True)# Parameter containing:# tensor([ 0.4058, -0.2891], requires_grad=True)# Parameter containing:# tensor([[ 0.0000, -0.0000],# [-6.9569, -9.5102],# [-9.0270, -0.0000]], requires_grad=True)# Parameter containing:# tensor([ 0.2521, -0.1500, -0.1484], requires_grad=True)参数绑定

对于一个三隐层网络:

net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 8), nn.ReLU(), nn.Linear(8, 8), nn.ReLU(), nn.Linear(8, 1))

如果我们想让第二个隐层和第三个隐层共享参数,则可以这样做:

shared = nn.Linear(8, 8)net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), shared, nn.ReLU(), shared, nn.ReLU(), nn.Linear(8, 1))参考

PyTorch学习笔记(六)–Sequential类、参数管理与GPU_Lareges的博客-CSDN博客_sequential类

torch.nn 中文文档

Python的torch.nn.Parameter初始化方法_昊大侠的博客-CSDN博客_torch.nn.parameter初始化

本文链接地址:https://www.jiuchutong.com/zhishi/293777.html 转载请保留说明!

上一篇:如何vue使用ant design Vue中的select组件实现下拉分页加载数据,并解决存在的一个问题。(ant desgin-vue)

下一篇:7.25 web前端-淘宝首页设计(淘宝前端用什么写的)

  • 192.168.11路由器设置(192.168.11路由器管理系统)

    192.168.11路由器设置(192.168.11路由器管理系统)

  • 苹果12息屏时间怎么设置(苹果12息屏时间显示)

    苹果12息屏时间怎么设置(苹果12息屏时间显示)

  • 乐心手环按哪里开机(乐心手环哪里生产的)

    乐心手环按哪里开机(乐心手环哪里生产的)

  • 小米手机突然不能截长屏(小米手机突然不能用指纹解锁)

    小米手机突然不能截长屏(小米手机突然不能用指纹解锁)

  • 打开淘宝音乐就停了怎么办(打开淘宝音乐就停止播放)

    打开淘宝音乐就停了怎么办(打开淘宝音乐就停止播放)

  • win10自带的视频编辑软件(win10自带的视频录制)

    win10自带的视频编辑软件(win10自带的视频录制)

  • 电脑摔了一下没事吧(电脑摔了一下没反应怎么办)

    电脑摔了一下没事吧(电脑摔了一下没反应怎么办)

  • word文档文字底纹怎么弄(word文档文字底下的波浪线怎么去掉)

    word文档文字底纹怎么弄(word文档文字底下的波浪线怎么去掉)

  • 并发数已满是什么意思(并发数怎么算)

    并发数已满是什么意思(并发数怎么算)

  • mi5x是什么手机(小米5x什么时候出来的)

    mi5x是什么手机(小米5x什么时候出来的)

  • 腾讯会议使用时能接电话吗(腾讯会议使用时会锁屏吗)

    腾讯会议使用时能接电话吗(腾讯会议使用时会锁屏吗)

  • 电脑温度80度正常吗(电脑温度82度正常吗)

    电脑温度80度正常吗(电脑温度82度正常吗)

  • 手机微信等待中怎么办(手机微信等待中是怎么意思)

    手机微信等待中怎么办(手机微信等待中是怎么意思)

  • 手机没有红外功能怎么控制空调(手机没有红外功能怎么开空调)

    手机没有红外功能怎么控制空调(手机没有红外功能怎么开空调)

  • 语音识别控制系统是什么(智能语音识别控制)

    语音识别控制系统是什么(智能语音识别控制)

  • ps如何去白边(ps去除白边)

    ps如何去白边(ps去除白边)

  • 数字示波器正弦波怎么调(数字示波器正弦波可以计算什么值)

    数字示波器正弦波怎么调(数字示波器正弦波可以计算什么值)

  • 苹果圆键叫什么(苹果那颗圆键怎么使用)

    苹果圆键叫什么(苹果那颗圆键怎么使用)

  • iphone6是什么处理器(iphone6属于什么手机?)

    iphone6是什么处理器(iphone6属于什么手机?)

  • 淘宝退货率高有什么影响(淘宝退货率高会有什么影响)

    淘宝退货率高有什么影响(淘宝退货率高会有什么影响)

  • 苹果6sp上市时间(苹果6s plus上市价格)

    苹果6sp上市时间(苹果6s plus上市价格)

  • 蚂蚁心愿怎么取消(蚂蚁心愿什么用)

    蚂蚁心愿怎么取消(蚂蚁心愿什么用)

  • 苹果8pnfc功能在哪里打开(苹果8pnfc功能在哪里开启)

    苹果8pnfc功能在哪里打开(苹果8pnfc功能在哪里开启)

  • 如何从Windows11回滚到Windows10?回滚后Win11自动安装解决办法(win11怎么回到10)

    如何从Windows11回滚到Windows10?回滚后Win11自动安装解决办法(win11怎么回到10)

  • 利用linux命令行工具进行文本行过滤的方法(linux命令行怎么用)

    利用linux命令行工具进行文本行过滤的方法(linux命令行怎么用)

  • 【哈士奇赠书活动 - 18期】-〖Flask Web全栈开发实战〗(哈士奇新手礼包)

    【哈士奇赠书活动 - 18期】-〖Flask Web全栈开发实战〗(哈士奇新手礼包)

  • 计算应交增值税并结转未交增值税怎么做用友
  • 集体房屋出租管理办法
  • 去参加博览会的英文
  • 个人所得税当月计提下月申报
  • 核定征收企业需要做账吗
  • 法人其他应付款在借方表示
  • 小规模纳税人计税方法
  • 公司聘请专家的差旅费可以税前扣除吗
  • 营改增后不动产销售增值税 5%还是9%
  • 公司购车购置税怎么交款
  • 年会费用的会计分录
  • 企业个人完税证明怎么开
  • 工程项目企业座谈会新闻稿件
  • 开具发票只有票号可以吗?
  • 其他应付款余额在借方表示什么意思
  • 税控盘的购买流程
  • 同一地级行政区范围内举例
  • 安置房视同销售需要缴纳所得税吗?
  • 总额法和净额法哪个合理
  • 租房押金收不回来怎么做账
  • 企业一次性支付多年费用 不摊销
  • 企业增速怎么算
  • 公司账外废品收入怎么算
  • 流动资产周转率计算公式
  • 个体工商户和小微企业的区别
  • 劳务费费用
  • 预付账款退款怎么做会计分录
  • 担保公司计提的费用
  • PHP - EasyUI DataGrid 资料取的方式介绍
  • 戈佐西餐厅
  • 减征增值税会计处理
  • ElementUI中<el-form>标签中 ref、:model、:rules 的作用
  • mysql封装函数
  • 如何查询发票领到几月份了
  • 基金管理人应当自与基金销售机构签订销售协议之日起
  • 上年度固定资产少入账了怎么办?
  • 土地成本会计分录
  • 国际运输代理费属于什么科目
  • 不抵扣的发票需要认证吗
  • 差旅费计入什么
  • 资金占用费怎么开票
  • php的框架
  • 食品财务走账
  • 汇算清缴费用调整怎么做账
  • 利润表调整了资产负债表怎么调整
  • 在MysQL数据库中,数据库文件的扩展包括
  • 留抵进项税太多怎么办
  • 增值税专用发票查询系统官方网站
  • 营运资金周转率是什么指标
  • 销售折让怎么写分录
  • 增值税计税销售额的确定
  • 法人如何网上申请辞职手续
  • 融资租赁业务如何开展
  • 增值税为什么要结转
  • 原材料属于固定资本还是流动资本
  • 为取得借款发生的手续费
  • 查账征收与核定征收在哪里看
  • 什么叫零售差额退税
  • 公司厂房房产税计税依据最新
  • 未认证的进项税额转出怎么做分录
  • sqlserver1053怎么解决
  • win2003和xp一样吗
  • sesvc.exe是什么
  • win7开机黑屏怎么
  • win8系统与win10哪个好
  • Win10 UWP红石版应用商店迎来更新:查找更新再换位置
  • 紧跟潮流的句子
  • win10安装grads
  • microsoft build
  • linux文件系统的根目录的i节点号为
  • javascript 基础
  • 我决定放弃了你却对我笑了
  • 查看linux中某个端口(port)是否被占用的方法
  • 如何用nodejs搭建服务端
  • 怎么把两个文件中的内容合并
  • shell 生成随机数每次运行都不一样
  • androidui框架
  • 深圳地方税务局电话
  • 买车开增值票是什么意思
  • 2021年福建省灵活就业人员养老保险缴费标准
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设