位置: IT常识 - 正文

常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

编辑:rootadmin
常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、 归一化零、前言1.官网链接2.归一化公式3.介绍一、InstanceNorm1d1. 介绍2.实例二、InstanceNorm2d1. 介绍2.实例三、BatchNorm1d1.介绍2.实例四、BatchNorm2d1.介绍2.实例零、前言1.官网链接

推荐整理分享常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:归一化方法有哪些,详细说明其中两种原理,归一化lms,归一化方法有哪些,详细说明其中两种原理,归一化有什么用,归一化bn,归一化有什么用,归一化方法有哪些,详细说明其中两种原理,常见归一化方法,内容如对您有帮助,希望把文章链接给更多的朋友!

https://pytorch.org/docs/stable/nn.html#normalization-layers

2.归一化公式

函数内部实现其实就是严格完成上面图中的公式,其中E(x)表示均值或者期望,而Var(x)则表示对应的方差。

3.介绍常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

批量归一化与实例归一化的最大区别在于计算均值及方差的依据不同,实例归一化是对每个样本沿着通道方向独立对各个通道进行计算,而批量归一化则是对所有样本沿着batch的方向对各个通道分别进行计算。 比如: 输入特征图形状为:(2,3,256,512),表示有两个256×512的特征图,特征图通道数为3,假设为RGB三个通道 1)实例归一化:

依次对样本1,样本2分别计算R、G、B三个通道的均值、方差,每次计算其实是对256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式;

2)批量归一化:

对整个批次的样本,对各个通道分别求出均值和方差,每次计算其实是对2×256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式; 一、InstanceNorm1d1. 介绍

一维实例归一化:对一个批次中每个样本,依次按照通道计算对应的均值及均方差。

torch.nn.InstanceNorm1d( num_features,# 与输入特征的通道数保持一致 eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, L)Output: (N, C, L)2.实例import torchimport mathepsilon=1e-5N,C,L=2,3,5inp=torch.randint(5,size=(N,C,L),dtype=torch.float32)print(inp)print("-"*25)# 方法一:手动实现# 对每个样本计算各个通道的均值mean_list=[]for b in range(N): for c in range(C): mean_list.append(torch.sum(inp[b,c,:])/L)# 对每个样本计算各个通道的方差var_list=[]for b in range(N): for c in range(C): # var_list.append(torch.var(inp[b,c,:]*(L-1)/L)) var_list.append(torch.var(inp[b,c,:]))print(mean_list)print(var_list)# 归一化out=torch.zeros_like(inp)# print(len(inp[0,0,:]))# print(out.shape)for b in range(N): for c in range(C): index=b*C+c out[b,c,:]=(inp[b,c,:]-mean_list[index])/math.sqrt(var_list[index]+epsilon)# print(out.shape)print(out)print("-"*25)# 方法二:调用函数out1=torch.nn.InstanceNorm1d(C)(inp)print(out1)二、InstanceNorm2d1. 介绍

二维实例归一化:计算过程及调用方式同一维实例归一化,二者区别主要在于输入特征形状的变化。

torch.nn.InstanceNorm2d(num_features, # 与输入特征的通道数保持一致eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)2.实例import torchimport math# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(1,3,2,2))print(inp)print(inp.shape)print('-'*20)out=torch.nn.InstanceNorm2d(3)(inp)print(out)print(out.shape)三、BatchNorm1d1.介绍

一维批量归一化:其实还是实现前言中介绍的公式,但与实例归一化的最大区别在于计算均值及方差的依据不同。

torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None,dtype=None)Input: (N,C,L), where N is the batch size, C is the number of features or channels, and L is the sequence lengthOutput: (N,C,L) (same shape as input)2.实例import torchimport mathepsilon=1e-5N,C,L=128,3,512inp=torch.randn(size=(N,C,L))# 方法一:手动实现# 沿着batch计算各个通道的均值mean_1, mean_2, mean_3 = torch.sum(inp[:,0,:])/(N*L), torch.sum(inp[:,1,:])/(N*L), torch.sum(inp[:,2,:])/(N*L)mean_list=[mean_1, mean_2, mean_3 ]# 沿着batch计算各个通道的方差var_1, var_2, var_3 = torch.var(inp[:,0,:]), torch.var(inp[:,1,:]), torch.var(inp[:,2,:])var_list=[var_1, var_2, var_3 ]print(mean_list,var_list)# 归一化out=torch.zeros_like(inp)for c in range(C): out[:,c,:]=(inp[:,c,:]-mean_list[c])/math.sqrt(var_list[c]+epsilon)# print(out.shape)# print(out)out1=outprint("-"*25)# 方法二:调用函数out=torch.nn.BatchNorm1d(C)(inp)# print(out)# print(out.shape)print(True in (out1==out))四、BatchNorm2d1.介绍

二维批量归一化:计算过程及调用方式同一维批量归一化,二者区别主要在于输入特征形状的变化。

torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)(same shape as input)2.实例import torch# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(2,3,5,6))print(inp)print(inp.shape)print('-'*20)out=torch.nn.BatchNorm2d(3)(inp)print(out)print(out.shape)
本文链接地址:https://www.jiuchutong.com/zhishi/295908.html 转载请保留说明!

上一篇:华为OD机试 - 租车骑绿岛(Java & JS & Python)(华为od机试题题库)

下一篇:页面访问升级出错怎么解决(页面访问升级出错怎么办)

  • 青年湖南怎么切换账号(青年湖南如何切换账号)

    青年湖南怎么切换账号(青年湖南如何切换账号)

  • 支付宝积蓄金年金可以退吗(支付宝积蓄金年金划算么)

    支付宝积蓄金年金可以退吗(支付宝积蓄金年金划算么)

  • 华为手机如何设置微信密码锁(华为手机如何设置门禁卡)

    华为手机如何设置微信密码锁(华为手机如何设置门禁卡)

  • 微信哪里有生日设置(微信生日在哪里)

    微信哪里有生日设置(微信生日在哪里)

  • iphone7升级ios12吗(iphone7升级iphone12)

    iphone7升级ios12吗(iphone7升级iphone12)

  • 腾讯课堂自己可以看时长吗(腾讯课堂可以直接进入吗)

    腾讯课堂自己可以看时长吗(腾讯课堂可以直接进入吗)

  • 华为p40微信密码怎么设置(华为p40设置微信密码锁在哪里)

    华为p40微信密码怎么设置(华为p40设置微信密码锁在哪里)

  • nova7se屏幕刷新率(nove7se屏幕刷新率)

    nova7se屏幕刷新率(nove7se屏幕刷新率)

  • 小米手环不显示了咋回事(小米手环不显示蓝牙图标)

    小米手环不显示了咋回事(小米手环不显示蓝牙图标)

  • 怎么看网卡驱动是否正常(怎么看网卡驱动型号)

    怎么看网卡驱动是否正常(怎么看网卡驱动型号)

  • 微星主板检测不到m2(微星主板检测不到固态硬盘)

    微星主板检测不到m2(微星主板检测不到固态硬盘)

  • Win10电脑wifi无线连接正常却无法上网的解决方法(win10电脑无线网)

    Win10电脑wifi无线连接正常却无法上网的解决方法(win10电脑无线网)

  • 淘宝里的物流地图准吗(淘宝里的物流地址怎么填)

    淘宝里的物流地图准吗(淘宝里的物流地址怎么填)

  • 华为手机nova6上市时间(华为手机nova6上面有个圆圈)

    华为手机nova6上市时间(华为手机nova6上面有个圆圈)

  • ios13怎么更改appstore账号(苹果13更改app图标和名字)

    ios13怎么更改appstore账号(苹果13更改app图标和名字)

  • 快手极速版苹果手机怎么下载不了(快手极速版苹果版怎么没有赚钱)

    快手极速版苹果手机怎么下载不了(快手极速版苹果版怎么没有赚钱)

  • qq会员成长值怎样提高(qq会员成长值怎么算的)

    qq会员成长值怎样提高(qq会员成长值怎么算的)

  • 小米8防水性能(小米8防不防水,如果防,什么级别?)

    小米8防水性能(小米8防不防水,如果防,什么级别?)

  • 钉钉怎么开启共享桌面(钉钉怎么开启共享屏幕功能)

    钉钉怎么开启共享桌面(钉钉怎么开启共享屏幕功能)

  • 如何强制关闭小米降噪(如何强制关闭小米屏幕时间管理功能)

    如何强制关闭小米降噪(如何强制关闭小米屏幕时间管理功能)

  • 苹果xs几g运行(苹果xs运行几个g)

    苹果xs几g运行(苹果xs运行几个g)

  • 苹果相册最近删除怎么没了(苹果相册最近删除删了还能恢复吗)

    苹果相册最近删除怎么没了(苹果相册最近删除删了还能恢复吗)

  • Win7系统打印机打印出PCL XL ERROR的错误的解决方法(win7系统打印机在哪里)

    Win7系统打印机打印出PCL XL ERROR的错误的解决方法(win7系统打印机在哪里)

  • Vue--》计算属性与监视(侦听)属性的使用(vue计算属性和监听属性的区别)

    Vue--》计算属性与监视(侦听)属性的使用(vue计算属性和监听属性的区别)

  • lftpget命令  下载指定的文件(lftp shell)

    lftpget命令 下载指定的文件(lftp shell)

  • 税控盘抵扣税款
  • 出租房屋收取水电费 能计收入吗
  • 保证人不承担责任(胜诉案例)
  • 工业企业结转成本表格模板
  • 一般纳税人结转增值税的账务处理
  • 个人所得税怎么扣
  • 一般纳税人广告
  • 从公司账户转给个人账户取出来发给员工做过节费
  • 资产资本化的借款费用如何写分录?
  • 无形资产摊销是增加还是减少
  • 上缴税费总额包括个税吗?
  • 红字发票怎么做帐
  • 进项明细和开票明细不一致怎么办
  • 通发票备注栏写什么内容
  • 收据大写要写整吗
  • 监控系统施工费用包括哪些内容
  • 汇算清缴前可以更改去年的账吗
  • 增值税税差调整原因
  • 服务设计合同标准版
  • 非营利组织属于企业吗
  • 发票已入账未认证怎么办
  • 该内存不能为read,要终止程序
  • 贴息贷款利息怎么入账
  • 投入产出法怎么求逆矩阵
  • win10启用网络发现保存后又变成了关闭
  • 电商第三方平台规则的特点
  • PHP:time_nanosleep()的用法_misc函数
  • window显示我的电脑
  • PHP:pg_escape_string()的用法_PostgreSQL函数
  • 高德地图api获取当前经纬度的城市地图
  • php dom
  • 会计学中的折旧是什么意思
  • 捐资民办学校可以盈利吗
  • 企业注销未抵扣完的进项税额怎么处理做账
  • 污水处理增值税税率
  • k8s安装步骤
  • laravel5.2实现区分前后台用户登录的方法
  • 先申报工资还是先发工资
  • js处理表格数据
  • 企业职工生活费
  • 零申报季报怎么报税的具体流程
  • 一笔购入多项固定资产
  • 终止合约取得的合约
  • 基本户开立账户清单
  • 基本存款账户可以办理
  • 预算单位授权支付专户的特征
  • 商贸企业增值税税率是多少
  • 关于餐饮行业
  • 其他业务支出借方增加还是减少
  • 从国外进口一批原材料,海关核定的关税完税价
  • 印花税怎么进行税种认定
  • 理财产品产生的收益会成为本金吗为什么
  • 公司新产品研发上市的意义和价值
  • 银行回单可以跨年入账吗
  • 应收账款余额等于什么?
  • win8.1怎么样
  • winxp系统如何安装
  • win8如何更改账户名
  • xp无法进入桌面怎么办
  • skyleap用不了
  • win98拨号上网
  • windows7与xp
  • mac win10 wifi
  • centos7网络配置文件在哪
  • 深入理解ffmpeg pdf
  • jquery技巧
  • 有哪些小工具
  • 简述bootstrap中模态框的javascript方法
  • 一道关于医用口罩的数学题初二
  • unity 1
  • JavaScript中的math.pi
  • 猫的游戏视频
  • google年会
  • jquery 扩展事件
  • 广州电子税务局财务报表在哪里查询
  • 税务代收是什么意思
  • 中建七局企业精神是什么
  • 上海税务局网上举报平台官网
  • 建筑装饰业发票怎么开
  • 土地交的契税会计科目
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设