位置: IT常识 - 正文

常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

编辑:rootadmin
常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、 归一化零、前言1.官网链接2.归一化公式3.介绍一、InstanceNorm1d1. 介绍2.实例二、InstanceNorm2d1. 介绍2.实例三、BatchNorm1d1.介绍2.实例四、BatchNorm2d1.介绍2.实例零、前言1.官网链接

推荐整理分享常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:归一化方法有哪些,详细说明其中两种原理,归一化lms,归一化方法有哪些,详细说明其中两种原理,归一化有什么用,归一化bn,归一化有什么用,归一化方法有哪些,详细说明其中两种原理,常见归一化方法,内容如对您有帮助,希望把文章链接给更多的朋友!

https://pytorch.org/docs/stable/nn.html#normalization-layers

2.归一化公式

函数内部实现其实就是严格完成上面图中的公式,其中E(x)表示均值或者期望,而Var(x)则表示对应的方差。

3.介绍常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

批量归一化与实例归一化的最大区别在于计算均值及方差的依据不同,实例归一化是对每个样本沿着通道方向独立对各个通道进行计算,而批量归一化则是对所有样本沿着batch的方向对各个通道分别进行计算。 比如: 输入特征图形状为:(2,3,256,512),表示有两个256×512的特征图,特征图通道数为3,假设为RGB三个通道 1)实例归一化:

依次对样本1,样本2分别计算R、G、B三个通道的均值、方差,每次计算其实是对256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式;

2)批量归一化:

对整个批次的样本,对各个通道分别求出均值和方差,每次计算其实是对2×256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式; 一、InstanceNorm1d1. 介绍

一维实例归一化:对一个批次中每个样本,依次按照通道计算对应的均值及均方差。

torch.nn.InstanceNorm1d( num_features,# 与输入特征的通道数保持一致 eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, L)Output: (N, C, L)2.实例import torchimport mathepsilon=1e-5N,C,L=2,3,5inp=torch.randint(5,size=(N,C,L),dtype=torch.float32)print(inp)print("-"*25)# 方法一:手动实现# 对每个样本计算各个通道的均值mean_list=[]for b in range(N): for c in range(C): mean_list.append(torch.sum(inp[b,c,:])/L)# 对每个样本计算各个通道的方差var_list=[]for b in range(N): for c in range(C): # var_list.append(torch.var(inp[b,c,:]*(L-1)/L)) var_list.append(torch.var(inp[b,c,:]))print(mean_list)print(var_list)# 归一化out=torch.zeros_like(inp)# print(len(inp[0,0,:]))# print(out.shape)for b in range(N): for c in range(C): index=b*C+c out[b,c,:]=(inp[b,c,:]-mean_list[index])/math.sqrt(var_list[index]+epsilon)# print(out.shape)print(out)print("-"*25)# 方法二:调用函数out1=torch.nn.InstanceNorm1d(C)(inp)print(out1)二、InstanceNorm2d1. 介绍

二维实例归一化:计算过程及调用方式同一维实例归一化,二者区别主要在于输入特征形状的变化。

torch.nn.InstanceNorm2d(num_features, # 与输入特征的通道数保持一致eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)2.实例import torchimport math# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(1,3,2,2))print(inp)print(inp.shape)print('-'*20)out=torch.nn.InstanceNorm2d(3)(inp)print(out)print(out.shape)三、BatchNorm1d1.介绍

一维批量归一化:其实还是实现前言中介绍的公式,但与实例归一化的最大区别在于计算均值及方差的依据不同。

torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None,dtype=None)Input: (N,C,L), where N is the batch size, C is the number of features or channels, and L is the sequence lengthOutput: (N,C,L) (same shape as input)2.实例import torchimport mathepsilon=1e-5N,C,L=128,3,512inp=torch.randn(size=(N,C,L))# 方法一:手动实现# 沿着batch计算各个通道的均值mean_1, mean_2, mean_3 = torch.sum(inp[:,0,:])/(N*L), torch.sum(inp[:,1,:])/(N*L), torch.sum(inp[:,2,:])/(N*L)mean_list=[mean_1, mean_2, mean_3 ]# 沿着batch计算各个通道的方差var_1, var_2, var_3 = torch.var(inp[:,0,:]), torch.var(inp[:,1,:]), torch.var(inp[:,2,:])var_list=[var_1, var_2, var_3 ]print(mean_list,var_list)# 归一化out=torch.zeros_like(inp)for c in range(C): out[:,c,:]=(inp[:,c,:]-mean_list[c])/math.sqrt(var_list[c]+epsilon)# print(out.shape)# print(out)out1=outprint("-"*25)# 方法二:调用函数out=torch.nn.BatchNorm1d(C)(inp)# print(out)# print(out.shape)print(True in (out1==out))四、BatchNorm2d1.介绍

二维批量归一化:计算过程及调用方式同一维批量归一化,二者区别主要在于输入特征形状的变化。

torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)(same shape as input)2.实例import torch# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(2,3,5,6))print(inp)print(inp.shape)print('-'*20)out=torch.nn.BatchNorm2d(3)(inp)print(out)print(out.shape)
本文链接地址:https://www.jiuchutong.com/zhishi/295908.html 转载请保留说明!

上一篇:华为OD机试 - 租车骑绿岛(Java & JS & Python)(华为od机试题题库)

下一篇:页面访问升级出错怎么解决(页面访问升级出错怎么办)

  • 微信里怎么群发消息不建群(微信不建群怎么群发消息)(微信里怎么群发短信)

    微信里怎么群发消息不建群(微信不建群怎么群发消息)(微信里怎么群发短信)

  • 手机从高处摔下怎么办(手机从高处摔下来黑屏了怎么办)

    手机从高处摔下怎么办(手机从高处摔下来黑屏了怎么办)

  • 苹果手机输入次数过多下不了app怎么办(苹果手机输入苹果)

    苹果手机输入次数过多下不了app怎么办(苹果手机输入苹果)

  • 怎么通过支付宝收款码找到联系人(怎么通过支付宝转账查到对方手机号)

    怎么通过支付宝收款码找到联系人(怎么通过支付宝转账查到对方手机号)

  • 平板一直显示耳机模式(平板一直显示耳机音量怎么搞也不行怎么办)

    平板一直显示耳机模式(平板一直显示耳机音量怎么搞也不行怎么办)

  • 怎样删除发现公众号(怎样删除微信里的发现公众号)

    怎样删除发现公众号(怎样删除微信里的发现公众号)

  • 虎牙牌子怎么升级(虎牙牌子怎么升级便宜)

    虎牙牌子怎么升级(虎牙牌子怎么升级便宜)

  • p40如何设置虚拟键(华为p40设置虚拟按键在哪)

    p40如何设置虚拟键(华为p40设置虚拟按键在哪)

  • 苹果5s1530能不能用电信卡(苹果5s可以用ios13吗)

    苹果5s1530能不能用电信卡(苹果5s可以用ios13吗)

  • 微信传身份证能取消吗(微信传身份证有危险吗)

    微信传身份证能取消吗(微信传身份证有危险吗)

  • 苹果电脑没有鼠标怎么右键(苹果电脑没有鼠标怎么操作)

    苹果电脑没有鼠标怎么右键(苹果电脑没有鼠标怎么操作)

  • 新手机三个条码干什么用(新手机三个条码怎么弄)

    新手机三个条码干什么用(新手机三个条码怎么弄)

  • 电脑一开机风扇就狂转是什么原因(电脑一开机风扇就转得很厉害)

    电脑一开机风扇就狂转是什么原因(电脑一开机风扇就转得很厉害)

  • 怎样排列手机桌面图标(手机桌面的排列方式)

    怎样排列手机桌面图标(手机桌面的排列方式)

  • cache是什么存储器(cache是什么内存)

    cache是什么存储器(cache是什么内存)

  • macbook a1707是哪款(macbook a1707是哪一年款)

    macbook a1707是哪款(macbook a1707是哪一年款)

  • 苹果怎么清理系统内存(苹果怎么清理系统文件)

    苹果怎么清理系统内存(苹果怎么清理系统文件)

  • 华为p30有什么功能(华为p30有什么功能介绍一下)

    华为p30有什么功能(华为p30有什么功能介绍一下)

  • 大麦网一票一证购票能转吗(大麦一票一证什么意思)

    大麦网一票一证购票能转吗(大麦一票一证什么意思)

  • 高德地图如何横屏显示(高德地图如何横版)

    高德地图如何横屏显示(高德地图如何横版)

  • 怎么改siri的名称(如何修改siri的名字)

    怎么改siri的名称(如何修改siri的名字)

  • 苹果11手机夜拍怎么用(苹果手机夜拍灯光五光射线)

    苹果11手机夜拍怎么用(苹果手机夜拍灯光五光射线)

  • 三星怎么看电池寿命(三星怎么看电池健康度)

    三星怎么看电池寿命(三星怎么看电池健康度)

  • iphone11能指纹解锁吗(苹果11手机可以用指纹打开)

    iphone11能指纹解锁吗(苹果11手机可以用指纹打开)

  • 快手不更新是怎么回事(快手不更新怎么设置)

    快手不更新是怎么回事(快手不更新怎么设置)

  • 微信怎么让附近的人搜到我(微信怎么让附近的人加我)

    微信怎么让附近的人搜到我(微信怎么让附近的人加我)

  • 图例位于底部怎么设置(图例位于底部怎么弄Word)

    图例位于底部怎么设置(图例位于底部怎么弄Word)

  • word保存或打印时出现是否保存/打印的提示(word要打印保存在哪个类型)

    word保存或打印时出现是否保存/打印的提示(word要打印保存在哪个类型)

  • 以前年度损益调整
  • 记账凭证核算形式需要设置的凭证有
  • 小规模纳税人场地租赁
  • 出口托收业务
  • 厂家试驾车和经销商试驾车
  • 商业企业销售化妆品
  • 人力资源外包服务增值税税率
  • 一般纳税人在外地预缴税款
  • 运费单是什么
  • 公司拍摄费计入什么科目
  • 国税一个月没报税罚款多少
  • 主体资格的法律规定
  • 公司给员工发的工资要交税吗
  • 个人去税务局开居间费发票
  • 在建工程预付款项记入什么会计科目
  • 营改增后房产税计税依据及计算方式
  • 进项税额转出与销售额配比异常
  • 企业所得税收入是含税还是不含税
  • 企业支付宝可以转账到对公账户吗
  • 电子汇票如何背书步骤
  • 资产处置损益计入利润吗
  • 可加计扣除的研发费用包括()
  • 其他出库单如何记账
  • 个人股东分红如何合理避税
  • 出售废品收入
  • linux的sh
  • 代收代付业务怎么交税
  • 资产负债表的资产总额怎么看
  • 携税宝续费
  • 清算公司资产怎么入账
  • 苹果手机最贵的软件是哪个
  • php iswriteable
  • 制造业企业资金管理
  • 一般纳税人销售旧货适用征收率是?
  • 员工旅游是什么意思
  • web系统的安全现状
  • 企业的营业税金及附加
  • 用python绘制
  • 软件开发企业如何计算利润
  • 实例理解SQL中truncate和delete的区别
  • 以前年度损益调整属于哪类科目
  • 房地产小规模纳税人预缴税款如何填申报表
  • 包装物押金销项税额的计算
  • 公司购买理财产品收益会计分录
  • 上月多出来的薪资怎么算
  • 安装固定资产所消耗的材料费和人工费属于什么会计科目
  • 车辆保险赔款怎么算
  • 银行账跨年一直没做怎么补
  • 企业所得税需要计提分录
  • 为什么会有进项税和销项税
  • 软件折旧从什么时候算
  • 中国的法律依据是什么
  • 预缴的税款抵扣有时间限制吗
  • 建账的依据是什么
  • 会计的主要目标是提供什么和什么
  • windowssever 2003
  • 卡巴斯基key
  • windows10周年更新
  • Linux系统中quota磁盘命令的相关使用解析
  • centos安装lvm
  • winio在win7下使用
  • windows7网速慢怎么解决
  • win8设备安装
  • windows 10各版本
  • win10 系统账户
  • 使用自带DISM工具修复Windows8.1映像
  • 用360可以装win7系统吗
  • 宏基win8改win7
  • js实现dialog
  • 解决Android Studio下载gradle慢
  • cocos2dx-js
  • css文件放在什么目录
  • python 技巧总结
  • Android OpenGL ES(九)----构建几何物体
  • node中的事件循环
  • High Level Networking Concepts
  • android 改变view位置
  • 税务鉴定收费标准
  • 广州地税微信公众号
  • 2014年房产税征收标准
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设