位置: IT常识 - 正文

常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

编辑:rootadmin
常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、 归一化零、前言1.官网链接2.归一化公式3.介绍一、InstanceNorm1d1. 介绍2.实例二、InstanceNorm2d1. 介绍2.实例三、BatchNorm1d1.介绍2.实例四、BatchNorm2d1.介绍2.实例零、前言1.官网链接

推荐整理分享常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:归一化方法有哪些,详细说明其中两种原理,归一化lms,归一化方法有哪些,详细说明其中两种原理,归一化有什么用,归一化bn,归一化有什么用,归一化方法有哪些,详细说明其中两种原理,常见归一化方法,内容如对您有帮助,希望把文章链接给更多的朋友!

https://pytorch.org/docs/stable/nn.html#normalization-layers

2.归一化公式

函数内部实现其实就是严格完成上面图中的公式,其中E(x)表示均值或者期望,而Var(x)则表示对应的方差。

3.介绍常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

批量归一化与实例归一化的最大区别在于计算均值及方差的依据不同,实例归一化是对每个样本沿着通道方向独立对各个通道进行计算,而批量归一化则是对所有样本沿着batch的方向对各个通道分别进行计算。 比如: 输入特征图形状为:(2,3,256,512),表示有两个256×512的特征图,特征图通道数为3,假设为RGB三个通道 1)实例归一化:

依次对样本1,样本2分别计算R、G、B三个通道的均值、方差,每次计算其实是对256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式;

2)批量归一化:

对整个批次的样本,对各个通道分别求出均值和方差,每次计算其实是对2×256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式; 一、InstanceNorm1d1. 介绍

一维实例归一化:对一个批次中每个样本,依次按照通道计算对应的均值及均方差。

torch.nn.InstanceNorm1d( num_features,# 与输入特征的通道数保持一致 eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, L)Output: (N, C, L)2.实例import torchimport mathepsilon=1e-5N,C,L=2,3,5inp=torch.randint(5,size=(N,C,L),dtype=torch.float32)print(inp)print("-"*25)# 方法一:手动实现# 对每个样本计算各个通道的均值mean_list=[]for b in range(N): for c in range(C): mean_list.append(torch.sum(inp[b,c,:])/L)# 对每个样本计算各个通道的方差var_list=[]for b in range(N): for c in range(C): # var_list.append(torch.var(inp[b,c,:]*(L-1)/L)) var_list.append(torch.var(inp[b,c,:]))print(mean_list)print(var_list)# 归一化out=torch.zeros_like(inp)# print(len(inp[0,0,:]))# print(out.shape)for b in range(N): for c in range(C): index=b*C+c out[b,c,:]=(inp[b,c,:]-mean_list[index])/math.sqrt(var_list[index]+epsilon)# print(out.shape)print(out)print("-"*25)# 方法二:调用函数out1=torch.nn.InstanceNorm1d(C)(inp)print(out1)二、InstanceNorm2d1. 介绍

二维实例归一化:计算过程及调用方式同一维实例归一化,二者区别主要在于输入特征形状的变化。

torch.nn.InstanceNorm2d(num_features, # 与输入特征的通道数保持一致eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)2.实例import torchimport math# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(1,3,2,2))print(inp)print(inp.shape)print('-'*20)out=torch.nn.InstanceNorm2d(3)(inp)print(out)print(out.shape)三、BatchNorm1d1.介绍

一维批量归一化:其实还是实现前言中介绍的公式,但与实例归一化的最大区别在于计算均值及方差的依据不同。

torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None,dtype=None)Input: (N,C,L), where N is the batch size, C is the number of features or channels, and L is the sequence lengthOutput: (N,C,L) (same shape as input)2.实例import torchimport mathepsilon=1e-5N,C,L=128,3,512inp=torch.randn(size=(N,C,L))# 方法一:手动实现# 沿着batch计算各个通道的均值mean_1, mean_2, mean_3 = torch.sum(inp[:,0,:])/(N*L), torch.sum(inp[:,1,:])/(N*L), torch.sum(inp[:,2,:])/(N*L)mean_list=[mean_1, mean_2, mean_3 ]# 沿着batch计算各个通道的方差var_1, var_2, var_3 = torch.var(inp[:,0,:]), torch.var(inp[:,1,:]), torch.var(inp[:,2,:])var_list=[var_1, var_2, var_3 ]print(mean_list,var_list)# 归一化out=torch.zeros_like(inp)for c in range(C): out[:,c,:]=(inp[:,c,:]-mean_list[c])/math.sqrt(var_list[c]+epsilon)# print(out.shape)# print(out)out1=outprint("-"*25)# 方法二:调用函数out=torch.nn.BatchNorm1d(C)(inp)# print(out)# print(out.shape)print(True in (out1==out))四、BatchNorm2d1.介绍

二维批量归一化:计算过程及调用方式同一维批量归一化,二者区别主要在于输入特征形状的变化。

torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)(same shape as input)2.实例import torch# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(2,3,5,6))print(inp)print(inp.shape)print('-'*20)out=torch.nn.BatchNorm2d(3)(inp)print(out)print(out.shape)
本文链接地址:https://www.jiuchutong.com/zhishi/295908.html 转载请保留说明!

上一篇:华为OD机试 - 租车骑绿岛(Java & JS & Python)(华为od机试题题库)

下一篇:页面访问升级出错怎么解决(页面访问升级出错怎么办)

  • beats耳机怎么连蓝牙安卓手机(beats耳机怎么连接电脑)

    beats耳机怎么连蓝牙安卓手机(beats耳机怎么连接电脑)

  • 小米手机怎么设置呼叫转移(小米手机怎么设置流量上限?)

    小米手机怎么设置呼叫转移(小米手机怎么设置流量上限?)

  • 广联达备份文件默认存放在哪里(广联达备份文件路径修改)

    广联达备份文件默认存放在哪里(广联达备份文件路径修改)

  • 一个b站号可以登几个手机(一个b站号可以在几个设备)

    一个b站号可以登几个手机(一个b站号可以在几个设备)

  • 电脑打印怎么设置横向打印(电脑打印怎么设置默认单面打印)

    电脑打印怎么设置横向打印(电脑打印怎么设置默认单面打印)

  • 抖音怎么关联淘宝店铺(抖音怎么关联淘宝产品)

    抖音怎么关联淘宝店铺(抖音怎么关联淘宝产品)

  • 拼多多为什么助力不成功(拼多多为什么助力还差更多了了,反而)

    拼多多为什么助力不成功(拼多多为什么助力还差更多了了,反而)

  • WPS怎么取消项目符号(wps怎么取消选项)

    WPS怎么取消项目符号(wps怎么取消选项)

  • 美团红包是商家出钱吗(美团红包是商家自己承担吗)

    美团红包是商家出钱吗(美团红包是商家自己承担吗)

  • iphone11卡贴怎么装(苹果11卡贴怎么贴)

    iphone11卡贴怎么装(苹果11卡贴怎么贴)

  • 谷歌浏览器拦截窗口如何解除(谷歌浏览器拦截功能在哪关闭)

    谷歌浏览器拦截窗口如何解除(谷歌浏览器拦截功能在哪关闭)

  • 删除应用数据会有什么影响(删除应用数据会删除账户吗)

    删除应用数据会有什么影响(删除应用数据会删除账户吗)

  • 华为m5和m5青春版区别(华为m5和m5青春版保护套通用吗)

    华为m5和m5青春版区别(华为m5和m5青春版保护套通用吗)

  • 天猫店铺发货时间规定(天猫店铺发货时限哪里查)

    天猫店铺发货时间规定(天猫店铺发货时限哪里查)

  • 打印机没有wifi功能怎么连接手机打印(打印机没有wifi和蓝牙怎么连接手机)

    打印机没有wifi功能怎么连接手机打印(打印机没有wifi和蓝牙怎么连接手机)

  • iphone7怎么设置中文(iPhone7怎么设置壁纸)

    iphone7怎么设置中文(iPhone7怎么设置壁纸)

  • 表格怎么查找内容(表格怎么查找内容数据)

    表格怎么查找内容(表格怎么查找内容数据)

  • 芒果会员怎么取消(芒果会员怎么取消给别人用)

    芒果会员怎么取消(芒果会员怎么取消给别人用)

  • ipiphone11电池容量(iphone电池容量)

    ipiphone11电池容量(iphone电池容量)

  • 电话录音在手机哪里(电话录音在手机里面哪里能查询到?)

    电话录音在手机哪里(电话录音在手机里面哪里能查询到?)

  •  word文档改不了内容怎么办(word文档改不了输入法)

    word文档改不了内容怎么办(word文档改不了输入法)

  • 充电宝忘记还了怎么办(充电宝忘记还了怎么暂停)

    充电宝忘记还了怎么办(充电宝忘记还了怎么暂停)

  • vivox23nfc怎么打开(vivox23nfc功能是什么意思怎么使用)

    vivox23nfc怎么打开(vivox23nfc功能是什么意思怎么使用)

  • 华为nova3怎么设置来电视频(华为nova3怎么设置侧边栏)

    华为nova3怎么设置来电视频(华为nova3怎么设置侧边栏)

  • 苹果7p美版和国行的区别(美版7p和国行7p的区别)

    苹果7p美版和国行的区别(美版7p和国行7p的区别)

  • xp系统电脑关机总提示“正在更新,请不要关闭电脑”?(xp系统电脑关机后又重启怎样处理)

    xp系统电脑关机总提示“正在更新,请不要关闭电脑”?(xp系统电脑关机后又重启怎样处理)

  • linux 防御SYN攻击步骤详解(linux系统应对攻击的常用防御手段的描述)

    linux 防御SYN攻击步骤详解(linux系统应对攻击的常用防御手段的描述)

  • 以旧换新销售商品
  • 年度应纳税所得额计算公式
  • 工会可以现金支付吗
  • 其他应收款账目
  • 增值税专用发票怎么开
  • 商贸企业增值税优惠政策
  • 佣金支出和手续费税前扣除相关政策依据及会计处理
  • 2021年工作绩效未达标扣工资
  • 上年度的会计分录做错了今年可以调整吗
  • 代开专票作废了扣了两次税怎么办?
  • 小规模注销时盈余公积余额怎么处理
  • 与其他企业联营算投资吗
  • 工厂没给工人买保险会被处罚吗?
  • 验资资金转出如何做账
  • 应交税费账户期末借方余额反映的是
  • 个人所得税生育险
  • 出口退税和企业所得税
  • 委托代征申报
  • 三证合一后怎么看税号
  • 同一个月两家单位交公积金
  • 许可使用费怎么计算
  • 代收房租费
  • 我的初级备考经验,认真就有收获
  • 小企业财务报表模板免费下载
  • 冲失业保险分录怎么做
  • 社保显示已申报,但缴不了款
  • 中央空调销售与安装开票税率
  • 网络适配器不见了win7.上不了网了
  • Windows XP具有类似于Apple Aqua的秘密主题
  • 公司资产总额怎么算的啊
  • 房屋产权置换怎么交税?
  • wwwxxx域名选择(www.xxx.com或者.cn)
  • 网速第一的国家
  • php对象赋值给变量
  • php中ajax
  • 小微企业减免附加税政策
  • 会计账簿登记错误怎么办
  • 腾达路由器桥接的方法
  • 鹤顶兰的养殖方法和管理
  • php简单的接口编写示例
  • 摊销期在一年以内的费用
  • thinkphp5框架介绍
  • 使用php免费发送短信
  • 可行性研究报告合同属于什么合同
  • 蔬菜免征增值税优惠
  • 工会收取的工会经费应缴纳增值税
  • 织梦自定义字段
  • Discus X 3 门户改造熊掌号网页教程
  • 增值税是如何计算的
  • mysql主从配置详解
  • 一般纳税人金税盘怎么清卡
  • 会计专业技术资格初级是什么职称
  • 所得税费用需要结转损益吗
  • 现金折扣可以扣除吗
  • 视同销售是按成本价入账还是按计税价格入账,为什么?
  • 收到现金怎么记账凭证
  • 哪种情形的货物或者服务可以采用竞争性谈判方式采购
  • 500万以下设备一次性扣除
  • 幼儿园固定资产一览表
  • 银行承兑汇票能拆分背书吗
  • 材料会计实务操作题答案
  • mysql如何导出数据
  • sqlserver合并脚本工具
  • windowns vista
  • linux磁盘格式化后一定会清空数据吗
  • windows10磁盘
  • neoCopy.exe - neoCopy是什么进程 有什么用
  • 查找临时文件的命令
  • win7系统损坏无法开机怎么重装
  • div滚动条怎么设置
  • javascript函数自调用
  • 批处理文件是将需要连续使用的可多次重复使用的
  • android适配器是什么意思
  • 半透明图层怎么制作
  • javascriptz
  • 浅谈JavaScript事件的属性列表
  • 电子税务局查询一般纳税人资格
  • 日照公交305发车时间表
  • 瑞典交税
  • 粤商通个体户怎样注册
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设