位置: IT常识 - 正文

常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

编辑:rootadmin
常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、 归一化零、前言1.官网链接2.归一化公式3.介绍一、InstanceNorm1d1. 介绍2.实例二、InstanceNorm2d1. 介绍2.实例三、BatchNorm1d1.介绍2.实例四、BatchNorm2d1.介绍2.实例零、前言1.官网链接

推荐整理分享常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:归一化方法有哪些,详细说明其中两种原理,归一化lms,归一化方法有哪些,详细说明其中两种原理,归一化有什么用,归一化bn,归一化有什么用,归一化方法有哪些,详细说明其中两种原理,常见归一化方法,内容如对您有帮助,希望把文章链接给更多的朋友!

https://pytorch.org/docs/stable/nn.html#normalization-layers

2.归一化公式

函数内部实现其实就是严格完成上面图中的公式,其中E(x)表示均值或者期望,而Var(x)则表示对应的方差。

3.介绍常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

批量归一化与实例归一化的最大区别在于计算均值及方差的依据不同,实例归一化是对每个样本沿着通道方向独立对各个通道进行计算,而批量归一化则是对所有样本沿着batch的方向对各个通道分别进行计算。 比如: 输入特征图形状为:(2,3,256,512),表示有两个256×512的特征图,特征图通道数为3,假设为RGB三个通道 1)实例归一化:

依次对样本1,样本2分别计算R、G、B三个通道的均值、方差,每次计算其实是对256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式;

2)批量归一化:

对整个批次的样本,对各个通道分别求出均值和方差,每次计算其实是对2×256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式; 一、InstanceNorm1d1. 介绍

一维实例归一化:对一个批次中每个样本,依次按照通道计算对应的均值及均方差。

torch.nn.InstanceNorm1d( num_features,# 与输入特征的通道数保持一致 eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, L)Output: (N, C, L)2.实例import torchimport mathepsilon=1e-5N,C,L=2,3,5inp=torch.randint(5,size=(N,C,L),dtype=torch.float32)print(inp)print("-"*25)# 方法一:手动实现# 对每个样本计算各个通道的均值mean_list=[]for b in range(N): for c in range(C): mean_list.append(torch.sum(inp[b,c,:])/L)# 对每个样本计算各个通道的方差var_list=[]for b in range(N): for c in range(C): # var_list.append(torch.var(inp[b,c,:]*(L-1)/L)) var_list.append(torch.var(inp[b,c,:]))print(mean_list)print(var_list)# 归一化out=torch.zeros_like(inp)# print(len(inp[0,0,:]))# print(out.shape)for b in range(N): for c in range(C): index=b*C+c out[b,c,:]=(inp[b,c,:]-mean_list[index])/math.sqrt(var_list[index]+epsilon)# print(out.shape)print(out)print("-"*25)# 方法二:调用函数out1=torch.nn.InstanceNorm1d(C)(inp)print(out1)二、InstanceNorm2d1. 介绍

二维实例归一化:计算过程及调用方式同一维实例归一化,二者区别主要在于输入特征形状的变化。

torch.nn.InstanceNorm2d(num_features, # 与输入特征的通道数保持一致eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)2.实例import torchimport math# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(1,3,2,2))print(inp)print(inp.shape)print('-'*20)out=torch.nn.InstanceNorm2d(3)(inp)print(out)print(out.shape)三、BatchNorm1d1.介绍

一维批量归一化:其实还是实现前言中介绍的公式,但与实例归一化的最大区别在于计算均值及方差的依据不同。

torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None,dtype=None)Input: (N,C,L), where N is the batch size, C is the number of features or channels, and L is the sequence lengthOutput: (N,C,L) (same shape as input)2.实例import torchimport mathepsilon=1e-5N,C,L=128,3,512inp=torch.randn(size=(N,C,L))# 方法一:手动实现# 沿着batch计算各个通道的均值mean_1, mean_2, mean_3 = torch.sum(inp[:,0,:])/(N*L), torch.sum(inp[:,1,:])/(N*L), torch.sum(inp[:,2,:])/(N*L)mean_list=[mean_1, mean_2, mean_3 ]# 沿着batch计算各个通道的方差var_1, var_2, var_3 = torch.var(inp[:,0,:]), torch.var(inp[:,1,:]), torch.var(inp[:,2,:])var_list=[var_1, var_2, var_3 ]print(mean_list,var_list)# 归一化out=torch.zeros_like(inp)for c in range(C): out[:,c,:]=(inp[:,c,:]-mean_list[c])/math.sqrt(var_list[c]+epsilon)# print(out.shape)# print(out)out1=outprint("-"*25)# 方法二:调用函数out=torch.nn.BatchNorm1d(C)(inp)# print(out)# print(out.shape)print(True in (out1==out))四、BatchNorm2d1.介绍

二维批量归一化:计算过程及调用方式同一维批量归一化,二者区别主要在于输入特征形状的变化。

torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)(same shape as input)2.实例import torch# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(2,3,5,6))print(inp)print(inp.shape)print('-'*20)out=torch.nn.BatchNorm2d(3)(inp)print(out)print(out.shape)
本文链接地址:https://www.jiuchutong.com/zhishi/295908.html 转载请保留说明!

上一篇:华为OD机试 - 租车骑绿岛(Java & JS & Python)(华为od机试题题库)

下一篇:页面访问升级出错怎么解决(页面访问升级出错怎么办)

  • 最简单粗爆的网络推广方法(很简单的网名)

    最简单粗爆的网络推广方法(很简单的网名)

  • 快手是字节跳动旗下产品吗(快手字节跳动布局餐饮行业)

    快手是字节跳动旗下产品吗(快手字节跳动布局餐饮行业)

  • 华为mate30发热严重(华为mate30发热严重怎么解决)

    华为mate30发热严重(华为mate30发热严重怎么解决)

  • ios9.0以上是什么意思(苹果手机ios9.0版什么意思)

    ios9.0以上是什么意思(苹果手机ios9.0版什么意思)

  • office打不开显示正在更新(office打不开显示内存不足)

    office打不开显示正在更新(office打不开显示内存不足)

  • 手机闪屏是什么意思(手机闪屏是什么问题怎么解决)

    手机闪屏是什么意思(手机闪屏是什么问题怎么解决)

  • 磁盘检查需要多久(磁盘检查有什么意义)

    磁盘检查需要多久(磁盘检查有什么意义)

  • amd是什么牌子(处理器amd是什么牌子)

    amd是什么牌子(处理器amd是什么牌子)

  • 虎牙a类申诉要多久(虎牙直播a类有申诉成功的吗)

    虎牙a类申诉要多久(虎牙直播a类有申诉成功的吗)

  • 手机号被对方拉黑了为什么还可以发信息(手机号被对方拉黑了发短信对方能收到吗)

    手机号被对方拉黑了为什么还可以发信息(手机号被对方拉黑了发短信对方能收到吗)

  • 苹果的智能助手叫什么(苹果的智能助手怎么打开)

    苹果的智能助手叫什么(苹果的智能助手怎么打开)

  • ctrl+f4的功能是什么(ctrl+f4的作用)

    ctrl+f4的功能是什么(ctrl+f4的作用)

  • 电子邮件有哪两个协议(电子邮件有哪两种使用方式)

    电子邮件有哪两个协议(电子邮件有哪两种使用方式)

  • 支付宝店员不能查看收款记录(支付宝店员不能向店主付款)

    支付宝店员不能查看收款记录(支付宝店员不能向店主付款)

  • 华为4手环发布时间(华为手环发布时间轴)

    华为4手环发布时间(华为手环发布时间轴)

  • 电话被拉黑了还能发消息吗(电话被拉黑了还能打通对方电话)

    电话被拉黑了还能发消息吗(电话被拉黑了还能打通对方电话)

  • 抖音怎么边拍边关美颜(抖音怎么边拍边出字)

    抖音怎么边拍边关美颜(抖音怎么边拍边出字)

  • plus token如何提现(plus token钱能回来吗)

    plus token如何提现(plus token钱能回来吗)

  • 手机微云怎么上传视频(手机微云怎么上传软件)

    手机微云怎么上传视频(手机微云怎么上传软件)

  • 场景推广是什么意思(场景推广适合什么产品)

    场景推广是什么意思(场景推广适合什么产品)

  • iphone无线耳机接电话(iphone 无线耳机 链接)

    iphone无线耳机接电话(iphone 无线耳机 链接)

  • 华为定位服务打不开(华为定位服务打开好还是关闭好)

    华为定位服务打不开(华为定位服务打开好还是关闭好)

  • word2007怎么打印(word2007怎么打印在一张a4纸上)

    word2007怎么打印(word2007怎么打印在一张a4纸上)

  • word怎么换行上下换行(word咋换行)

    word怎么换行上下换行(word咋换行)

  • 小规模纳税人转一般纳税人
  • 如何判断销售额含税还是不含税
  • 餐饮企业购入的啤酒不拿消费税吗
  • 施工企业的临时设施,属于企业的固定资产
  • 假发票是怎么开出来的
  • 个体户季报网上怎么报税
  • 小规模纳税人开票税率
  • 长期待摊费用的账务处理
  • 空调可以直接做费用吗
  • 保本理财收益增值税纳税主体
  • 预缴增值税 进项税扣除
  • 工程机械租赁增值税税率很多适用错误应该是9不是13
  • 销项税额特殊销售额的处理方式
  • 核定征收企业怎么申报
  • 招标代理资质办理好办吗
  • 补交关税增值税怎么做分录?
  • 资金账簿印花税最新政策2023
  • 异地施工预缴税款会计分录
  • 远程清卡显示清卡失败,证书已挂失怎么回事
  • 报个税失业保险怎么填
  • 支票遗失要怎么补办
  • 统借统贷协议
  • 一般纳税人转小规模怎么办理
  • 包装物怎么入账
  • 农产品进项税抵扣计算例题
  • 增值税发票开具错误重开该怎么做会计分录?
  • 已完成认证
  • 固定资产不入账的后果
  • 车辆的代驾费应该怎么收
  • 企业所得税季度预缴纳税申报表
  • 有进项没销项怎么处理,可以结转成本吗
  • win10怎么投影到手机
  • 汇总收款凭证怎么做账
  • 工会经费如何在网上购物吗
  • 企业办理税务
  • 哪种审计证据更可靠
  • 位于Praprotno村之上的圣托马斯教堂 (© Guy Edwardes/Minden Pictures)
  • 未认证用户是什么意思
  • 购进商品的运费怎么算
  • 用于研发的材料后期销售了应该怎么账务处理
  • 如何升级智慧中小学app
  • 特殊工种人身安全责任书
  • 报验户如何管理
  • 其他债权投资应收利息计入什么
  • 农机免税发票能抵扣吗
  • 企业购买随时准备出售的债券
  • 收到以前年度银行手续费发票分录
  • 以固定资产换入无形资产
  • 地下车库的成本和房子哪个高
  • 一般纳税人进销不符怎么办
  • 涉外收入申报单怎么填
  • 办公楼的装修费用如何进行财税处理
  • 收到银行本票计入什么科目
  • 购货方尚未偿付的货款属于什么会计科目
  • 股权变更需要做账吗
  • 发票边上的孔有什么用
  • 电子发票报销如何处理
  • 企业会计做账教程
  • 明细账摘要写错了怎么修改
  • mysql中函数创建与调用示例
  • sql基础问题
  • sqlserver查询语句大全讲解
  • 浅谈mysql explain中key_len的计算方法
  • linux如何替换
  • 如何解决cpu超频问题
  • xp桌面右键选项消失
  • win7运行慢如何解决办法
  • driver's
  • win10系统关闭防火墙服务
  • pkg-config命令
  • win7文件夹选项在哪里打开
  • 常用正则表达式汇总
  • cocos 2dx
  • shell线程操作命令
  • Web Inspector:关于在 Sublime Text 中调试Js的介绍
  • unity怎么删除导入的包
  • 安卓手机管家
  • Android 仿 iphone 自定义滚动选择器
  • 进口设备免关税政策融资费
  • 怎么在国税网站取消已申报的财务报表
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设