位置: IT常识 - 正文

常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

编辑:rootadmin
常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、 归一化零、前言1.官网链接2.归一化公式3.介绍一、InstanceNorm1d1. 介绍2.实例二、InstanceNorm2d1. 介绍2.实例三、BatchNorm1d1.介绍2.实例四、BatchNorm2d1.介绍2.实例零、前言1.官网链接

推荐整理分享常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:归一化方法有哪些,详细说明其中两种原理,归一化lms,归一化方法有哪些,详细说明其中两种原理,归一化有什么用,归一化bn,归一化有什么用,归一化方法有哪些,详细说明其中两种原理,常见归一化方法,内容如对您有帮助,希望把文章链接给更多的朋友!

https://pytorch.org/docs/stable/nn.html#normalization-layers

2.归一化公式

函数内部实现其实就是严格完成上面图中的公式,其中E(x)表示均值或者期望,而Var(x)则表示对应的方差。

3.介绍常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

批量归一化与实例归一化的最大区别在于计算均值及方差的依据不同,实例归一化是对每个样本沿着通道方向独立对各个通道进行计算,而批量归一化则是对所有样本沿着batch的方向对各个通道分别进行计算。 比如: 输入特征图形状为:(2,3,256,512),表示有两个256×512的特征图,特征图通道数为3,假设为RGB三个通道 1)实例归一化:

依次对样本1,样本2分别计算R、G、B三个通道的均值、方差,每次计算其实是对256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式;

2)批量归一化:

对整个批次的样本,对各个通道分别求出均值和方差,每次计算其实是对2×256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式; 一、InstanceNorm1d1. 介绍

一维实例归一化:对一个批次中每个样本,依次按照通道计算对应的均值及均方差。

torch.nn.InstanceNorm1d( num_features,# 与输入特征的通道数保持一致 eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, L)Output: (N, C, L)2.实例import torchimport mathepsilon=1e-5N,C,L=2,3,5inp=torch.randint(5,size=(N,C,L),dtype=torch.float32)print(inp)print("-"*25)# 方法一:手动实现# 对每个样本计算各个通道的均值mean_list=[]for b in range(N): for c in range(C): mean_list.append(torch.sum(inp[b,c,:])/L)# 对每个样本计算各个通道的方差var_list=[]for b in range(N): for c in range(C): # var_list.append(torch.var(inp[b,c,:]*(L-1)/L)) var_list.append(torch.var(inp[b,c,:]))print(mean_list)print(var_list)# 归一化out=torch.zeros_like(inp)# print(len(inp[0,0,:]))# print(out.shape)for b in range(N): for c in range(C): index=b*C+c out[b,c,:]=(inp[b,c,:]-mean_list[index])/math.sqrt(var_list[index]+epsilon)# print(out.shape)print(out)print("-"*25)# 方法二:调用函数out1=torch.nn.InstanceNorm1d(C)(inp)print(out1)二、InstanceNorm2d1. 介绍

二维实例归一化:计算过程及调用方式同一维实例归一化,二者区别主要在于输入特征形状的变化。

torch.nn.InstanceNorm2d(num_features, # 与输入特征的通道数保持一致eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)2.实例import torchimport math# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(1,3,2,2))print(inp)print(inp.shape)print('-'*20)out=torch.nn.InstanceNorm2d(3)(inp)print(out)print(out.shape)三、BatchNorm1d1.介绍

一维批量归一化:其实还是实现前言中介绍的公式,但与实例归一化的最大区别在于计算均值及方差的依据不同。

torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None,dtype=None)Input: (N,C,L), where N is the batch size, C is the number of features or channels, and L is the sequence lengthOutput: (N,C,L) (same shape as input)2.实例import torchimport mathepsilon=1e-5N,C,L=128,3,512inp=torch.randn(size=(N,C,L))# 方法一:手动实现# 沿着batch计算各个通道的均值mean_1, mean_2, mean_3 = torch.sum(inp[:,0,:])/(N*L), torch.sum(inp[:,1,:])/(N*L), torch.sum(inp[:,2,:])/(N*L)mean_list=[mean_1, mean_2, mean_3 ]# 沿着batch计算各个通道的方差var_1, var_2, var_3 = torch.var(inp[:,0,:]), torch.var(inp[:,1,:]), torch.var(inp[:,2,:])var_list=[var_1, var_2, var_3 ]print(mean_list,var_list)# 归一化out=torch.zeros_like(inp)for c in range(C): out[:,c,:]=(inp[:,c,:]-mean_list[c])/math.sqrt(var_list[c]+epsilon)# print(out.shape)# print(out)out1=outprint("-"*25)# 方法二:调用函数out=torch.nn.BatchNorm1d(C)(inp)# print(out)# print(out.shape)print(True in (out1==out))四、BatchNorm2d1.介绍

二维批量归一化:计算过程及调用方式同一维批量归一化,二者区别主要在于输入特征形状的变化。

torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)(same shape as input)2.实例import torch# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(2,3,5,6))print(inp)print(inp.shape)print('-'*20)out=torch.nn.BatchNorm2d(3)(inp)print(out)print(out.shape)
本文链接地址:https://www.jiuchutong.com/zhishi/295908.html 转载请保留说明!

上一篇:华为OD机试 - 租车骑绿岛(Java & JS & Python)(华为od机试题题库)

下一篇:页面访问升级出错怎么解决(页面访问升级出错怎么办)

  • 红米pro7pro信号出现问题(红米note7pro4g网速慢)

    红米pro7pro信号出现问题(红米note7pro4g网速慢)

  • 剪映如何剪视频(剪映如何剪视频音乐)

    剪映如何剪视频(剪映如何剪视频音乐)

  • 微信上微笑的表情代表什么(微信上微笑的表情是什么意思)

    微信上微笑的表情代表什么(微信上微笑的表情是什么意思)

  • 荣耀30s可以息屏显示时间吗(荣耀30s怎样设置灭屏显示)

    荣耀30s可以息屏显示时间吗(荣耀30s怎样设置灭屏显示)

  • 华为p40闹钟在哪里(华为p40闹钟在哪里设置音乐)

    华为p40闹钟在哪里(华为p40闹钟在哪里设置音乐)

  • 小米m1903f10a是什么型号(小米m1903f10g)

    小米m1903f10a是什么型号(小米m1903f10g)

  • soul为什么有些人不能私聊(soul为什么有些聊天要送礼)

    soul为什么有些人不能私聊(soul为什么有些聊天要送礼)

  • 手机遇冷没电怎么回事(手机太冷没电)

    手机遇冷没电怎么回事(手机太冷没电)

  • 抖音认证了为什么就没有流量了(抖音认证了为什么也开不了直播)

    抖音认证了为什么就没有流量了(抖音认证了为什么也开不了直播)

  • 路由器时好时坏怎么回事(路由器时好时坏是什么原因)

    路由器时好时坏怎么回事(路由器时好时坏是什么原因)

  • 什么软件可以发朋友圈长视频(什么软件可以发视频)

    什么软件可以发朋友圈长视频(什么软件可以发视频)

  • 抖音如何评论表情包(抖音如何评论表情包图片)

    抖音如何评论表情包(抖音如何评论表情包图片)

  • 荣耀20如何关闭后台(荣耀20如何关闭应用广告)

    荣耀20如何关闭后台(荣耀20如何关闭应用广告)

  • icloud储存空间满了会怎样(icloud储存空间满了对手机有影响吗)

    icloud储存空间满了会怎样(icloud储存空间满了对手机有影响吗)

  • 黑鲨2pro支不支持无线充电(黑鲨2pro支不支持NFC)

    黑鲨2pro支不支持无线充电(黑鲨2pro支不支持NFC)

  • 哈罗顺风车一天可以接多少订单(哈罗顺风车一天跑多少钱)

    哈罗顺风车一天可以接多少订单(哈罗顺风车一天跑多少钱)

  • 闲鱼上卖东西要注意什么(闲鱼卖东西要银行卡吗)

    闲鱼上卖东西要注意什么(闲鱼卖东西要银行卡吗)

  • 抖音注销后是已重置吗(抖音已经注销)

    抖音注销后是已重置吗(抖音已经注销)

  • oppo出5g手机了吗(oppo有5g的吗)

    oppo出5g手机了吗(oppo有5g的吗)

  • 快手明明只关注一个 怎么显示9个(快手明明关注了5个人怎么显示7个人)

    快手明明只关注一个 怎么显示9个(快手明明关注了5个人怎么显示7个人)

  • 有骚扰电话怎么处理(骚扰电话咋办)

    有骚扰电话怎么处理(骚扰电话咋办)

  • 蓝牙最高版本是多少(蓝牙最高版本是什么)

    蓝牙最高版本是多少(蓝牙最高版本是什么)

  • duilib丢失怎么办(duilib.dill丢失)

    duilib丢失怎么办(duilib.dill丢失)

  • 海浪冲击着悉尼海岸的一个心形岩石岛,澳大利亚 (© Kristian Bell/Getty Images)(海浪冲击着海岸)

    海浪冲击着悉尼海岸的一个心形岩石岛,澳大利亚 (© Kristian Bell/Getty Images)(海浪冲击着海岸)

  • 待认证进项税额和待抵扣进项税额的区别
  • 金税盘开票软件服务电话
  • 综合收入扣税
  • 中国注册税务师报考条件
  • 预收款增值税纳税义务发生时间与确认收入时间
  • 商业折扣影响主要因素有
  • 公司提供午餐的目的
  • 企业所得税能不能删除重新报
  • 怎么控制成本费用餐厅
  • 手工帐怎么登记
  • 结转税金为贷方怎么结转?
  • 房地产行业增值税筹划
  • 期初建账库存少录数量会计怎么处理
  • 车辆生产企业目录
  • 车间设备维修费计入制造费用吗
  • 社保企业二次扣款怎么扣
  • 企业所得税营业成本包括管理费用吗
  • 营改增的会计分录
  • 本月计错多发的工资可以不交个税
  • 如何看发票是否被抵扣
  • 增值税发票处理流程
  • 汇算清缴时费用占收入多少
  • 月末结转增值税附加税的账务处理
  • 应付职工薪酬所得税汇算清缴
  • 小规模查账征收增值税怎么算
  • 固定资产报多好还是报少好
  • 拍短视频服务费怎么算
  • 计提跌价准备会影响利润吗
  • 股份公司和有限公司工作哪个好一些
  • 企业所得税汇算清缴补缴税款分录
  • php验证码代码怎么写
  • php教程100
  • 补贴收入什么时候到账
  • thinkphp ide
  • 车辆赔偿款收条怎么写
  • php去除指定字符
  • 企业增值税的税收优惠有哪些
  • 高效刷题app
  • 简述SQL server管理器的功能
  • 一次性伤残补助金怎么查询进度
  • 揭秘如何投屏纽约时代广场
  • 未认证和未抵扣的区别
  • 计提工会经费会计凭证怎么做分录
  • 免税收入不征税收入计入收入总额吗
  • 动迁补偿金
  • 置换补贴算在优惠价里吗
  • 为取得固定资产而发生的什么支出可计入固定资产成本
  • 申购费从哪里扣
  • 计提印花税会计分录怎么写
  • 原材料运费如何入账
  • 分期付款购买商品如何定价
  • 公司固定资产明细表
  • 银行承兑汇票能拆分背书吗
  • 房地产企业发行长期债券的增信方式有哪些
  • sqlserver聚集索引和非聚集索引会不会改变原Id
  • win7玩游戏出现安全警报
  • 右键菜单管理 win10
  • vc运行程序
  • linux中more命令详解
  • win10运行win8程序
  • libegl.dll病毒
  • win10预览版21277
  • git打标签命令
  • javascript运用
  • 问题少年特训学校
  • js中的filter方法和map方法
  • jquery 字符串以什么开头
  • linux中shell命令
  • bat 参数个数
  • Node.js node-schedule定时任务隔多少分钟执行一次的方法
  • unity小游戏代码
  • websocket方法
  • windows,linux
  • Dojo Javascript 编程规范 规范自己的JavaScript书写
  • 济南市中区税务局办税大厅
  • 中华人民共和国成立于1949年10月1日到今年是多少周年
  • 最新印花税税目内容
  • 银行扣账户维护费会计分录
  • 车辆购置税查询怎么查
  • 上海各区财政收入排名
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设