位置: IT常识 - 正文

常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

编辑:rootadmin
常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、 归一化零、前言1.官网链接2.归一化公式3.介绍一、InstanceNorm1d1. 介绍2.实例二、InstanceNorm2d1. 介绍2.实例三、BatchNorm1d1.介绍2.实例四、BatchNorm2d1.介绍2.实例零、前言1.官网链接

推荐整理分享常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:归一化方法有哪些,详细说明其中两种原理,归一化lms,归一化方法有哪些,详细说明其中两种原理,归一化有什么用,归一化bn,归一化有什么用,归一化方法有哪些,详细说明其中两种原理,常见归一化方法,内容如对您有帮助,希望把文章链接给更多的朋友!

https://pytorch.org/docs/stable/nn.html#normalization-layers

2.归一化公式

函数内部实现其实就是严格完成上面图中的公式,其中E(x)表示均值或者期望,而Var(x)则表示对应的方差。

3.介绍常用归一化/正则化层:InstanceNorm1d、InstanceNorm2d、(归一化的几种方法)

批量归一化与实例归一化的最大区别在于计算均值及方差的依据不同,实例归一化是对每个样本沿着通道方向独立对各个通道进行计算,而批量归一化则是对所有样本沿着batch的方向对各个通道分别进行计算。 比如: 输入特征图形状为:(2,3,256,512),表示有两个256×512的特征图,特征图通道数为3,假设为RGB三个通道 1)实例归一化:

依次对样本1,样本2分别计算R、G、B三个通道的均值、方差,每次计算其实是对256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式;

2)批量归一化:

对整个批次的样本,对各个通道分别求出均值和方差,每次计算其实是对2×256×512个元素值记性计算;依据计算出的均值和方差,对各通道的元素实现图中的公式; 一、InstanceNorm1d1. 介绍

一维实例归一化:对一个批次中每个样本,依次按照通道计算对应的均值及均方差。

torch.nn.InstanceNorm1d( num_features,# 与输入特征的通道数保持一致 eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, L)Output: (N, C, L)2.实例import torchimport mathepsilon=1e-5N,C,L=2,3,5inp=torch.randint(5,size=(N,C,L),dtype=torch.float32)print(inp)print("-"*25)# 方法一:手动实现# 对每个样本计算各个通道的均值mean_list=[]for b in range(N): for c in range(C): mean_list.append(torch.sum(inp[b,c,:])/L)# 对每个样本计算各个通道的方差var_list=[]for b in range(N): for c in range(C): # var_list.append(torch.var(inp[b,c,:]*(L-1)/L)) var_list.append(torch.var(inp[b,c,:]))print(mean_list)print(var_list)# 归一化out=torch.zeros_like(inp)# print(len(inp[0,0,:]))# print(out.shape)for b in range(N): for c in range(C): index=b*C+c out[b,c,:]=(inp[b,c,:]-mean_list[index])/math.sqrt(var_list[index]+epsilon)# print(out.shape)print(out)print("-"*25)# 方法二:调用函数out1=torch.nn.InstanceNorm1d(C)(inp)print(out1)二、InstanceNorm2d1. 介绍

二维实例归一化:计算过程及调用方式同一维实例归一化,二者区别主要在于输入特征形状的变化。

torch.nn.InstanceNorm2d(num_features, # 与输入特征的通道数保持一致eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)2.实例import torchimport math# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(1,3,2,2))print(inp)print(inp.shape)print('-'*20)out=torch.nn.InstanceNorm2d(3)(inp)print(out)print(out.shape)三、BatchNorm1d1.介绍

一维批量归一化:其实还是实现前言中介绍的公式,但与实例归一化的最大区别在于计算均值及方差的依据不同。

torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None,dtype=None)Input: (N,C,L), where N is the batch size, C is the number of features or channels, and L is the sequence lengthOutput: (N,C,L) (same shape as input)2.实例import torchimport mathepsilon=1e-5N,C,L=128,3,512inp=torch.randn(size=(N,C,L))# 方法一:手动实现# 沿着batch计算各个通道的均值mean_1, mean_2, mean_3 = torch.sum(inp[:,0,:])/(N*L), torch.sum(inp[:,1,:])/(N*L), torch.sum(inp[:,2,:])/(N*L)mean_list=[mean_1, mean_2, mean_3 ]# 沿着batch计算各个通道的方差var_1, var_2, var_3 = torch.var(inp[:,0,:]), torch.var(inp[:,1,:]), torch.var(inp[:,2,:])var_list=[var_1, var_2, var_3 ]print(mean_list,var_list)# 归一化out=torch.zeros_like(inp)for c in range(C): out[:,c,:]=(inp[:,c,:]-mean_list[c])/math.sqrt(var_list[c]+epsilon)# print(out.shape)# print(out)out1=outprint("-"*25)# 方法二:调用函数out=torch.nn.BatchNorm1d(C)(inp)# print(out)# print(out.shape)print(True in (out1==out))四、BatchNorm2d1.介绍

二维批量归一化:计算过程及调用方式同一维批量归一化,二者区别主要在于输入特征形状的变化。

torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None, dtype=None)Input: (N, C, H, W)Output: (N, C, H, W)(same shape as input)2.实例import torch# shape=(N,C,H,W),N表示样本批次大小,H/W表示该特征图高/宽,C表示每个特征元素对应几个通道inp=torch.randn(size=(2,3,5,6))print(inp)print(inp.shape)print('-'*20)out=torch.nn.BatchNorm2d(3)(inp)print(out)print(out.shape)
本文链接地址:https://www.jiuchutong.com/zhishi/295908.html 转载请保留说明!

上一篇:华为OD机试 - 租车骑绿岛(Java & JS & Python)(华为od机试题题库)

下一篇:页面访问升级出错怎么解决(页面访问升级出错怎么办)

  • 苹果手机的屏幕录制在哪里(苹果手机的屏幕是哪个公司生产的)

    苹果手机的屏幕录制在哪里(苹果手机的屏幕是哪个公司生产的)

  • 能不能一边充电一边玩(能不能一边充电宝充电一边手机充电)

    能不能一边充电一边玩(能不能一边充电宝充电一边手机充电)

  • 手机忽然扬声器声音沙沙响(手机扬声器突然不响了)

    手机忽然扬声器声音沙沙响(手机扬声器突然不响了)

  • 语音通话一小时消耗多少流量(语音一个小时)

    语音通话一小时消耗多少流量(语音一个小时)

  • 苹果手机照片打不开咋回事(苹果手机照片打码怎么弄)

    苹果手机照片打不开咋回事(苹果手机照片打码怎么弄)

  • 直播为什么要用转换器(直播为什么要用绿布)

    直播为什么要用转换器(直播为什么要用绿布)

  • 售后检测手机伤手机吗(售后检测对手机好不好)

    售后检测手机伤手机吗(售后检测对手机好不好)

  • 小米手表能连其他手机吗(小米手表可以连接)

    小米手表能连其他手机吗(小米手表可以连接)

  • 魅族m621q是什么型号(魅族手机m621q是什么型号)

    魅族m621q是什么型号(魅族手机m621q是什么型号)

  • 呼叫转移是拉黑了吗(呼叫转移是拉黑名单了吗)

    呼叫转移是拉黑了吗(呼叫转移是拉黑名单了吗)

  • 手机充电器不是原装对手机有影响吗(手机充电器不是闪充了怎么办)

    手机充电器不是原装对手机有影响吗(手机充电器不是闪充了怎么办)

  • 苹果电脑除号是哪个键(苹果电脑的除号是哪一个键)

    苹果电脑除号是哪个键(苹果电脑的除号是哪一个键)

  • 中国移动卡怎么升级5g(中国移动卡怎么激活使用)

    中国移动卡怎么升级5g(中国移动卡怎么激活使用)

  • oppor17长宽高多少cm(oppor17的长度)

    oppor17长宽高多少cm(oppor17的长度)

  • 图形化用户接口的英文缩写是(图形化的用户界面)

    图形化用户接口的英文缩写是(图形化的用户界面)

  • 手机屏幕自己可以换吗(手机屏幕自己可以修吗)

    手机屏幕自己可以换吗(手机屏幕自己可以修吗)

  • 快手登不上怎么办(快手登不上怎么解绑手机号)

    快手登不上怎么办(快手登不上怎么解绑手机号)

  • qq举报别人会被知道吗(qq举报别人会被发现吗)

    qq举报别人会被知道吗(qq举报别人会被发现吗)

  • 什么属于第三方应用(什么属于第三方软件)

    什么属于第三方应用(什么属于第三方软件)

  • 开热点老被别人蹭怎么办(开启热点会让别人盗号吗)

    开热点老被别人蹭怎么办(开启热点会让别人盗号吗)

  • 抖音客服怎么联系(抖音客服怎么联系在线客服)

    抖音客服怎么联系(抖音客服怎么联系在线客服)

  • 美团近期账单怎么删除(美团app账单)

    美团近期账单怎么删除(美团app账单)

  • oppor9tm有呼吸灯吗(oppor9手机呼吸灯在哪里设置)

    oppor9tm有呼吸灯吗(oppor9手机呼吸灯在哪里设置)

  • 苹果手表4怎么睡眠检测(苹果手表4怎么删除微信聊天记录)

    苹果手表4怎么睡眠检测(苹果手表4怎么删除微信聊天记录)

  • 企业微信如何打卡(企业微信如何打卡定位)

    企业微信如何打卡(企业微信如何打卡定位)

  • 电脑卡的动不了怎么办(电脑卡的动不了怎么关机)

    电脑卡的动不了怎么办(电脑卡的动不了怎么关机)

  • 电信apn接入点设置(电信apn接入点设置+最快)

    电信apn接入点设置(电信apn接入点设置+最快)

  • [Chrome插件开发]监听网页请求和响应(chrome插件开发拦截ajax)

    [Chrome插件开发]监听网页请求和响应(chrome插件开发拦截ajax)

  • 企业所得税季度申报表怎么填
  • 出口报关单运费小于实际运费
  • 减免税额和抵免税额在什么时候扣除
  • 框架合同有合同金额吗
  • 发票税号不对还能报销吗
  • 所得税在什么情况下扣除
  • 鉴证服务的税率有哪些
  • 权益筹资额计算公式
  • 公司对公账户限额吗
  • 提供给员工宿舍租赁 入账
  • 商业银行退出
  • 出口退税是退进项
  • 小规模转为一般纳税人最新规定
  • 装修公司在装修完后增加费用
  • 转出未交增值税怎么算
  • 普通征税差额征税减按征税
  • 监理费该谁出
  • 收到银行利息会计分录怎么做账
  • 稽查查补的税款可以享受即征即退吗
  • 企业短期投资交增值税吗
  • 个人所得税合并申报
  • 公司年度财务报告怎么写
  • mac电脑因问题而重新启动
  • win10ie浏览器没有internet选项
  • 系统备份工具
  • 美团提现手续费入哪个会计科目
  • 广度优先算法代码
  • 分次发放年终奖怎么做账
  • 贝纳克波斯图干红葡萄酒
  • 幼儿园会计需要什么条件
  • 备用金支出没有发票怎么办
  • Chatgpt私有化部署(全流程)
  • 阿里通义千问官网
  • vuex五个核心概念
  • 深入node.js技术栈
  • php原生类
  • 红字发票账务处理
  • 逾期未退押金是否确认收入
  • 暂估的会计处理
  • python中的count函数
  • 附表一般写在哪
  • 有限合伙企业的执行事务合伙人
  • python第三方库安装教程
  • 己经认证的发票怎么作废
  • 汽车维修行业工时标准
  • 增值税专用发票上注明的价款含税吗
  • 购买的矿泉水能卖吗
  • 直接计入所有者权益的利得和损失
  • 限定性资产的限定条件包括
  • 坏账准备的账务处理会计分录
  • 员工出差报销补贴政策
  • 待认证进项税怎么转出
  • 企业如何进行利润分配的会计处理
  • 福利费可以直接发钱吗
  • 违约投标保证金多少
  • 手续费和利息费用的区别
  • 哪些发票可以报账
  • 科目怎么写?
  • 工会经费交纳
  • MySql5.6使用validate password 插件加强密码强度的安装及使用方法
  • mysql 正则表达式 是否包含字母
  • windows自带截图保存在哪里
  • freebsd11.3安装教程
  • Ubuntu 15.04系统怎么清理的系统垃圾文件?
  • ubuntu下安装win10
  • 获取windows的最新信息
  • winxp系统怎么安装
  • grep的结果 再次查找
  • unity3d总结
  • linux中unzip解压完看不到文件
  • Python 数据清洗
  • jquery中的事件
  • jquery设置滚动条
  • python 异常处理方法
  • 农村集体土地承包法
  • 深圳买新房契税一般什么时候交比较好
  • 教师票优惠需要交税吗
  • 国家税收返还政策有哪些
  • pcie3.0*4接口
  • 成品油进货
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设