位置: IT常识 - 正文

Repvgg详解及其实现(pytorch)(rep p)

编辑:rootadmin
Repvgg详解及其实现(pytorch)

推荐整理分享Repvgg详解及其实现(pytorch)(rep p),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:rep p,rep p,rep l,rep+,rep l,rep vgg,repli-g,rep+,内容如对您有帮助,希望把文章链接给更多的朋友!

论文下载地址:https://arxiv.org/abs/2101.03697

官方源码(Pytorch实现):GitHub - DingXiaoH/RepVGG: RepVGG: Making VGG-style ConvNets Great Again

写这边博客也是为了做一个记录,如果有错误或者不足,请各位大佬提出。

repvgg参考了博主:太阳花小绿豆的博客地址如下:

(19条消息) RepVGG网络简介_太阳花的小绿豆的博客-CSDN博客

在开始前简单说一下我的理解repvgg到底再做什么,我用简单的话来说就是设计了一个可融合的网络,在模型的推理的时候将含有多分支的模型转化为单分支的结构,加快推理的速度。

 再论文中作者给出了一个对比,repvgg的网络再imagenet上表现不错,而且在相同准确率下推理速度已经接近Efficientnet的三倍,这就得益于它的多分支融合的技术,听上去高大上其实还是很简单的。

废话不多说直接上图:

原论文中的结构图很直观的展示了repvgg到底是什么意思,对比Resnet它仍然有着类似残差的结构,就是在3*3的卷积基础上弄了一个1*1的分支和一个identity分支(在步长不等于2且输入输出通道相等的情况下),这样除了方便推理过程的融合,似乎还有多分支的好处,因为有丰富的梯度信息(狗头保命),但是这好像会在训练时增加参数量,但是推理速度快就ok了。

具体融合的过程结合论文中给出来的图去讲解:

假设你的输出和输入通道都是2,那么对于3*3的卷积就有两个通道为2的3*3的卷积核,1*1也一样,就像图中四个绿色的方框和四个橙色的方框,对于BN层来说,里面有,这几个参数具体来说就是均值,方差,权重,偏置,他们也和通道的输入维度保持一致,融合的步骤就是卷积操作和BN层分别进行融合,主要需要改变的还是1*1的卷积如何变成3*3的卷积,identity分支怎么转换成3*3的模样。到这里可能会有质疑这种融合后能和以前一样吗,那么我们从公式入手:

Repvgg详解及其实现(pytorch)(rep p)

图中我们以2*2卷积为例,为了保持输入与输出同尺寸,黑色的一圈为padding,我们只计算出第一个特征点的值对于第一个特征点,我们将值带入BN的计算公式:

这里是一个极小的数防止分母为0将BN公式转变一下就变成:

那么我们如果不要融合conv和bn是不是就可以把参数项直接乘到卷积核的权重里去,我们普通卷积是没有偏执的,然后剩下的作为偏执加载到融合后的conv中:

                       

这样我们就将conv与bn融合,接下来让我们看看代码中是怎么完成的:

def _fuse_bn_tensor(self, branch): if branch is None: return 0, 0 if isinstance(branch, nn.Sequential): kernel = branch[0].weight running_mean = branch[1].running_mean running_var = branch[1].running_var gamma = branch[1].weight beta = branch[1].bias eps = branch[1].eps else: assert isinstance(branch, nn.BatchNorm2d) if not hasattr(self, "id_tensor"): input_dim = self.in_channels // self.groups kernel_value = np.zeros( (self.in_channels, input_dim, 3, 3), dtype=np.float32 ) for i in range(self.in_channels): kernel_value[i, i % input_dim, 1, 1] = 1 self.id_tensor = torch.from_numpy(kernel_value).to(branch.weight.device) kernel = self.id_tensor running_mean = branch.running_mean running_var = branch.running_var gamma = branch.weight beta = branch.bias eps = branch.eps std = (running_var + eps).sqrt() t = (gamma / std).reshape(-1, 1, 1, 1) return kernel * t, beta - running_mean * gamma / std

 这里函数接收的是一个nn.Sequential(),里面是一个卷积操作以及一个bn层,我们依次取出卷积的weight,以及bn层的各个参数,然后在下面放回计算后的weight,bias,这里代码中else是当传入的是identity分支时,也就是只有BN层的时候,我们要构造出一个3*3的卷积,这里不像1*1的卷积我们只需要padding一圈0就可以了,identity分支需要特殊的构造方式,要求卷积操作后,输入不变,文中作者是这样做的:

设计卷积核只有中间为1,其余一圈0,这样卷积完成后和输入特征值没有发生变化,在代码中是这样实时的:

else: assert isinstance(branch, nn.BatchNorm2d) if not hasattr(self, "id_tensor"): input_dim = self.in_channels // self.groups kernel_value = np.zeros( (self.in_channels, input_dim, 3, 3), dtype=np.float32 ) for i in range(self.in_channels): kernel_value[i, i % input_dim, 1, 1] = 1 self.id_tensor = torch.from_numpy(kernel_value).to(branch.weight.device)

 先构造一个全为0的卷积核然后在相应位置复值1.

我们依次将三个分支卷积层和BN层的参数全部取出来然后相加:

def get_equivalent_kernel_bias(self): kernel3x3, bias3x3 = self._fuse_bn_tensor(self.rbr_dense) kernel1x1, bias1x1 = self._fuse_bn_tensor(self.rbr_1x1) kernelid, biasid = self._fuse_bn_tensor(self.rbr_identity) return ( kernel3x3 + self._pad_1x1_to_3x3_tensor(kernel1x1) + kernelid, bias3x3 + bias1x1 + biasid, )

这样我们就获得了融合后的3*3卷积的bias和weight,最后先创建一个3*3卷积但是bias要设置为Ture,然后我们将准备好的weight和bias加载到这个3*3卷积层中:

def fuse_conv_bn(self, conv, bn): kernel, bias = self.get_equivalent_kernel_bias() conv = nn.Conv2d(in_channels = conv.in_channels, out_channels = conv.out_channels, kernel_size = conv.kernel_size, stride=conv.stride, padding = conv.padding, dilation = conv.dilation, groups = conv.groups, bias = True, padding_mode = conv.padding_mode) conv.weight = torch.nn.Parameter(kernel) conv.bias = torch.nn.Parameter(bias) return conv

这样我们就将三个分支融合成了一个分支,这样的在推理的时候就会非常快,而且很省内存

更快的话主要就是像这种最后要有一个add操作,1*1和这个identity分支肯定是率先完成的,但是就算它完成了也要等3*3卷积操作结束后才能释放当前算力,如果融合后就只需要通过一个3*3卷积就可以了,还有一种解释是每当此启动kernel都是需要消耗时间的,相比之下一条路直接下来显然更快。

 原文中的意思是像这残差分支,会一直占用1x的内存,直到add操作后才会释放,所以repvgg提出的参数重构化就很好的解决了推理时的内存占用和推理速度等方面。目前repvgg的结构已经被应用与很多任务中,就拿今年的目标检测任务中,从PP-YOLOE,到yolov6和yolov7都应用这种结构,让部署更容易,检测效果间接提升,相信在以后的任务中repvgg依然可以发光。

本文链接地址:https://www.jiuchutong.com/zhishi/297370.html 转载请保留说明!

上一篇:SwinIR实战:详细记录SwinIR的训练过程

下一篇:Vue3中使用hooks,hooks究竟是个啥?如何理解(vue3 hooks实现)

  • 税务行政诉讼是由税务机关进行审理并作出裁决
  • 补报以前年度收入后当年所得税怎么处理
  • 增值税专用发票抵扣期限
  • 年末为什么要结转应付现金股利
  • 第四季度报表和年度报表一样吗
  • 税控系统技术维护费可以抵扣吗
  • 向投资者支付的股息红利等权益性投资收益款项
  • 出口业务退税流程资料
  • 新办企业能否享受留抵退税
  • 新个税劳务费税率怎么算
  • 商品折扣促销方式的会计处理如何做?
  • 普票开票开给个人怎么开
  • 罚息 增值税
  • 财税201617号文
  • 通讯费补贴如何领取
  • 企业发放工资时,可能涉及的会计科目有
  • 开专票需要备注吗
  • 挖掘机折旧怎么计算
  • 残保金每年什么时候申报缴纳
  • 销售应税产品分录
  • 包装物租金怎么算
  • 废旧物资收购发票
  • 利息收入营业收入
  • 华为鸿蒙系统如何关闭hd通话
  • fontcreator字间距
  • 融资租赁固定资产会计处理
  • 检验费用会计分录
  • macbookprofacetime
  • PHP:apache_response_headers()的用法_Apache函数
  • 员工垫付的钱会计分录
  • php配置文件的名字是
  • 解决口苦最快的方法
  • 股权转让企业所得税怎么算
  • 企业如何避免纳税问题
  • 未认证用户是什么意思
  • 信用减值损失在借方是增加还是减少
  • 开的发票超过了限额会怎样,怎么办?
  • img标签怎么写
  • php uniqueid
  • 微信小程序设计规范(官方)文档
  • vue2 mixin
  • 前端 自动化脚本 怎么写
  • 零基础舞蹈培训
  • jquery弹出层插件
  • 收到工程款怎么做凭证
  • 金税三期开票流程
  • 小规模收到成本发票分录
  • 筹建期工会经费怎么算
  • 会员卡怎样批量生成
  • sql server 数据库技术
  • db2入门
  • 会计报表编制基本要求
  • 收员工伙食费会计分录
  • 提取法定盈余公积会影响留存收益吗
  • 税控服务费减免月底怎样结转
  • 公司注销后违法行为追究吗
  • 存量资金上缴财政怎么做账
  • 家电销售范围包括哪些
  • 预付账款科目的余额如果在借方,则在资产负债表上
  • 工程行业收到工程发票
  • 食品企业生产成本管理的案例分析
  • 企业什么情形必须签无固定期限合同
  • 产品成本核算方法受那些因素影响
  • MySQL下载安装视频
  • microsoft window vista
  • 如何配置samba配置文件
  • ntldr.exe - ntldr
  • win8破解密码开机密码
  • linux 配置中文
  • win8应用商店废了
  • win7系统电脑蓝牙在哪里
  • linux中的top命令
  • unity做app开发
  • jquery插件怎么用到自己的网站
  • 刀具路径轨迹模拟
  • jquery自定义的方法有哪些
  • 面向对象的程序设计语言是
  • javascript面向对象编程指南
  • 企业税收怎么收
  • 贵州泉源会计服务有限公司花溪店位置
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设