位置: IT常识 - 正文

残差网络(Residual Network,ResNet)原理与结构概述(残差网络中的残差指的是什么)

编辑:rootadmin
残差网络(Residual Network,ResNet)原理与结构概述

推荐整理分享残差网络(Residual Network,ResNet)原理与结构概述(残差网络中的残差指的是什么),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:残差网络结构,残差网络的原理,残差网络层数,残差网络层数,残差网络的原理,残差网络的原理,残差网络中的残差指的是什么,残差网络中的残差指的是什么,内容如对您有帮助,希望把文章链接给更多的朋友!

  残差网络是为了解决模型层数增加时出现梯度消失或梯度爆炸的问题而出现的。传统的神经网络中,尤其是图像处理方面,往往使用非常多的卷积层、池化层等,每一层都是从前一层提取特征,所以随着层数增加一般会出现退化等问题。残差网络采取跳跃连接的方法避免了深层神经网络带来的一系列问题。

一:对模型原理与优点的理解

  首先,我们把网络层看成是映射函数。(1)在传统的前馈网络中,网络中堆叠的层可以将输入x映射为F(x),这一整体网络的输出为H(x),F(x)=H(x)。但是对于恒等映射函数f(x)=x,即网络的输入与输出相等,直接让这样的层去拟合这样的恒等映射函数会很困难,不过f(x)=0还是比较容易训练拟合的。(2)所以我们可以让输出H(x)=F(x)+x,这样如果整体网络H(x)需要是恒等映射,只需要把堆叠层拟合成F(x)=0即可。

  从另一角度考虑,在以往的网络中,都试图通过堆叠不同的层找到可将输入x映射为输出H(x)的函数,而残差网络的目的并不是学习x到H(x)的映射,而是x与H(x)的不同,这也正是“残差”一词名称由来。残差F(x)=H(x)-x,所以我们尝试学习F(x)+x,而不是像(1)直接学习H(x)。(这样解释或许有些牵强,但事实的确如此。)

  当然,还有一种说法是拟合H(x)-x与(1)中那样直接拟合F(x)相比更简单,这和开始部分提到的恒等映射函数不好优化这种说法是一致的。

  对于模型优点原理的各种解释并不是模型的重心,毕竟这些解释建立在实验事实之上,如果这样的模型并不理想,一切解释都是徒劳的,不过这些内容有助于我们对这一类网络的构想过程的理解。

二:模型结构

  ResNet的种类是很多的,如ResNet-18,ResNet-34,ResNet-50,ResNet-101,ResNet152等。但是它们的基本结构都是相同的——由多层相同的ResNet block重复堆叠而成。ResNet block特点是由若干层网络(这里表示为Layers)组成,输出为网络的输出与输入的加和。

残差网络(Residual Network,ResNet)原理与结构概述(残差网络中的残差指的是什么)

 上图表示一个ResNet block,下图为重复的结构。

 这里的加是两个张量相加。所以我们要保证x与layers后的输出形状相同,否则无法相加。这取决于Layers内部结构。在图像处理方面,常用的是采取卷积核为3,padding为1的两个卷积层处理,这样可以不改变张量形状。

  当然,理论上ResNet block只要保证输出形状与输入形状相同即可。所以我们可以根据实际需要以及卷积层、池化层等输出输入维度计算公式来设计ResNet block。但是一般ResNet block内部不会有太多结构,毕竟一般都是用它来实现深层网络,使用时一般会使用几个或数十个这样的block。

三:ResNet block的其它结构

  (二)中讲解的结构是最ResNet block中最基本的一种,即输入与输出直接相加。但实际的连接方式可以是多种多样的。在百度百科中介绍有以下六种,其中的a对应前面(二)。后面的五种虽然稍显复杂,但总体结构基本相同,最终也都是形状相同的张量相加。

三:关于跳跃连接(skip connection),残差连接(residual connection)与捷径连接(shoutcut connection)的一些问题

  这几个词在ResNet、Inception、DenseNet等文章中很常见。兔兔在前面只是说输入与输出相加,实际这个过程就是连接。有人说只要是模型内两个位置的连接即为跳跃连接,跳跃连接(skip connection)是很广泛的概念;残差连接(residual connection)是残差网络中的跳跃连接,也就是跳跃连接在残差网络中叫做残差连接(毕竟残差网络有一特点,所有的连接都是有规律的,是一块一块地连接)。而捷径连接(shortcut connection)可以理解为绕过中间的层去和后面输出连接,本质上体现的也是残差连接这个过程;也有人说捷径连接这个称呼可以理解为跳跃连接和残差连接最早定义,当时还是上个世纪,人工智能发展缓慢,人们使用这种连接主要用于全连接层网络;但是目前来看,这三种东西是用一个事物的不同称呼,只不过侧重点不同而已。

四:算法实现

如果直接使用ResNet模型,可以调用torchvision库。

from torchvision.models.resnet import resnet18resnet18=resnet18()print(resnet18)

上述代码可以查看模型内部结构,并且该模型可以直接进行训练,或者作为其它网络的一部分。

下面兔兔以(二)为例,简要地实现该部分,代码如下。

from torch import nnfrom torch.nn import functional as Fclass ResNetBlock(nn.Module): def __init__(self): super(ResNetBlock, self).__init__() self.conv1=nn.Conv2d(kernel_size=3,in_channels=4,out_channels=3,padding=1) self.conv2=nn.Conv2d(kernel_size=4,in_channels=3,out_channels=3,padding=1) self.bn1=nn.BatchNorm2d(4) self.bn2=nn.BatchNorm2d(3) def forward(self,input): x0=input x=F.relu(self.bn1(self.conv1(x0))) x=self.bn2(self.conv2(x)) x=x+x0 return x0class ResNet(nn.Module): def __init__(self,n_blocks): super(ResNet, self).__init__() self.n_blocks=n_blocks self.resnet_block=ResNetBlock() def forward(self,input): for i in range(self.n_blocks) x=self.resnet_block(input) input=x return input五:总结

  ResNet内部使用多个具有残差连接的残差块来解决梯度消失或梯度爆炸问题,并使得网络可以向更深层发展。

本文链接地址:https://www.jiuchutong.com/zhishi/299882.html 转载请保留说明!

上一篇:Vue知识点总结(vue知识点汇总)

下一篇:搭建Pytorch环境(pytorch的环境配置)

  • vivo手机怎么改字体(vivo手机怎么改软件图标)

    vivo手机怎么改字体(vivo手机怎么改软件图标)

  • 主板开机00点不亮(主板一直点不亮)

    主板开机00点不亮(主板一直点不亮)

  • 腾讯新闻微信登录失败(腾讯新闻微信登录怎么不能选择账号)

    腾讯新闻微信登录失败(腾讯新闻微信登录怎么不能选择账号)

  • wps表格如何查找指定内容(wps表格如何查找重复的名字)

    wps表格如何查找指定内容(wps表格如何查找重复的名字)

  • 官方收款码和二维码收款有什么区别(微信官方收款码和二维码收款有什么区别)

    官方收款码和二维码收款有什么区别(微信官方收款码和二维码收款有什么区别)

  • melsoft是什么软件(mer是什么软件)

    melsoft是什么软件(mer是什么软件)

  • 苹果8p微信能上锁吗(苹果8p微信上锁怎么设置)

    苹果8p微信能上锁吗(苹果8p微信上锁怎么设置)

  • 苹果手机闹钟稍后提醒间隔怎么设置?(苹果手机闹钟稍后提醒间隔时间能改吗)

    苹果手机闹钟稍后提醒间隔怎么设置?(苹果手机闹钟稍后提醒间隔时间能改吗)

  • 苹果13.3.1系统怎么设置来电闪光灯(苹果13.6系统怎样)

    苹果13.3.1系统怎么设置来电闪光灯(苹果13.6系统怎样)

  • 上传附件是什么意思(什么叫上传附件)

    上传附件是什么意思(什么叫上传附件)

  • 华为荣耀6plus是不是全网通(华为 荣耀 6 plus)

    华为荣耀6plus是不是全网通(华为 荣耀 6 plus)

  • 计算机内存容量单位(计算机内存容量的大小一般是指)

    计算机内存容量单位(计算机内存容量的大小一般是指)

  • 苹果7p手机闪退是什么原因(iphone 7p 闪退)

    苹果7p手机闪退是什么原因(iphone 7p 闪退)

  • 微机主板上装有什么(微机的主板)

    微机主板上装有什么(微机的主板)

  • 怎样更改微信个性签名(怎样更改微信个人资料中的地区)

    怎样更改微信个性签名(怎样更改微信个人资料中的地区)

  • wps怎么画表格线(wps怎么画表格线和表格线)

    wps怎么画表格线(wps怎么画表格线和表格线)

  • dubaloo华为什么型号(dubal00是华为什么型号dub_aloo)

    dubaloo华为什么型号(dubal00是华为什么型号dub_aloo)

  • 7p32g够用吗(7p32g内存够用吗)

    7p32g够用吗(7p32g内存够用吗)

  • 华为手机为什么贵(华为手机为什么变成黑白屏了)

    华为手机为什么贵(华为手机为什么变成黑白屏了)

  • 部分图表类型不能与其他图表类型组合(部分图表类型不能与其他图表类型组合ppt)

    部分图表类型不能与其他图表类型组合(部分图表类型不能与其他图表类型组合ppt)

  • qq影音如何添加字幕(qq影音如何添加视频)

    qq影音如何添加字幕(qq影音如何添加视频)

  • 0pp0手机是哪个国家的(0pp0手机哪个型号手机值得购买)

    0pp0手机是哪个国家的(0pp0手机哪个型号手机值得购买)

  • 微信如何用网名添加好友(用微信名字怎么样可以找到微信号)

    微信如何用网名添加好友(用微信名字怎么样可以找到微信号)

  • oppor17密码和指纹都忘记了(oppor17手机密码)

    oppor17密码和指纹都忘记了(oppor17手机密码)

  • 红米note5充电慢怎么解决(红米note 5充电)

    红米note5充电慢怎么解决(红米note 5充电)

  • 苹果电脑Macbook键盘灯怎么打开或关闭(苹果电脑macbookpro使用教程)

    苹果电脑Macbook键盘灯怎么打开或关闭(苹果电脑macbookpro使用教程)

  • 所得税汇算清缴账务处理
  • 所得税汇算补提所得税会计分录
  • 个人所得税一般多久能退下来
  • 减免增值税计入
  • 个税手续费返还比例
  • 事业单位不用纳税吗
  • 采购的固定资产验收无误后直接安装使用
  • 一次性分红到期还本的会计分录
  • 社保免征还需要申报吗
  • 发票可用时间
  • 企业所得税汇总纳税分配比例
  • 发生销售退回如何开票
  • 公司开承兑需要多长时间
  • 红冲上月的其他应收款凭证怎么做?
  • 货币资金主要内容
  • 提成工资可以扣发吗?
  • 合同开票金额一定等于合同额吗
  • 快递费可以抵扣进项税额吗
  • 定期定额自行申报表计税依据
  • 企业汇算清缴后税务局会不会查
  • 长期待摊会计处理
  • 办公室房租计入什么科目
  • 出口报关和不报关的区别
  • 修叉车这个工作怎么样
  • 筹建期的餐饮费会计分录
  • 长期股权投资溢价购入
  • win7操作系统激活
  • 暂估成本跨年怎么算
  • 外经证预缴税款必须去外地交税吗
  • php开源软件
  • php 钩子
  • 苹果mac修改用户名和密码
  • 关于怀孕在线咨询
  • 如何清除苹果手机6s垃圾
  • php数组函数大全
  • 苹果a1530是什么
  • loadprofiles什么意思
  • 取得交易性金融资产的交易费用
  • 金蝶利润表主营业务成本公式
  • burp怎么安装
  • datetime2(7)
  • es6对象扩展运算符
  • 公允价值变动损益
  • 计提工资后面附什么
  • php_fileinfo不支持
  • 税收筹划类型有哪几种
  • 工会经费上缴流程
  • 银行借记和贷记一样吗
  • SQL2005 自动备份的脚本
  • 风险纳税人认定条件2020
  • 资金退回怎么记账
  • 建安企业增值税预缴
  • 库存商品核算
  • 未分配利润转增股本要交税吗怎么交
  • 资产负债表中的货币资金怎么算
  • 采购人员垫付怎么入账
  • 三栏式明细账适用于原材料吗
  • sql注入修补方法
  • sql中将数据放到另一个表中
  • sqlserver高级教程
  • asp 分页
  • ssms连接mysql
  • windowsxp休眠设置
  • ubuntu /opt
  • centos6 dhcp
  • mac文本软件
  • 如何删除win7系统
  • win7主要有哪些内容
  • centos做服务器
  • 列举linux常用的几个命令
  • ExtJS4 动态生成的grid导出为excel示例
  • bootstrap需要学多久
  • 批处理执行bat文件
  • delect删除
  • javascript 日期
  • canvas+javascript
  • 如何用jquery
  • 河南省发票查询真伪
  • 科级干部试用期一年转正流程
  • 报考地税局的要求是什么
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设