位置: IT常识 - 正文

深度学习论文精读[6]:UNet++

编辑:rootadmin
深度学习论文精读

推荐整理分享深度学习论文精读[6]:UNet++,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

UNet的编解码结构一经提出以来,大有统一深度学习图像分割之势,后续基于UNet的改进方案也经久不衰,一些研究者也在从网络结构本身来思考UNet的有效性。比如说编解码网络应该取几层,跳跃连接是否能够有更多的变化以及什么样的结构训练起来更加有效等问题。UNet本身是针对医学图像分割任务而提出来的网络结构,该任务不像自然图像分割,对分割精度要求并不是十分严格。但对于医学图像而言,器官和病灶的分割则要求极高的精确性,因为很多时候分割效果的好坏直接关系到对应的临床诊断决策。出于上述两个方面的动机,即设计更好的UNet结构和提升医学图像分割的精度,相关研究者提出了一种嵌套的UNet结构(Nested UNet),也叫UNet++,提出UNet++的论文为UNet++: A Nested U-Net Architecture for Medical Image Segmentation,发表于2018年的医学图像计算和计算机辅助干预(Medical Image Computing and Computer Assisted Intervention,MICCAI)会议上。

UNet++取名为嵌套的UNet,就在于其整体编解码网络结构中还嵌套了编解码的子网络(sub-networks),在此基础上重新设计UNet中间的跳跃连接,并补充了深监督机制加速网络训练收敛。完整的UNet++结构如下图所示。

图中黑色部分为原始的UNet结构,包括编码器下采样、解码器上采样和黑色虚线的跳跃连接三个部分;绿色部分即嵌套的UNet子网络,包括卷积和上采样两部分,而蓝色虚线部分就是UNet++重新设计后的跳跃连接,这部分跟DenseNet的密集连接类似,这里是为子网络提供跳跃连接;最上面红黑连线则是UNet++补充的深监督机制,目的是为了网络能够顺利得到训练。

下面我们从结构设计的角度来对UNet++进行解读。关于UNet结构,最首要的问题就是网络应该有几层,原始的UNet结构用了4层下采样和4层上采样,那么是不是4层就足以满足所有的分割任务需要?答案是否定的。通过本节之前的网络结构分析,我们已经知道,浅层网络能够提取图像粗粒度特征,获取图像基本形态;深层网络能够提取图像的抽象特征,获取图像语义信息,总之浅有浅的侧重,深有深的好处。同之前RefineNet的观点一样,UNet++的作者认为,不管是浅层、深层还是中层,所有层次的特征对于最后的分割都是重要的。有的数据分割任务简单,图像信息单一,可能浅层网络就足以达到很好的效果,而有的数据任务复杂,图像信息丰富,可能需要更深层的网络结构才能达到不错的效果,之前的UNet结构设计很难同时照顾到这种普适性。而UNet++通过设计不同深度的嵌套UNet子网络来实现这种普适性,所以UNet的深度到这里就解决了。

第二个问题则是加入不同深度的嵌套网络后,跳跃连接部分该如何调整。在UNet中,跳跃连接由同层编码器直连到编码器上采样对应层。但加入嵌套子网络后,UNet中原先的长连接就不复存在了,取而代之的是各子网络中的短连接。UNet++的作者们认为,长连接在UNet中是有必要的,能够将图像中前后信息联系起来,对于下采样造成的信息损失有很好的补充作用。所以,UNet++又参考DenseNet的密集连接设计,给嵌套网络补充了长连接,如下图5所示。

但是这样又带来了第三个问题:反向传播的时候中间部分可能会收不到由损失函数反传回来的梯度。所以见招拆招,UNet++又通过深监督的方法来强行加梯度,帮助网络正常进行训练。但深监督对于UNet++的好处绝不仅仅限于此,通过不同深监督损失函数,UNet++可以通过网络剪枝来实现可伸缩性。所以,总结来说UNet++相较于原始的UNet,有如下两个优势:

(1)通过嵌套子网络和长短连接来整合不同层次的图像特征,使得网络分割精度更高;

深度学习论文精读[6]:UNet++

(2)灵活的网络结构配合深监督机制,让参数量巨大的深度网络在可接受的精度范围内能够大幅度的缩减参数量。

UNet++与UNet等网络分割效果对比如下图所示。

UNet++也进一步壮大了UNet家族网络,后续基于其的改进版本也有很多,比如Attention UNet++、UNet 3+等。下述代码给出了UNet++的一个实现参考。完整代码可参考:

https://github.com/4uiiurz1/pytorch-nested-unet/blob/master/archs.py

class NestedUNet(nn.Module):def __init__(self, num_classes, input_channels=3, deep_supervision=False, **kwargs):        super().__init__()        nb_filter = [32, 64, 128, 256, 512]        self.deep_supervision = deep_supervisionself.pool = nn.MaxPool2d(2, 2)self.up = nn.Upsample(scale_factor=2, mode='bilinear', align_corners=True)self.conv0_0 = VGGBlock(input_channels, nb_filter[0], nb_filter[0])self.conv1_0 = VGGBlock(nb_filter[0], nb_filter[1], nb_filter[1])self.conv2_0 = VGGBlock(nb_filter[1], nb_filter[2], nb_filter[2])self.conv3_0 = VGGBlock(nb_filter[2], nb_filter[3], nb_filter[3])self.conv4_0 = VGGBlock(nb_filter[3], nb_filter[4], nb_filter[4])self.conv0_1 = VGGBlock(nb_filter[0]+nb_filter[1], nb_filter[0], nb_filter[0])self.conv1_1 = VGGBlock(nb_filter[1]+nb_filter[2], nb_filter[1], nb_filter[1])self.conv2_1 = VGGBlock(nb_filter[2]+nb_filter[3], nb_filter[2], nb_filter[2])self.conv3_1 = VGGBlock(nb_filter[3]+nb_filter[4], nb_filter[3], nb_filter[3])self.conv0_2 = VGGBlock(nb_filter[0]*2+nb_filter[1], nb_filter[0], nb_filter[0])self.conv1_2 = VGGBlock(nb_filter[1]*2+nb_filter[2], nb_filter[1], nb_filter[1])self.conv2_2 = VGGBlock(nb_filter[2]*2+nb_filter[3], nb_filter[2], nb_filter[2])self.conv0_3 = VGGBlock(nb_filter[0]*3+nb_filter[1], nb_filter[0], nb_filter[0])        self.conv1_3 = VGGBlock(nb_filter[1]*3+nb_filter[2], nb_filter[1], nb_filter[1])self.conv0_4 = VGGBlock(nb_filter[0]*4+nb_filter[1], nb_filter[0], nb_filter[0])if self.deep_supervision:self.final1 = nn.Conv2d(nb_filter[0], num_classes, kernel_size=1)self.final2 = nn.Conv2d(nb_filter[0], num_classes, kernel_size=1)self.final3 = nn.Conv2d(nb_filter[0], num_classes, kernel_size=1)self.final4 = nn.Conv2d(nb_filter[0], num_classes, kernel_size=1)else:self.final = nn.Conv2d(nb_filter[0], num_classes, kernel_size=1)def forward(self, input):x0_0 = self.conv0_0(input)x1_0 = self.conv1_0(self.pool(x0_0))x0_1 = self.conv0_1(torch.cat([x0_0, self.up(x1_0)], 1))x2_0 = self.conv2_0(self.pool(x1_0))x1_1 = self.conv1_1(torch.cat([x1_0, self.up(x2_0)], 1))x0_2 = self.conv0_2(torch.cat([x0_0, x0_1, self.up(x1_1)], 1))x3_0 = self.conv3_0(self.pool(x2_0))x2_1 = self.conv2_1(torch.cat([x2_0, self.up(x3_0)], 1))x1_2 = self.conv1_2(torch.cat([x1_0, x1_1, self.up(x2_1)], 1))x0_3 = self.conv0_3(torch.cat([x0_0, x0_1, x0_2, self.up(x1_2)], 1))x4_0 = self.conv4_0(self.pool(x3_0))x3_1 = self.conv3_1(torch.cat([x3_0, self.up(x4_0)], 1))x2_2 = self.conv2_2(torch.cat([x2_0, x2_1, self.up(x3_1)], 1))x1_3 = self.conv1_3(torch.cat([x1_0, x1_1, x1_2, self.up(x2_2)], 1))x0_4 = self.conv0_4(torch.cat([x0_0, x0_1, x0_2, x0_3, self.up(x1_3)], 1))if self.deep_supervision:output1 = self.final1(x0_1)output2 = self.final2(x0_2)output3 = self.final3(x0_3)output4 = self.final4(x0_4)            return [output1, output2, output3, output4]else:output = self.final(x0_4)return output

根据读者对于本系列的反馈,后续相关内容会逐步更新到深度学习语义分割与实战指南GitHub地址:

https://github.com/luwill/Semantic-Segmentation-Guide

往期精彩:

 深度学习论文精读[1]:FCN全卷积网络

 深度学习论文精读[2]:UNet网络

 深度学习论文精读[3]:SegNet

 深度学习论文精读[4]:RefineNet

 深度学习论文精读[5]:Attention UNet

 讲解视频来了!机器学习 公式推导与代码实现开录!

 完结!《机器学习 公式推导与代码实现》全书1-26章PPT下载

本文链接地址:https://www.jiuchutong.com/zhishi/299270.html 转载请保留说明!

上一篇:H5项目如何打包成APP(h5项目怎么打包成app)

下一篇:HTML入门零基础教程(三)(html零基础入门教程)

  • 小米10s可以用电信移动卡(小米1s电信版能用移动卡吗)(小米10s可以用电信卡吗)

    小米10s可以用电信移动卡(小米1s电信版能用移动卡吗)(小米10s可以用电信卡吗)

  • 米兔儿童学习手表5X支持安装微信吗(米兔儿童手表使用教程)

    米兔儿童学习手表5X支持安装微信吗(米兔儿童手表使用教程)

  • 抖音视频卡顿怎么修复(抖音视频卡顿怎么变流畅)

    抖音视频卡顿怎么修复(抖音视频卡顿怎么变流畅)

  • 戴耳机打电话对方能听到我周围的声音吗(戴耳机打电话对方能听到我周围的杂音吗)

    戴耳机打电话对方能听到我周围的声音吗(戴耳机打电话对方能听到我周围的杂音吗)

  • 台式电脑无线接收器插上连不上网怎么处理(台式电脑无线接收器连不上wifi)

    台式电脑无线接收器插上连不上网怎么处理(台式电脑无线接收器连不上wifi)

  • 充电宝可以一边充电一边充手机吗(充电宝可以一边充电一边充台灯吗)

    充电宝可以一边充电一边充手机吗(充电宝可以一边充电一边充台灯吗)

  • sma6060是什么型号

    sma6060是什么型号

  • GTX1660显卡什么水平

    GTX1660显卡什么水平

  • mtkheliog90t相当于骁龙多少(mtkheliog90t相当于骁龙什么)

    mtkheliog90t相当于骁龙多少(mtkheliog90t相当于骁龙什么)

  • 头条对方为什么收不到私信(头条上别人私信我怎么看不见)

    头条对方为什么收不到私信(头条上别人私信我怎么看不见)

  • 强行换行用什么键(强行换行什么意思)

    强行换行用什么键(强行换行什么意思)

  • se2支持无线充电吗(se2支持无线充电功能吗)

    se2支持无线充电吗(se2支持无线充电功能吗)

  • 1加8手机什么时候上市(一加8什么时候上市?)

    1加8手机什么时候上市(一加8什么时候上市?)

  • 乘车码上下车都要刷吗(乘车码上下车都要刷吗微信)

    乘车码上下车都要刷吗(乘车码上下车都要刷吗微信)

  • 小米手机微信语音播放失败怎么回事 (小米手机微信语音来电不响怎么办)

    小米手机微信语音播放失败怎么回事 (小米手机微信语音来电不响怎么办)

  • 大数据的核心能力是什么(大数据的核心技术是什么)

    大数据的核心能力是什么(大数据的核心技术是什么)

  • 苹果x怎么看是不是全网通(苹果X怎么看是美版还是国行)

    苹果x怎么看是不是全网通(苹果X怎么看是美版还是国行)

  • 苹果qq小程序在哪里打开(苹果qq小程序在哪里打开2022)

    苹果qq小程序在哪里打开(苹果qq小程序在哪里打开2022)

  • 微信公众平台群发消息如何删除(微信公众平台群发消息时,目前支持群发的内容包括哪些?)

    微信公众平台群发消息如何删除(微信公众平台群发消息时,目前支持群发的内容包括哪些?)

  • 60hz和75hz区别大吗(60hz跟75hz)

    60hz和75hz区别大吗(60hz跟75hz)

  • 华为p2上市时间(华为p20上市时间和价格)

    华为p2上市时间(华为p20上市时间和价格)

  • 【Vue3】用Element Plus实现列表界面(vue3 element ui)

    【Vue3】用Element Plus实现列表界面(vue3 element ui)

  • 都说计算机今年炸了,究竟炸到什么程度呢?(计算机还热门吗)

    都说计算机今年炸了,究竟炸到什么程度呢?(计算机还热门吗)

  • 公司有买社保就要交税吗
  • 各行业的税负率表2022
  • 桥闸通行费怎么做账务处理
  • 销售费用和管理费用和财务费用
  • 通行费发票怎么合并一张发票
  • 财务利润率
  • 网络服务费属于什么费用
  • 进口增值税抵扣信息委托核查函
  • 房地产公司将自建自用房产出售 土地增值税
  • 投资可赎回基金怎么入账?
  • 纳税人是非开业户是什么意思
  • 不动产有法律效力吗
  • 建筑企业包工包料
  • 对公账号钱怎么拿出来
  • 工资税金算法
  • 房地产预收账款是什么
  • 预缴的城建税怎么做账
  • 公司代缴社保公司吃亏吗
  • php图形化编程
  • 制作flash动画步骤
  • 开机后网络连接很慢
  • 出库单可以补吗
  • win7如何调出浏览器
  • 别再等待别在徘徊是什么歌
  • 如何发放年终奖 一个蒸蒸日上的公司,当
  • 设置浏览器显示网络异常
  • 事业单位无职务人员称什么
  • php session_start
  • token过期处理
  • 非城市公交企业管理办法
  • 销售货物收到普票会计分录
  • js实现dialog
  • 游戏microsoft visual c++ runtime
  • 土地增值税扣除率怎样计算
  • 物流公司账务处理特点
  • 其他权益工具投资是金融资产吗
  • python 顺序
  • mysql有输入输出语句
  • 已经抵扣的发票红字信息表怎么开
  • 加油充值预付卡怎么做账
  • 售后领料怎么做会计分录
  • 所得税视同销售行为有哪些呢?
  • 错开发票所需要提供的资料和时效要求是?
  • sqlserver2005没有服务器名称
  • 固定资产清理科目有余额吗
  • 建筑劳务公司的进项票有哪些
  • 哪些情况需要开具无违法犯罪证明
  • 固定资产清理费用对应科目
  • 不满足收入确认条件的会计分录
  • 确认收入后销售怎么算
  • 包含个人社保的保险
  • 园林绿化公司的税率是多少
  • 什么是递延所得税?
  • mysql有哪些数据类型,有哪些运算符
  • 数据库服务器配置方案
  • linux下mysql5.7.17最新稳定版本安装教程
  • 怎么卸载xp系统安装win7系统
  • win7开机启动
  • win8.1关机没反应
  • debian系列
  • google chrome windows 10
  • lhotkey.exe
  • win7系统的磁盘管理在哪里,怎么打开
  • win8英文版安装中文语言包
  • 苹果win10更新48%不动了
  • cocos2dx安装和初步使用
  • alt+r没用
  • web标准化
  • Unity3D游戏开发引擎
  • dos命令大全及用法
  • css中清除浮动的方法
  • jquery示例
  • javascript教程推荐知乎
  • python 正则 \s
  • jquery prototype
  • 车辆购置税查询不到
  • 内蒙古国家税务局网上电子税务局官网
  • 期房交了契税就可以拿房产证了吗
  • 北京税务局网站官网
  • 在税务局代开增值税票如何入账?
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设