位置: IT常识 - 正文

【图像超分辨率重建】——EDSR论文精读笔记(超分辨率图像复原)

编辑:rootadmin
【图像超分辨率重建】——EDSR论文精读笔记 2017-Enhanced Deep Residual Networks for Single Image Super-Resolution(EDSR)基本信息

推荐整理分享【图像超分辨率重建】——EDSR论文精读笔记(超分辨率图像复原),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:图像超分辨率应用,图像超分辨率应用,超分辨率图像复原,图像超分辨率算法研究,超分辨率图像增强,超分辨率图像处理,超分辨率图像在线生成,图像超分辨率重建,内容如对您有帮助,希望把文章链接给更多的朋友!

作者: Bee Lim Sanghyun Son Heewon Kim Seungjun Nah Kyoung Mu Lee 期刊: CVPR2017 引用: * 摘要: 随着深度卷积神经网络(DCNN)的发展,最近对超分辨率的研究取得了进展。 特别是,残差学习技术表现出改进的性能。 在本文中,我们开发了一种增强的深度超分辨率网络(EDSR),其性能超过了当前最先进的 SR 方法。 我们模型的显着性能改进是由于通过删除传统残差网络中不必要的模块进行的优化。 在我们稳定训练过程的同时,通过扩大模型大小进一步提高了性能。 我们还提出了一种新的多尺度深度超分辨率系统(MDSR)和训练方法,可以在单个模型中重建不同放大因子的高分辨率图像。 所提出的方法在基准数据集上显示出优于最先进方法的性能,并通过赢得 NTIRE2017 超分辨率挑战赛证明了其卓越性。

1.简介

介绍SISR的基本概念,并指出在大部分SISR研究中,HR和LR之间都是使用Bicubic,但在实际应用中也可以考虑其他退化因素,例如模糊、抽取或噪声。

近期的作品VDSR、DRCN、SRResNet等模型在PSNR上表现很好,但是仍有以下局限性:

神经网络模型的重建性能对微小的架构变化很敏感。此外,相同的模型通过不同的初始化和训练技术实现不同级别的性能。因此,精心设计的模型架构和复杂的优化方法对于训练神经网络至关重要。大多数现有的SR算法将不同尺度因素的超分辨率视为独立问题,而没有考虑和利用SR中不同尺度之间的相互关系。因此,这些算法需要许多特定尺度的网络,需要独立训练以处理各种尺度的问题。VDSR用多种尺度训练VDSR模型可以大幅提高性能,并优于特定尺度训练,这意味着特定尺度模型之间存在冗余。然而,VDSR风格的架构需要双三次插值的图像作为输入,这导致了与具有特定尺度上采样方法的架构相比更多的计算时间和内存SRResNet成功地解决了这些时间和内存问题,并具有良好的性能,但它只是简单地采用了He等人的ResNet架构,没有做太多修改。然而,最初的ResNet是为了解决更高层次的计算机视觉问题,如图像分类和检测。因此,将ResNet结构直接应用于低层次的视觉问题,如超分辨率,可能是次优的。

为了解决以上问题,基于SRResNet,本文作者进行了如下改进:

先通过分析和删除不必要的模块来优化它,以简化网络架构。用适当的损失函数训练网络,并在训练时仔细修改模型。其次,我们研究了从其他尺度训练的模型转移知识的模型训练方法。为了在训练中利用与尺度无关的信息,我们从预先训练的低尺度模型中训练高尺度模型。此外,我们提出了一个新的多尺度结构,在不同尺度之间共享大部分参数。与多个单尺度模型相比,所提出的多尺度模型使用的参数要少得多,但却显示出相当的性能

本文的方法是NITRE2017比赛的冠亚军。

2.相关工作插值法、统计学方法:预测详细、真实的纹理方面表现出局限性。传统机器学习:邻域嵌入、稀疏编码等深度学习方法:SRCNN,VDSR,DRCN(跳连接和递归卷积等)

在模型中,图像上采用一般有双三次预上采用和网络层上采用两种方式

预上采样:在一个单一的框架中处理多尺度问题。网络层上采用:不损失模型容量的情况下减少很多计算,特征的大小减少。

本文解决了多尺度训练和计算效率的两难问题。我们不仅利用了每个尺度的学习特征的相互关系,还提出了一个新的多尺度模型,有效地重建了各种尺度的高分辨率图像。此外,我们开发了一种适当的训练方法,对单尺度和多尺度模型都使用了多尺度。

3.超分辨EDSR方法3.1.残差块

残差网络在计算机视觉问题上表现出了从低级到高级任务的优异性能。成功地将ResNet结构应用于SRResNet的超分辨率问题,但我们通过采用更好的ResNet结构进一步提高了性能。

本文残差块示意图如图所示,我们从网络中删除了批量归一化层。由于批量归一化层对特征进行了归一化处理,它们通过对特征的归一化处理摆脱了网络的范围灵活性,因此最好将它们删除。我们的实验表明,这个简单的修改大大增加了性能。此外,由于批处理归一化层与前面的卷积层消耗相同的内存,因此GPU内存的使用也得到了充分的减少。

3.2.单尺度模型EDSR

提高网络模型性能的最简单方法是增加参数的数量。在卷积神经网络中,可以通过堆叠许多层或增加过滤器的数量来提高模型性能。残差块层数B(n_resblocks),卷积层特征通道数F(n_feats),占用O(BF)内存,参数有O(BF²),考虑到计算机内存,应该增加F。 然而,将F增加到一定程度以上会使训练过程在数值上不稳定。我们通过采用因子为0.1的残差缩放Mult(res_scale) 来解决这个问题。在每个残差块中,恒定的缩放层被放置在最后的卷积层之后。当使用大量的过滤器时,这些模块大大稳定了训练过程。在测试阶段,为了提高计算效率,该层可以被整合到前一个卷积层中。

EDSR-baseline模型——B=16,F=64,无残差缩放EDSR模型——B=32,F=256,残差缩放因子=0.1

训练加速:当训练我们的模型用于上采用系数3和4时,我们用预训练的2个网络初始化模型参数。这种预训练策略加速了训练,并提高了最终的性能。

3.3.多尺度模型MDSR【图像超分辨率重建】——EDSR论文精读笔记(超分辨率图像复原)

本文认为,多尺度的超分辨率是相互关联的任务。我们通过建立一个多尺度架构来进一步探索这个想法,该架构像VDSR一样利用尺度间的相关性的优势。

首先,预处理模块位于网络的头部,以减少来自不同尺度的输入图像的差异。每个预处理模块由两个具有5×5的内核的残差块组成。通过对预处理模块采用较大的内核,我们可以保持特定尺度部分的浅层,而在网络的早期阶段覆盖较大的感受野。在多尺度模型的末端,特定尺度的上采样模块被平行放置以处理多尺度重建。上采样模块的结构与上节所述的单尺度模型的结构相似。

MDSR-baseline模型——B=16,F=64,无残差缩放MDSR模型——B=80,F=64,无残差缩放

模型比较的结论:

从参数角度来看,3个不同尺度的EDSR-baseline模型共4.5M个参数,而MDSR-baseline模型只有3.2M个参数,参数少了很多,而可以达到相当的效果。

从模型的角度来看,MDSR和MDSR-baseline相比,MDSR的深度是MDSR-baseline的5倍,但只需要2.5倍的参数,因为残余块比特定尺度的部分要轻。同时,MDSR也显示出与特定尺度EDSR相当的性能。

模型基本参数特点上采样批量标准化残差缩放损失函数Self-ensembleEDSRB=32;F=256全局跳链接后上采样无有L1损失支持MDSRB=80主题部分参数共享后上采样无无L1损失支持4.实验4.1.数据集

本文使用DIV2K数据集(800Train,100Val,100Test),在Val上评估性能,同时也在另外四个标准基准数据集的性能:Set5 、Set14 、B100和 Urban100。

4.2.训练细节使用LR的RGB图像的48×48Patch(HR对应),随机水平翻转与90°旋转,ADAM优化器,Batch=16…单尺度(EDSR×2/3/4)训练:×2是从头训练,×3/4基于×2进行训练多尺度(MDSR)训练:用2、3和4中随机选择的尺度构建miniBatch。只有对应于所选尺度的模块被启用和更新。因此,对应于所选尺度以外的不同尺度的特定尺度残差块和上采样模块不会被启用或更新。使用L1损失来训练我们的网络。最小化L2通常是首选,因为它能使PSNR最大化。然而,L1损失比L2提供更好的收敛性。使用Torch7实现,NVIDIA Titan X GPU训练4.3.几何自集成(Self_ensemble)

为了最大限度地提高我们模型的潜在性能,我们采用Self_ensemble策略。具体流程如下:

测试时,翻转和旋转输入LR图像,生成7个图像(共8个),输入网络后得到8个相应的SR图像,对这些图像进行逆变换得到原始的LRs*,最后对LRs*求平均得到LRnew。

这种自集成方法比其他集成方法具有优势,因为它不需要对单独的模型进行额外的训练。特别是当模型大小或培训时间很重要时,这是有益的。尽管自集成策略使参数总数保持不变,但与需要单独训练模型的传统模型集成方法相比,它提供了大致相同的性能增益。本文使用“+”表示。几何自集成仅对对称下采样方法有效,例如双三次下采样。

4.4.验证(DIV2K)本文在DIV2K数据集上测试我们提出的网络。从SRResNet开始,我们逐渐更改各种设置以执行消融测试。我们自己训练SRResNet。首先,我们将损失函数从L2改为L1,然后按照上一节所述和表1所示对网络结构进行更改。上图为各模型的区别。在实验中对模型进行了30w次更新,评估DIV2K-Val的801-811共10张图片,使用PSNR(RGB,忽略6+scale边界)和SSIM参数结论1:对于所有比例因子,用L1训练的SRResNet比用L2训练的原始SRResNets的结果稍好。结论2:最后两列显示了我们最终的更大型号EDSR+和MDSR+使用几何自集成技术的显著性能提升。4.5.基准测试结果

使用本文最终的模型(EDSR、EDSR+,MDSR、MDSR+)与Bicubic,A+,SRCNN,VDSR,SRResNet等模型比较。模型使用100W次更新,Batch=16,其他设置和baseline相同,评估Set5 、Set14 、B100,Urban100,DIV2K数据集,使用PSNR(Y通道,忽略Scale边界)SSIM参数,使用Matlab进行评估结果(DIV2K验证结果是从发布的演示代码中获得的。)。结果可以看到效果还是很不错的。

5.NITRE2017超分辨挑战赛

比赛首页:https://data.vision.ee.ethz.ch/cvl/ntire17// 数据集首页:https://data.vision.ee.ethz.ch/cvl/DIV2K/ 比赛详情:

2017Track1:Bicubic赛道(×2/3/4)2017Track2:Unknown赛道(×2/3/4)2018Track1:Bicubic赛道(×8)2018Track2:Mild赛道(x4)2018Track3:Diffcult赛道(x4)2018Track4:Realistic赛道(x4)

本文为2017年的比赛的2个任务6个赛道均提交了2个模型(EDSR、MDSR),模型在所有6个赛道均中取得了第一第二的成绩。

6.结论本文提出了一种增强的超分辨率算法。通过从传统的 ResNet 架构中删除不必要的模块,我们在使模型紧凑的同时取得了改进的结果。我们还采用残差缩放技术来稳定地训练大型模型。我们提出的单尺度模型超越了当前模型并达到了最先进的性能。本文开发了一个多尺度超分辨率网络来减少模型大小和训练时间。通过尺度依赖模块和共享主网络,我们的多尺度模型可以在一个统一的框架中有效地处理各种尺度的超分辨率。虽然与一组单尺度模型相比,多尺度模型保持紧凑,但它显示出与单尺度 SR 模型相当的性能。

本文提出的单尺度和多尺度模型在标准基准数据集和 DIV2K 数据集中都取得了最高排名

代码实现

Torch版本代码:https://github.com/LimBee/NTIRE2017 Pytorch代码:https://github.com/sanghyun-son/EDSR-PyTorch/

本文链接地址:https://www.jiuchutong.com/zhishi/290793.html 转载请保留说明!

上一篇:解决:code ERESOLVE:ERESOLVE could not resolve 的报错问题(解决的英文)

下一篇:window.print() 前端实现网页打印详解(前端打印语句)

  • 适合新手的游戏试玩技巧总结(适合新手的游戏开发软件)

    适合新手的游戏试玩技巧总结(适合新手的游戏开发软件)

  • 操作系统负责管理计算机的(操作系统负责管理所有)

    操作系统负责管理计算机的(操作系统负责管理所有)

  • 卡贴机信号很差吗(为什么手机卡没信号无服务)

    卡贴机信号很差吗(为什么手机卡没信号无服务)

  • 手机后盖碎了影响使用吗(手机后盖碎了影响保修吗)

    手机后盖碎了影响使用吗(手机后盖碎了影响保修吗)

  • 抖音号注销是不是什么都没有了(抖音号注销是不是实名就取消了)

    抖音号注销是不是什么都没有了(抖音号注销是不是实名就取消了)

  • 绑定手机号是什么意思(绑定手机是绑定什么意思)

    绑定手机号是什么意思(绑定手机是绑定什么意思)

  • 华为p40自带手机膜吗(华为p40自带手机膜)

    华为p40自带手机膜吗(华为p40自带手机膜)

  • 对方微信停用什么体现(对方微信号停用是什么状况)

    对方微信停用什么体现(对方微信号停用是什么状况)

  • 手机凭空消失好几G的内存(手机凭空消失好几G的运存)

    手机凭空消失好几G的内存(手机凭空消失好几G的运存)

  • 两个微信可以合并成一个吗(两个微信可以合并在一起吗)

    两个微信可以合并成一个吗(两个微信可以合并在一起吗)

  • 手机开不开机充电没反应(手机开不开机充电也没反应怎么办)

    手机开不开机充电没反应(手机开不开机充电也没反应怎么办)

  • mp4格式文件是什么(mp4格式是什么?)

    mp4格式文件是什么(mp4格式是什么?)

  • ios13信号不稳定(ios13信号不稳定是因为软件吗)

    ios13信号不稳定(ios13信号不稳定是因为软件吗)

  • ppt从头播放快捷键(ppt如何从头播放)

    ppt从头播放快捷键(ppt如何从头播放)

  • 京东开店需要什么条件(京东开店需要什么资质)

    京东开店需要什么条件(京东开店需要什么资质)

  • iphone xs关机快捷键(苹果xs怎么快捷关机)

    iphone xs关机快捷键(苹果xs怎么快捷关机)

  • 苹果x带红外线功能吗(苹果x手机有红外线)

    苹果x带红外线功能吗(苹果x手机有红外线)

  • word渐变填充在哪(word渐变填充在哪里设置)

    word渐变填充在哪(word渐变填充在哪里设置)

  • 已购买成功的淘宝订单怎么删除(淘宝已购买宝贝)

    已购买成功的淘宝订单怎么删除(淘宝已购买宝贝)

  • vivox9怎么弄nfc(vivox9怎么弄应用锁)

    vivox9怎么弄nfc(vivox9怎么弄应用锁)

  • 京东是多少天自动收货(京东多少天自动确认)

    京东是多少天自动收货(京东多少天自动确认)

  • 键盘驱动怎么安装(键盘操作安装驱动)

    键盘驱动怎么安装(键盘操作安装驱动)

  • 华为三键设置在哪(华为智能手机怎么设置三键)

    华为三键设置在哪(华为智能手机怎么设置三键)

  • 5g哪个国家领先(5g网络哪个国家最先进)

    5g哪个国家领先(5g网络哪个国家最先进)

  • 刷宝如何提现(刷宝提现中怎么什么时候到账)

    刷宝如何提现(刷宝提现中怎么什么时候到账)

  • 以前年度损益调整在利润表中怎么填
  • 发票只能全部冲开吗
  • 酒销售账务处理
  • 社保缴费基数什么意思
  • 个人所得税核定征收税率表
  • 资产总额季度平均
  • 如何核销财政票据的发票
  • 员工离职的补偿金怎么入账
  • 买车时的保险包括哪些费用,多少钱
  • 企业购买的原材料确认为资产,这属于会计确认的范畴
  • 最新个人独资企业
  • 租房发票的税由谁承担
  • 一般纳税人能开3%的发票吗
  • 无票收入有哪些情况抖音
  • 营改增行业销售额的规定
  • 营改增后发票
  • 机票抵扣增值税需要什么凭证
  • 金税盘上传参数设置服务器设置
  • 欠发工资如何赔偿
  • 资产负债表总计数表示什么意思
  • 苹果手机zm
  • 微信占用空间大是怎么回事
  • 冲销上月暂估入账的原材料会计分录
  • 生产车间设备检测费计入什么科目
  • realshed.exe - realshed是什么进程 有什么用
  • 电脑pin码忘了开不了机,且鼠标失灵
  • win10系统损坏开不了机
  • php tokenizer
  • 销售退回的处理方法
  • 投资公司要具备什么
  • el-table(type=“selection“)多选框两种回显
  • 工会经费零申报怎么填
  • yolov5标签格式
  • php中类静态成员描述不正确的是
  • PHP+mysql+ajax轻量级聊天室实现方法详解
  • php处理xml数据
  • css设置背景图片填充
  • 代扣代缴个人所得税账务处理
  • 织梦模板改成帝国模板
  • 工地装饰工程包括哪些
  • 单一窗口报关是指什么
  • 印花税的税率变动
  • 建筑企业预缴税率
  • 增值税一般纳税人是什么意思
  • 外资研发中心可以上市吗
  • 销售奖金交税由谁承担
  • 工程款多付了如何追回
  • 工厂加工费如何计算
  • 进项留底是什么科目
  • 管家婆软件如何做账?
  • 会员卡充值赠送金额怎么做账
  • 企业与股东之间的关系,也是企业与投资者之间的关系
  • 公司认缴没有实缴会有什么风险
  • 机关事业单位以高于市场价租赁房屋
  • 利息支出和利息收入区别
  • 公司购买汽车怎么做账记账凭证
  • 专用发票怎么网上申领
  • 二类银行卡是什么卡
  • 会计的几种折旧类型
  • mysql数据库内存占用高
  • sql ntext数据类型字符替换实现代码
  • mysql清空数据表怎么恢复
  • 如何解决女性漏尿问题
  • 如何配置samba配置文件
  • linux常用命令cat
  • win10周年版
  • win10系统打游戏
  • Linux安装配置jdk
  • [置顶] 《翻身称霸》
  • 网页的css
  • xml能写网页吗
  • jquery get(0)
  • unity2019图集
  • python2ide
  • javascript学习指南
  • 小规模纳税企业的增值税税率一律为3%
  • 厦门税务局发票查询系统
  • 税控盘开票怎么赋码的教程
  • 医保未参保怎么参保 支付宝
  • 湖北省叉车考试题库
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设