位置: IT常识 - 正文

【图像超分辨率重建】——EDSR论文精读笔记(超分辨率图像复原)

编辑:rootadmin
【图像超分辨率重建】——EDSR论文精读笔记 2017-Enhanced Deep Residual Networks for Single Image Super-Resolution(EDSR)基本信息

推荐整理分享【图像超分辨率重建】——EDSR论文精读笔记(超分辨率图像复原),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:图像超分辨率应用,图像超分辨率应用,超分辨率图像复原,图像超分辨率算法研究,超分辨率图像增强,超分辨率图像处理,超分辨率图像在线生成,图像超分辨率重建,内容如对您有帮助,希望把文章链接给更多的朋友!

作者: Bee Lim Sanghyun Son Heewon Kim Seungjun Nah Kyoung Mu Lee 期刊: CVPR2017 引用: * 摘要: 随着深度卷积神经网络(DCNN)的发展,最近对超分辨率的研究取得了进展。 特别是,残差学习技术表现出改进的性能。 在本文中,我们开发了一种增强的深度超分辨率网络(EDSR),其性能超过了当前最先进的 SR 方法。 我们模型的显着性能改进是由于通过删除传统残差网络中不必要的模块进行的优化。 在我们稳定训练过程的同时,通过扩大模型大小进一步提高了性能。 我们还提出了一种新的多尺度深度超分辨率系统(MDSR)和训练方法,可以在单个模型中重建不同放大因子的高分辨率图像。 所提出的方法在基准数据集上显示出优于最先进方法的性能,并通过赢得 NTIRE2017 超分辨率挑战赛证明了其卓越性。

1.简介

介绍SISR的基本概念,并指出在大部分SISR研究中,HR和LR之间都是使用Bicubic,但在实际应用中也可以考虑其他退化因素,例如模糊、抽取或噪声。

近期的作品VDSR、DRCN、SRResNet等模型在PSNR上表现很好,但是仍有以下局限性:

神经网络模型的重建性能对微小的架构变化很敏感。此外,相同的模型通过不同的初始化和训练技术实现不同级别的性能。因此,精心设计的模型架构和复杂的优化方法对于训练神经网络至关重要。大多数现有的SR算法将不同尺度因素的超分辨率视为独立问题,而没有考虑和利用SR中不同尺度之间的相互关系。因此,这些算法需要许多特定尺度的网络,需要独立训练以处理各种尺度的问题。VDSR用多种尺度训练VDSR模型可以大幅提高性能,并优于特定尺度训练,这意味着特定尺度模型之间存在冗余。然而,VDSR风格的架构需要双三次插值的图像作为输入,这导致了与具有特定尺度上采样方法的架构相比更多的计算时间和内存SRResNet成功地解决了这些时间和内存问题,并具有良好的性能,但它只是简单地采用了He等人的ResNet架构,没有做太多修改。然而,最初的ResNet是为了解决更高层次的计算机视觉问题,如图像分类和检测。因此,将ResNet结构直接应用于低层次的视觉问题,如超分辨率,可能是次优的。

为了解决以上问题,基于SRResNet,本文作者进行了如下改进:

先通过分析和删除不必要的模块来优化它,以简化网络架构。用适当的损失函数训练网络,并在训练时仔细修改模型。其次,我们研究了从其他尺度训练的模型转移知识的模型训练方法。为了在训练中利用与尺度无关的信息,我们从预先训练的低尺度模型中训练高尺度模型。此外,我们提出了一个新的多尺度结构,在不同尺度之间共享大部分参数。与多个单尺度模型相比,所提出的多尺度模型使用的参数要少得多,但却显示出相当的性能

本文的方法是NITRE2017比赛的冠亚军。

2.相关工作插值法、统计学方法:预测详细、真实的纹理方面表现出局限性。传统机器学习:邻域嵌入、稀疏编码等深度学习方法:SRCNN,VDSR,DRCN(跳连接和递归卷积等)

在模型中,图像上采用一般有双三次预上采用和网络层上采用两种方式

预上采样:在一个单一的框架中处理多尺度问题。网络层上采用:不损失模型容量的情况下减少很多计算,特征的大小减少。

本文解决了多尺度训练和计算效率的两难问题。我们不仅利用了每个尺度的学习特征的相互关系,还提出了一个新的多尺度模型,有效地重建了各种尺度的高分辨率图像。此外,我们开发了一种适当的训练方法,对单尺度和多尺度模型都使用了多尺度。

3.超分辨EDSR方法3.1.残差块

残差网络在计算机视觉问题上表现出了从低级到高级任务的优异性能。成功地将ResNet结构应用于SRResNet的超分辨率问题,但我们通过采用更好的ResNet结构进一步提高了性能。

本文残差块示意图如图所示,我们从网络中删除了批量归一化层。由于批量归一化层对特征进行了归一化处理,它们通过对特征的归一化处理摆脱了网络的范围灵活性,因此最好将它们删除。我们的实验表明,这个简单的修改大大增加了性能。此外,由于批处理归一化层与前面的卷积层消耗相同的内存,因此GPU内存的使用也得到了充分的减少。

3.2.单尺度模型EDSR

提高网络模型性能的最简单方法是增加参数的数量。在卷积神经网络中,可以通过堆叠许多层或增加过滤器的数量来提高模型性能。残差块层数B(n_resblocks),卷积层特征通道数F(n_feats),占用O(BF)内存,参数有O(BF²),考虑到计算机内存,应该增加F。 然而,将F增加到一定程度以上会使训练过程在数值上不稳定。我们通过采用因子为0.1的残差缩放Mult(res_scale) 来解决这个问题。在每个残差块中,恒定的缩放层被放置在最后的卷积层之后。当使用大量的过滤器时,这些模块大大稳定了训练过程。在测试阶段,为了提高计算效率,该层可以被整合到前一个卷积层中。

EDSR-baseline模型——B=16,F=64,无残差缩放EDSR模型——B=32,F=256,残差缩放因子=0.1

训练加速:当训练我们的模型用于上采用系数3和4时,我们用预训练的2个网络初始化模型参数。这种预训练策略加速了训练,并提高了最终的性能。

3.3.多尺度模型MDSR【图像超分辨率重建】——EDSR论文精读笔记(超分辨率图像复原)

本文认为,多尺度的超分辨率是相互关联的任务。我们通过建立一个多尺度架构来进一步探索这个想法,该架构像VDSR一样利用尺度间的相关性的优势。

首先,预处理模块位于网络的头部,以减少来自不同尺度的输入图像的差异。每个预处理模块由两个具有5×5的内核的残差块组成。通过对预处理模块采用较大的内核,我们可以保持特定尺度部分的浅层,而在网络的早期阶段覆盖较大的感受野。在多尺度模型的末端,特定尺度的上采样模块被平行放置以处理多尺度重建。上采样模块的结构与上节所述的单尺度模型的结构相似。

MDSR-baseline模型——B=16,F=64,无残差缩放MDSR模型——B=80,F=64,无残差缩放

模型比较的结论:

从参数角度来看,3个不同尺度的EDSR-baseline模型共4.5M个参数,而MDSR-baseline模型只有3.2M个参数,参数少了很多,而可以达到相当的效果。

从模型的角度来看,MDSR和MDSR-baseline相比,MDSR的深度是MDSR-baseline的5倍,但只需要2.5倍的参数,因为残余块比特定尺度的部分要轻。同时,MDSR也显示出与特定尺度EDSR相当的性能。

模型基本参数特点上采样批量标准化残差缩放损失函数Self-ensembleEDSRB=32;F=256全局跳链接后上采样无有L1损失支持MDSRB=80主题部分参数共享后上采样无无L1损失支持4.实验4.1.数据集

本文使用DIV2K数据集(800Train,100Val,100Test),在Val上评估性能,同时也在另外四个标准基准数据集的性能:Set5 、Set14 、B100和 Urban100。

4.2.训练细节使用LR的RGB图像的48×48Patch(HR对应),随机水平翻转与90°旋转,ADAM优化器,Batch=16…单尺度(EDSR×2/3/4)训练:×2是从头训练,×3/4基于×2进行训练多尺度(MDSR)训练:用2、3和4中随机选择的尺度构建miniBatch。只有对应于所选尺度的模块被启用和更新。因此,对应于所选尺度以外的不同尺度的特定尺度残差块和上采样模块不会被启用或更新。使用L1损失来训练我们的网络。最小化L2通常是首选,因为它能使PSNR最大化。然而,L1损失比L2提供更好的收敛性。使用Torch7实现,NVIDIA Titan X GPU训练4.3.几何自集成(Self_ensemble)

为了最大限度地提高我们模型的潜在性能,我们采用Self_ensemble策略。具体流程如下:

测试时,翻转和旋转输入LR图像,生成7个图像(共8个),输入网络后得到8个相应的SR图像,对这些图像进行逆变换得到原始的LRs*,最后对LRs*求平均得到LRnew。

这种自集成方法比其他集成方法具有优势,因为它不需要对单独的模型进行额外的训练。特别是当模型大小或培训时间很重要时,这是有益的。尽管自集成策略使参数总数保持不变,但与需要单独训练模型的传统模型集成方法相比,它提供了大致相同的性能增益。本文使用“+”表示。几何自集成仅对对称下采样方法有效,例如双三次下采样。

4.4.验证(DIV2K)本文在DIV2K数据集上测试我们提出的网络。从SRResNet开始,我们逐渐更改各种设置以执行消融测试。我们自己训练SRResNet。首先,我们将损失函数从L2改为L1,然后按照上一节所述和表1所示对网络结构进行更改。上图为各模型的区别。在实验中对模型进行了30w次更新,评估DIV2K-Val的801-811共10张图片,使用PSNR(RGB,忽略6+scale边界)和SSIM参数结论1:对于所有比例因子,用L1训练的SRResNet比用L2训练的原始SRResNets的结果稍好。结论2:最后两列显示了我们最终的更大型号EDSR+和MDSR+使用几何自集成技术的显著性能提升。4.5.基准测试结果

使用本文最终的模型(EDSR、EDSR+,MDSR、MDSR+)与Bicubic,A+,SRCNN,VDSR,SRResNet等模型比较。模型使用100W次更新,Batch=16,其他设置和baseline相同,评估Set5 、Set14 、B100,Urban100,DIV2K数据集,使用PSNR(Y通道,忽略Scale边界)SSIM参数,使用Matlab进行评估结果(DIV2K验证结果是从发布的演示代码中获得的。)。结果可以看到效果还是很不错的。

5.NITRE2017超分辨挑战赛

比赛首页:https://data.vision.ee.ethz.ch/cvl/ntire17// 数据集首页:https://data.vision.ee.ethz.ch/cvl/DIV2K/ 比赛详情:

2017Track1:Bicubic赛道(×2/3/4)2017Track2:Unknown赛道(×2/3/4)2018Track1:Bicubic赛道(×8)2018Track2:Mild赛道(x4)2018Track3:Diffcult赛道(x4)2018Track4:Realistic赛道(x4)

本文为2017年的比赛的2个任务6个赛道均提交了2个模型(EDSR、MDSR),模型在所有6个赛道均中取得了第一第二的成绩。

6.结论本文提出了一种增强的超分辨率算法。通过从传统的 ResNet 架构中删除不必要的模块,我们在使模型紧凑的同时取得了改进的结果。我们还采用残差缩放技术来稳定地训练大型模型。我们提出的单尺度模型超越了当前模型并达到了最先进的性能。本文开发了一个多尺度超分辨率网络来减少模型大小和训练时间。通过尺度依赖模块和共享主网络,我们的多尺度模型可以在一个统一的框架中有效地处理各种尺度的超分辨率。虽然与一组单尺度模型相比,多尺度模型保持紧凑,但它显示出与单尺度 SR 模型相当的性能。

本文提出的单尺度和多尺度模型在标准基准数据集和 DIV2K 数据集中都取得了最高排名

代码实现

Torch版本代码:https://github.com/LimBee/NTIRE2017 Pytorch代码:https://github.com/sanghyun-son/EDSR-PyTorch/

本文链接地址:https://www.jiuchutong.com/zhishi/290793.html 转载请保留说明!

上一篇:解决:code ERESOLVE:ERESOLVE could not resolve 的报错问题(解决的英文)

下一篇:window.print() 前端实现网页打印详解(前端打印语句)

  • airpods pro ac+怎么换新(airpods pro ac+怎么免费换新)

    airpods pro ac+怎么换新(airpods pro ac+怎么免费换新)

  • word怎么添加导航目录(word怎么添加导航链接)

    word怎么添加导航目录(word怎么添加导航链接)

  • 钉钉电脑版怎么登录(钉钉电脑版怎么改成中文)

    钉钉电脑版怎么登录(钉钉电脑版怎么改成中文)

  • 探探原来的账号不见了(探探之前的账号没有了)

    探探原来的账号不见了(探探之前的账号没有了)

  • 怎么设置标题幻灯片(怎么设置标题幻灯片格式)

    怎么设置标题幻灯片(怎么设置标题幻灯片格式)

  • 苹果拍照为什么拍完是倒的(苹果拍照为什么会重复两张?)

    苹果拍照为什么拍完是倒的(苹果拍照为什么会重复两张?)

  • 小米10pro电信卡不能打电话(小米10pro电信卡无网络)

    小米10pro电信卡不能打电话(小米10pro电信卡无网络)

  • 一个爱奇艺账号可以登几个手机(一个爱奇艺账号怎么登两个手机)

    一个爱奇艺账号可以登几个手机(一个爱奇艺账号怎么登两个手机)

  • 微信一直提示载入数据失败(微信app一直显示正在载入)

    微信一直提示载入数据失败(微信app一直显示正在载入)

  • 为什么手机录制腾讯会议没有声音(为什么手机录制视频内存都很大)

    为什么手机录制腾讯会议没有声音(为什么手机录制视频内存都很大)

  • oppoa92s屏幕材质(oppoa92s屏幕是哪个厂家)

    oppoa92s屏幕材质(oppoa92s屏幕是哪个厂家)

  • 简述光纤和光缆的区别(简述光纤和光缆的优缺点)

    简述光纤和光缆的区别(简述光纤和光缆的优缺点)

  • 苹果xs怎么一键重启(苹果xs怎么一键清理缓存)

    苹果xs怎么一键重启(苹果xs怎么一键清理缓存)

  • 小米开启永恒模式啥意思(小米手机开启永恒模式)

    小米开启永恒模式啥意思(小米手机开启永恒模式)

  • 8p没耳机孔怎么解决(8p没耳机孔怎么充电)

    8p没耳机孔怎么解决(8p没耳机孔怎么充电)

  • 平板按键没反应怎么办(平板按键没反应是怎么回事儿)

    平板按键没反应怎么办(平板按键没反应是怎么回事儿)

  • 为什么excel输入公式不显示结果(为什么excel输入公式计算为0)

    为什么excel输入公式不显示结果(为什么excel输入公式计算为0)

  • 苹果11手机屏幕上的圆点怎么设置(苹果11手机屏幕多大尺寸)

    苹果11手机屏幕上的圆点怎么设置(苹果11手机屏幕多大尺寸)

  • 放大镜是凸透镜吗(放大镜是凸透镜凸度越大放大的倍数也越大)

    放大镜是凸透镜吗(放大镜是凸透镜凸度越大放大的倍数也越大)

  • 剪切板是内存的一块区域吗(剪切板是内存的一个区域)

    剪切板是内存的一块区域吗(剪切板是内存的一个区域)

  • 操作系统是应用软件吗(操作系统属于应用系统吗)

    操作系统是应用软件吗(操作系统属于应用系统吗)

  • 把照片内存变小20k(手机怎么降低照片大小kb)

    把照片内存变小20k(手机怎么降低照片大小kb)

  • 退群了聊天信息还在吗(退群了之后是不是所有聊天记录都没有了)

    退群了聊天信息还在吗(退群了之后是不是所有聊天记录都没有了)

  • 怎么把桌面上的软件隐藏起来(怎么把桌面上的图标隐藏)

    怎么把桌面上的软件隐藏起来(怎么把桌面上的图标隐藏)

  • wps表格过长如何显示(wps表格太长怎么缩短)

    wps表格过长如何显示(wps表格太长怎么缩短)

  • 为什么网易云音乐为什么没有网络(为什么网易云音乐没有周杰伦的歌)

    为什么网易云音乐为什么没有网络(为什么网易云音乐没有周杰伦的歌)

  • 怎么测试电话被拉黑了(怎么测试电话被拉黑又不让人察觉)

    怎么测试电话被拉黑了(怎么测试电话被拉黑又不让人察觉)

  • ps素材在哪下(下载ps素材)

    ps素材在哪下(下载ps素材)

  • 陌陌当日打招呼达上限怎么办(陌陌当日打招呼怎么关闭)

    陌陌当日打招呼达上限怎么办(陌陌当日打招呼怎么关闭)

  • 递延所得税负债账务处理
  • 会计所得税分录?
  • 国债利息收入要计入应纳税所得额吗
  • 一次性分红到期还本的会计分录
  • 微信转账报销怎么转换成文字
  • 银行存款利息收入要交增值税吗
  • 工程实际成本核算例题
  • 厂房怎么计提折旧费
  • 自建房屋房产税纳税义务发生时间
  • 非经营性费用包括哪些内容
  • 股票持有多久可以打新股
  • 购买设备送给客户帐务处理是怎样的?
  • 开出增值税发票没收到怎么抵扣进项税?
  • 应交印花税会计分录
  • 个人开具建筑服务发票
  • 增值税只有销项没有进项怎么做账
  • 在建工程如何抵扣个税
  • 离职补偿金如何计算
  • 物业公司怎么开展业务
  • 固定资产清理出售合同
  • 企业提供技术咨询服务的企税优惠政策
  • 不动产权时间怎么确认
  • 材料成本差异率要算发出材料吗
  • 增值税发票和电子发票都可以报销吗
  • 残疾人名下有房产可以申请残疾人补贴吗?
  • 如何获取windows最高权限
  • 主办会计工作主要做什么
  • 生育津贴的相关法律规定
  • 核定征收印花税计算公式
  • win10如何添加网络适配器
  • PHP:class_implements()的用法_spl函数
  • 企业购入设备涉及的税种
  • 现金日记账采用三栏式
  • 项目成本估算的结果一般不包括
  • 塔卡夫斯基镜子
  • thinkPHP5 tablib标签库自定义方法详解
  • 自动生成尺寸
  • chatteing
  • php接口开发详解
  • 付报刊费计入什么科目
  • 自建厂房流程
  • 土增税预征计征依据
  • mongo groupby
  • 管理费用的相关科目
  • 卖出看跌期权的最大损失
  • 一张报关单是可以报关吗
  • 小规模纳税人是什么意思
  • 利息收入交税不
  • 开发成本期末有余额吗
  • 物业建车棚谁出钱
  • 研发费用不一致说明
  • 银行代发工资当天改工资卡来得及吗
  • 折扣如何做账
  • 交易性金融资产的账务处理
  • 超市的商品品种繁多琳琅满目
  • 财付通交易手续费多少
  • 什么企业属于小型微利企业
  • sqlserver中存储过程
  • win8出现问题需要重启
  • windows media player播放不了mp4
  • xp系统本地用户和组在哪里
  • ubuntu添加环境变量后黑屏
  • win7小喇叭有个红叉
  • mac小技巧
  • 如何关闭win8快速启动
  • linux系统怎么关闭程序
  • 人物移动素材
  • Android游戏开发入门
  • cocos2dx怎么用
  • Javascript selection的兼容性写法介绍
  • unity点击播放声音
  • node.js使用mysql
  • jquery基础知识梳理
  • 住宿发票税率1%怎么回事
  • 黄南同仁县海拔多少米
  • 成都市武侯区地址
  • 取消税控盘服务费
  • 个人所得税自行纳税申报表a表填写模板
  • 深圳监狱在哪个位置
  • 2018年北京个人所得税查询
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设