位置: IT常识 - 正文

【图像超分辨率重建】——EDSR论文精读笔记(超分辨率图像复原)

编辑:rootadmin
【图像超分辨率重建】——EDSR论文精读笔记 2017-Enhanced Deep Residual Networks for Single Image Super-Resolution(EDSR)基本信息

推荐整理分享【图像超分辨率重建】——EDSR论文精读笔记(超分辨率图像复原),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:图像超分辨率应用,图像超分辨率应用,超分辨率图像复原,图像超分辨率算法研究,超分辨率图像增强,超分辨率图像处理,超分辨率图像在线生成,图像超分辨率重建,内容如对您有帮助,希望把文章链接给更多的朋友!

作者: Bee Lim Sanghyun Son Heewon Kim Seungjun Nah Kyoung Mu Lee 期刊: CVPR2017 引用: * 摘要: 随着深度卷积神经网络(DCNN)的发展,最近对超分辨率的研究取得了进展。 特别是,残差学习技术表现出改进的性能。 在本文中,我们开发了一种增强的深度超分辨率网络(EDSR),其性能超过了当前最先进的 SR 方法。 我们模型的显着性能改进是由于通过删除传统残差网络中不必要的模块进行的优化。 在我们稳定训练过程的同时,通过扩大模型大小进一步提高了性能。 我们还提出了一种新的多尺度深度超分辨率系统(MDSR)和训练方法,可以在单个模型中重建不同放大因子的高分辨率图像。 所提出的方法在基准数据集上显示出优于最先进方法的性能,并通过赢得 NTIRE2017 超分辨率挑战赛证明了其卓越性。

1.简介

介绍SISR的基本概念,并指出在大部分SISR研究中,HR和LR之间都是使用Bicubic,但在实际应用中也可以考虑其他退化因素,例如模糊、抽取或噪声。

近期的作品VDSR、DRCN、SRResNet等模型在PSNR上表现很好,但是仍有以下局限性:

神经网络模型的重建性能对微小的架构变化很敏感。此外,相同的模型通过不同的初始化和训练技术实现不同级别的性能。因此,精心设计的模型架构和复杂的优化方法对于训练神经网络至关重要。大多数现有的SR算法将不同尺度因素的超分辨率视为独立问题,而没有考虑和利用SR中不同尺度之间的相互关系。因此,这些算法需要许多特定尺度的网络,需要独立训练以处理各种尺度的问题。VDSR用多种尺度训练VDSR模型可以大幅提高性能,并优于特定尺度训练,这意味着特定尺度模型之间存在冗余。然而,VDSR风格的架构需要双三次插值的图像作为输入,这导致了与具有特定尺度上采样方法的架构相比更多的计算时间和内存SRResNet成功地解决了这些时间和内存问题,并具有良好的性能,但它只是简单地采用了He等人的ResNet架构,没有做太多修改。然而,最初的ResNet是为了解决更高层次的计算机视觉问题,如图像分类和检测。因此,将ResNet结构直接应用于低层次的视觉问题,如超分辨率,可能是次优的。

为了解决以上问题,基于SRResNet,本文作者进行了如下改进:

先通过分析和删除不必要的模块来优化它,以简化网络架构。用适当的损失函数训练网络,并在训练时仔细修改模型。其次,我们研究了从其他尺度训练的模型转移知识的模型训练方法。为了在训练中利用与尺度无关的信息,我们从预先训练的低尺度模型中训练高尺度模型。此外,我们提出了一个新的多尺度结构,在不同尺度之间共享大部分参数。与多个单尺度模型相比,所提出的多尺度模型使用的参数要少得多,但却显示出相当的性能

本文的方法是NITRE2017比赛的冠亚军。

2.相关工作插值法、统计学方法:预测详细、真实的纹理方面表现出局限性。传统机器学习:邻域嵌入、稀疏编码等深度学习方法:SRCNN,VDSR,DRCN(跳连接和递归卷积等)

在模型中,图像上采用一般有双三次预上采用和网络层上采用两种方式

预上采样:在一个单一的框架中处理多尺度问题。网络层上采用:不损失模型容量的情况下减少很多计算,特征的大小减少。

本文解决了多尺度训练和计算效率的两难问题。我们不仅利用了每个尺度的学习特征的相互关系,还提出了一个新的多尺度模型,有效地重建了各种尺度的高分辨率图像。此外,我们开发了一种适当的训练方法,对单尺度和多尺度模型都使用了多尺度。

3.超分辨EDSR方法3.1.残差块

残差网络在计算机视觉问题上表现出了从低级到高级任务的优异性能。成功地将ResNet结构应用于SRResNet的超分辨率问题,但我们通过采用更好的ResNet结构进一步提高了性能。

本文残差块示意图如图所示,我们从网络中删除了批量归一化层。由于批量归一化层对特征进行了归一化处理,它们通过对特征的归一化处理摆脱了网络的范围灵活性,因此最好将它们删除。我们的实验表明,这个简单的修改大大增加了性能。此外,由于批处理归一化层与前面的卷积层消耗相同的内存,因此GPU内存的使用也得到了充分的减少。

3.2.单尺度模型EDSR

提高网络模型性能的最简单方法是增加参数的数量。在卷积神经网络中,可以通过堆叠许多层或增加过滤器的数量来提高模型性能。残差块层数B(n_resblocks),卷积层特征通道数F(n_feats),占用O(BF)内存,参数有O(BF²),考虑到计算机内存,应该增加F。 然而,将F增加到一定程度以上会使训练过程在数值上不稳定。我们通过采用因子为0.1的残差缩放Mult(res_scale) 来解决这个问题。在每个残差块中,恒定的缩放层被放置在最后的卷积层之后。当使用大量的过滤器时,这些模块大大稳定了训练过程。在测试阶段,为了提高计算效率,该层可以被整合到前一个卷积层中。

EDSR-baseline模型——B=16,F=64,无残差缩放EDSR模型——B=32,F=256,残差缩放因子=0.1

训练加速:当训练我们的模型用于上采用系数3和4时,我们用预训练的2个网络初始化模型参数。这种预训练策略加速了训练,并提高了最终的性能。

3.3.多尺度模型MDSR【图像超分辨率重建】——EDSR论文精读笔记(超分辨率图像复原)

本文认为,多尺度的超分辨率是相互关联的任务。我们通过建立一个多尺度架构来进一步探索这个想法,该架构像VDSR一样利用尺度间的相关性的优势。

首先,预处理模块位于网络的头部,以减少来自不同尺度的输入图像的差异。每个预处理模块由两个具有5×5的内核的残差块组成。通过对预处理模块采用较大的内核,我们可以保持特定尺度部分的浅层,而在网络的早期阶段覆盖较大的感受野。在多尺度模型的末端,特定尺度的上采样模块被平行放置以处理多尺度重建。上采样模块的结构与上节所述的单尺度模型的结构相似。

MDSR-baseline模型——B=16,F=64,无残差缩放MDSR模型——B=80,F=64,无残差缩放

模型比较的结论:

从参数角度来看,3个不同尺度的EDSR-baseline模型共4.5M个参数,而MDSR-baseline模型只有3.2M个参数,参数少了很多,而可以达到相当的效果。

从模型的角度来看,MDSR和MDSR-baseline相比,MDSR的深度是MDSR-baseline的5倍,但只需要2.5倍的参数,因为残余块比特定尺度的部分要轻。同时,MDSR也显示出与特定尺度EDSR相当的性能。

模型基本参数特点上采样批量标准化残差缩放损失函数Self-ensembleEDSRB=32;F=256全局跳链接后上采样无有L1损失支持MDSRB=80主题部分参数共享后上采样无无L1损失支持4.实验4.1.数据集

本文使用DIV2K数据集(800Train,100Val,100Test),在Val上评估性能,同时也在另外四个标准基准数据集的性能:Set5 、Set14 、B100和 Urban100。

4.2.训练细节使用LR的RGB图像的48×48Patch(HR对应),随机水平翻转与90°旋转,ADAM优化器,Batch=16…单尺度(EDSR×2/3/4)训练:×2是从头训练,×3/4基于×2进行训练多尺度(MDSR)训练:用2、3和4中随机选择的尺度构建miniBatch。只有对应于所选尺度的模块被启用和更新。因此,对应于所选尺度以外的不同尺度的特定尺度残差块和上采样模块不会被启用或更新。使用L1损失来训练我们的网络。最小化L2通常是首选,因为它能使PSNR最大化。然而,L1损失比L2提供更好的收敛性。使用Torch7实现,NVIDIA Titan X GPU训练4.3.几何自集成(Self_ensemble)

为了最大限度地提高我们模型的潜在性能,我们采用Self_ensemble策略。具体流程如下:

测试时,翻转和旋转输入LR图像,生成7个图像(共8个),输入网络后得到8个相应的SR图像,对这些图像进行逆变换得到原始的LRs*,最后对LRs*求平均得到LRnew。

这种自集成方法比其他集成方法具有优势,因为它不需要对单独的模型进行额外的训练。特别是当模型大小或培训时间很重要时,这是有益的。尽管自集成策略使参数总数保持不变,但与需要单独训练模型的传统模型集成方法相比,它提供了大致相同的性能增益。本文使用“+”表示。几何自集成仅对对称下采样方法有效,例如双三次下采样。

4.4.验证(DIV2K)本文在DIV2K数据集上测试我们提出的网络。从SRResNet开始,我们逐渐更改各种设置以执行消融测试。我们自己训练SRResNet。首先,我们将损失函数从L2改为L1,然后按照上一节所述和表1所示对网络结构进行更改。上图为各模型的区别。在实验中对模型进行了30w次更新,评估DIV2K-Val的801-811共10张图片,使用PSNR(RGB,忽略6+scale边界)和SSIM参数结论1:对于所有比例因子,用L1训练的SRResNet比用L2训练的原始SRResNets的结果稍好。结论2:最后两列显示了我们最终的更大型号EDSR+和MDSR+使用几何自集成技术的显著性能提升。4.5.基准测试结果

使用本文最终的模型(EDSR、EDSR+,MDSR、MDSR+)与Bicubic,A+,SRCNN,VDSR,SRResNet等模型比较。模型使用100W次更新,Batch=16,其他设置和baseline相同,评估Set5 、Set14 、B100,Urban100,DIV2K数据集,使用PSNR(Y通道,忽略Scale边界)SSIM参数,使用Matlab进行评估结果(DIV2K验证结果是从发布的演示代码中获得的。)。结果可以看到效果还是很不错的。

5.NITRE2017超分辨挑战赛

比赛首页:https://data.vision.ee.ethz.ch/cvl/ntire17// 数据集首页:https://data.vision.ee.ethz.ch/cvl/DIV2K/ 比赛详情:

2017Track1:Bicubic赛道(×2/3/4)2017Track2:Unknown赛道(×2/3/4)2018Track1:Bicubic赛道(×8)2018Track2:Mild赛道(x4)2018Track3:Diffcult赛道(x4)2018Track4:Realistic赛道(x4)

本文为2017年的比赛的2个任务6个赛道均提交了2个模型(EDSR、MDSR),模型在所有6个赛道均中取得了第一第二的成绩。

6.结论本文提出了一种增强的超分辨率算法。通过从传统的 ResNet 架构中删除不必要的模块,我们在使模型紧凑的同时取得了改进的结果。我们还采用残差缩放技术来稳定地训练大型模型。我们提出的单尺度模型超越了当前模型并达到了最先进的性能。本文开发了一个多尺度超分辨率网络来减少模型大小和训练时间。通过尺度依赖模块和共享主网络,我们的多尺度模型可以在一个统一的框架中有效地处理各种尺度的超分辨率。虽然与一组单尺度模型相比,多尺度模型保持紧凑,但它显示出与单尺度 SR 模型相当的性能。

本文提出的单尺度和多尺度模型在标准基准数据集和 DIV2K 数据集中都取得了最高排名

代码实现

Torch版本代码:https://github.com/LimBee/NTIRE2017 Pytorch代码:https://github.com/sanghyun-son/EDSR-PyTorch/

本文链接地址:https://www.jiuchutong.com/zhishi/290793.html 转载请保留说明!

上一篇:解决:code ERESOLVE:ERESOLVE could not resolve 的报错问题(解决的英文)

下一篇:window.print() 前端实现网页打印详解(前端打印语句)

  • 怎样才能快速找到第一批种子粉丝?(怎样才能快速找到东西)

    怎样才能快速找到第一批种子粉丝?(怎样才能快速找到东西)

  • cod的全称是什么?(COD的全称是什么?)

    cod的全称是什么?(COD的全称是什么?)

  • 华为fig-al10是什么型号(fia-al10华为是什么型号)

    华为fig-al10是什么型号(fia-al10华为是什么型号)

  • 粘贴板记录在手机哪里找(粘贴板记录在手机哪里找华为)

    粘贴板记录在手机哪里找(粘贴板记录在手机哪里找华为)

  • 快手极速版红包挂件在哪开启(快手极速版红包领取失败请稍后重试)

    快手极速版红包挂件在哪开启(快手极速版红包领取失败请稍后重试)

  • 怎么修改学号字段的属性为文本型(修改学号excel)

    怎么修改学号字段的属性为文本型(修改学号excel)

  • 苹果查找定位对方手机会有提示吗(苹果查找定位对方手机有提示吗?)

    苹果查找定位对方手机会有提示吗(苹果查找定位对方手机有提示吗?)

  • oppo手机怎么设置短信拦截(oppo手机怎么设置下面三个按键)

    oppo手机怎么设置短信拦截(oppo手机怎么设置下面三个按键)

  • word编辑状态下,格式刷可以复制什么(word编辑状态下可以进行的操作是)

    word编辑状态下,格式刷可以复制什么(word编辑状态下可以进行的操作是)

  • 抖音设置了隐私,是不是只有自己可以看(抖音设置了隐私怎么添加好友)

    抖音设置了隐私,是不是只有自己可以看(抖音设置了隐私怎么添加好友)

  • windows源无效怎么回事(windows源无效是什么意思)

    windows源无效怎么回事(windows源无效是什么意思)

  • 钉钉补打卡怎么操作(钉钉补打卡怎么设置次数)

    钉钉补打卡怎么操作(钉钉补打卡怎么设置次数)

  • 段前段后间距12磅怎么设置(段前段后间距1行怎么设置)

    段前段后间距12磅怎么设置(段前段后间距1行怎么设置)

  • 交流电压和直流电压的区别(交流电压和直流电压的符号)

    交流电压和直流电压的区别(交流电压和直流电压的符号)

  • ids与ips的区别和联系(ids和ips设备位于网络中的什么位置)

    ids与ips的区别和联系(ids和ips设备位于网络中的什么位置)

  • 电脑主板带声卡吗(电脑主板带声卡和网卞吗)

    电脑主板带声卡吗(电脑主板带声卡和网卞吗)

  • 乐视忘记密码怎么办(乐视忘记密码怎么打开)

    乐视忘记密码怎么办(乐视忘记密码怎么打开)

  • 小天才z5充电在哪里冲(小天才z5充电慢怎么回事)

    小天才z5充电在哪里冲(小天才z5充电慢怎么回事)

  • 苹果手机换华为里面的东西怎么办(苹果手机换华为手机如何一键换机)

    苹果手机换华为里面的东西怎么办(苹果手机换华为手机如何一键换机)

  • 淘宝嘉年华什么意思(淘宝嘉年华什么时候出的)

    淘宝嘉年华什么意思(淘宝嘉年华什么时候出的)

  • 苹果手机怎么超过200下不了(苹果手机怎么超级截屏)

    苹果手机怎么超过200下不了(苹果手机怎么超级截屏)

  • Nginx同一端口部署多个前后端分离的vue项目(nginx同一个端口设置两个网站)

    Nginx同一端口部署多个前后端分离的vue项目(nginx同一个端口设置两个网站)

  • 为WordPress添加Google reCAPTCHA进行人机身份验证(wordpress neve)

    为WordPress添加Google reCAPTCHA进行人机身份验证(wordpress neve)

  • 月初没报完税可以开票吗
  • 关税的完税价格是什么意思
  • 水利建设基金怎么交
  • 奖金算不算工资薪金所得
  • 财政补贴收入要交印花税吗
  • 调减加计抵减额会计分录
  • 企业上缴税费总额怎么算
  • 社保代扣代缴怎么取消
  • 修理办公用复印机好吗
  • 纳税评估怎么办
  • 企业员工福利费管理制度内容
  • 注册资本的变更
  • 自产自销税点
  • 消费税的征收范围
  • 缴纳的社保费可以退吗怎么退
  • 已经提完折旧的固定资产报废
  • 所得税汇算清缴退款账务处理
  • 期间费用燃油费计入哪个项目?
  • 文化事业税收优惠政策
  • 过路费可以抵税吗
  • 具备以下条件
  • 税没申报不能领发票吗
  • macos monterey支持哪些显卡
  • win10网络带宽
  • 客运企业安全费用提取标准
  • 接入设备检测
  • 冷车启动缺缸热车正常已解决
  • 存货质量是什么意思
  • 城建税会计分录怎么写
  • hdaudpropshortcut.exe是什么进程 作用是什么 hdaudpropshortcut进程查询
  • 个体户要交哪些税怎么交
  • 存放同业款项和拆出资金在资产负债表中
  • 收到保险公司的赔款计入什么科目
  • 会计差错及账项调整
  • 劳务费支出计入什么科目?
  • 天堂之路歌曲
  • 土地使用税计入管理费用还是税金及附加
  • yolov8训练自己的数据集 Windows
  • 开源原则
  • php无限分类实现不实用递归
  • 一联发票可以开多少钱
  • 小企业会计准则应付税款法
  • 企业开具劳务费发票怎么开,税率多少
  • 长期挂账的"其他应收款"该怎么处置
  • 工资表中可以出现减号的情况吗
  • 政府专项补贴税收
  • mongodb的分片集群的组成部分
  • 有什么学电脑的网站
  • 有外币业务需不需要交税
  • 出售长期股权投资
  • 营利性幼儿园是什么意思
  • 内账会计的主要工作
  • 给销售培训产品该如何做
  • 差旅费中火车票的进项税怎么计算
  • 银行贷款每个银行一样吗
  • 期初固定资产算收入吗
  • 原材料采用实际成本法,在会计核算上应设置的账户是
  • 土地使用税和房产税是一起的吗
  • 收购票票样
  • 公司法人借款给企业属于关联交易吗?
  • 集资建房有维修基金吗
  • 销售费用明细科目里有什么
  • 大数据可以在等方面发挥作用
  • fedora怎么样
  • windows2000server安装过程
  • mac链接其他屏幕
  • 列举linux常用的版本
  • mac的分辨率怎么调
  • linux grub2
  • winxp显示设置
  • win10升级win1
  • 判断文件是否存在 java
  • js函数嵌套函数的return
  • javascript语言基础
  • js编写一个标准的单例模式类
  • python提取信息
  • 北京国税办税服务厅
  • 研发费用加计扣除2022政策
  • 内蒙古城镇土地使用税税率表
  • 四川农村信用社电话
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设