遥感图像超分辨重建综述(遥感图像超分辨率 坑)

推荐整理分享遥感图像超分辨重建综述(遥感图像超分辨率 坑)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:遥感图像超分辨率,遥感图像超分辨率重建算法研究 源码realesrgan,遥感图像超分辨率 坑,遥感图像超分辨率重建,遥感图像超分辨是什么意思,遥感图像超分辨率重建博士后招聘,遥感图像超分辨率 坑,遥感图像超分辨率重建,内容如对您有帮助，希望把文章链接给更多的朋友！

最好的是基于GAN的方法

方法：

超分效果不佳，存在配准融合、多源信息融合等问题

超分效果不佳，存在配准融合、多源信息融合等问题

遥感图像超分辨率重建是对具有互补信息的低分辨率遥感图像进行处理,来获得高分辨率遥感图像的技术。

频域法

主要分为频谱解混叠算法,递归最小二乘法等,其 基于的理论前提过于理想化,不能有效地应用于 多个场合,所以目前这类方法已不再成为研究的主流。

空域法

空域法虽然灵活性好,但是它涉及帧内运动 模糊、光学模糊以及其他复杂的降质模型等许多因素,导致其优化方法复杂,计算的代价大,没能成为主流的方法。

频域-空域结合的方法

频域-空域结合的方法,虽然结合了频域法和空域法的优势,但运算复杂,计算量巨大,也没能成为主流的方法。

将低分辨率和高分辨率遥感图像对送入深度学习方法中,进行学习训练,得到低分辨率和高分辨率遥感图像之间的关系。再将低分辨率遥感图像送入训练好的深度模型中,得到重建后的超分辨率遥感图像。

第一个将 CNN 应用于超分辨率问题的方法。2016年Liebel 等首次提出将 SRCNN 用于单幅遥感图像超分辨率重建。该方法 没有考虑遥感图像尺度多样性的特点,所以重建效 果不太明显,于是人们根据遥感图像的尺度多样性特点,提出了许多基于多尺度特征提取的方法。

在 SRCNN 的基础上引入了残差网络,扩展了 SRCNN 的功能。由于遥感图像和自然图像有很大的不同,遥感图像中包含的物体和环境常常耦合在一起,而 且图像尺度跨度较大,但是目前大部分网络都是 在单个对象范围内构建字典或者先验知识,忽略了环境信息。于是，2017年，Lei 等提出一种基于 VDSR的网络, 称为局部-全局结合网络 ( local-global combined networks,LGCNet)。

该网络分为三个部分：

2018年，Xu 等也针对多个尺度提取特征的问题,提出深度记忆连接网络( deep memory connected network,DMCN)。 DMCN 是一种对称的沙漏结构CNN,具有多个跳跃连接。与 LGCNet相比,虽然它的重建效果只有略微的提升,但是内存占用量和测试时间大大减少了。

上面两项工作虽然都使用了多尺度特征提取 的方法,但是网络较深且结构单一,不能灵活适应多尺度特征，网络较深且结构单一,不能灵活适应 多尺度特征,于是2020年， Wang 等提出了一种用于遥感图像的超分辨率的自适应多尺度特征融合网络。 该方法提出了一种自适应多尺度特征提取模 块,该模块结合挤压激励网络和自适应门控机制。 通过该模块可以自适应地将提取的多尺度信息进行融合,该方法优于SRCNN、ESPCN、MSRN等经典方法。

是目前通用图像超分重建性能最好 的方法之一。

2019年，Ma等提出另外一种结合小波变换和带有局部、全局残差连接的 CNN 超分辨率网络结构 (WTCRR)。该网络带有局部和全局的残差连接，通过关注频域来解决超分辨率问题。

该网络有三个部分：

分解

将经过双 3 次插值的图像通过 2D 离散小 波变换分解为 4 张低分辨率图像

预测

把上一步分解出的 4 张图像输入到具有递归和 残差网络的 CNN 网络结构中,得到初步的预测结果

重建

将预测部分得到的图片通过逆离散 小波变换进行组合,重建出最终的高分辨率图像。

与 DRNN( deep recurrent neural network)相比,该方法重建后的图片边缘有所改进。

目前,适度放大单幅遥感图像空间分辨率 (例如×2,×3)的问题得到了有效的解决,但是高 放大因子(例如×4,×8)的遥感图像超分辨率重建 仍是个难题。2019年，×4,×8)的遥感图像超分辨率重建 仍是个难题。 Pan 等针对上述问题提出快速残差密集反投影网络( fast residual dense back projection network,FRDBPN)。 FRDBPN 采用上投影和包含特定卷积和扩张卷积序列的下采样单元,以及全局和局部残差连接。

2018年，Haut 等聚焦于生成模型,提出一种沙漏状的生成网络架构。 该网络以无监督的方式进行 训练。 生成网络由随机噪声作为输入,通过下采 样生成低空间分辨率数据,并传递给上采样结构, 如此反复优化最终生成高分辨率图片。在图像放大4倍时效果更好。

由于受噪声的污染,遥感图像恢复高频边缘细 节方面仍然需要改善。 于是2019年,Jiang 等提出一种基于生成对抗网络的边缘增强网络,该网络的生成网络由两个子网络组成,超密集子网( ultra dense sub network, UDSN ) 和 边 缘 增 强 子 网 ( edge enhancement subnetwork,EESN)。 当 UDSN 用于重 建图像时,重建结果看上去很锐化,边缘受噪声污 染严重,因此,专门设计了 EESN 通过学习噪声掩 码来增强边缘。 该方法比经典的 SRCNN、VDSR[10] 和 SRGAN方法的重建效果有很大提升。

用于遥感图像超分辨率重建的数据通常局限 于特定的位置和特定的传感器,所以导致不同位置和传感器之间推广模型的能力有限。于是 2020年，Xiong 等修改了 SRGAN 的损失函数和网络结构,并提出改进的 SRGAN( improved SRGAN,ISRGAN),该方法使得模型训练更加稳定,并增强了 泛化能力,实现遥感图像一次训练,就可以用于任何地方和不同的传感器。结果表明，使用ISRGAN 超分辨率重建之后的土地覆盖分类的准 确性可以得到显著提高,尤其在具有高分辨率纹理道路和建筑物上,准确率提高了 15%。

与单幅遥感图像超分辨率重建相比,多幅遥感图像超分辨率重建中包含有更多的互补信息,过程也更具有挑战性,需要解决多个低分辨率图像之间联合配准和融合等额外挑战。2020年，Deudon 等提出了HightRes-net 网络,首次将深度学习的方法引用到 多幅遥感图像超分辨率重建中,该方法以端到端的方式学习子任务。

子任务包括

HightRes-Net 是一种深层结构,通过参 考帧通道,学习将任意数量的低分辨率图像进行联合配准,然后进行上采样和超分辨率重建。

最后将得到的 ShiftNet 损失反馈到 HightRes-Net 模型中,得到重建图片。ShiftNet 损 失函数保证了多幅遥感图像的超分辨率重建不会因为配准不足,亚像素偏移等导致模糊的结果输出。

感图像的空间分 辨率和光谱分辨率的重建方法。 光谱图像包含数 百个波段,提供了丰富的光谱特征,每张图像代表不同电磁波段下场景的反射率和辐射率,这种物 理表示在许多应用中起着至关重要的作用,例如 遥感分类、目标检测和异常检测。 但是由于硬件 限制,收集高质量的高光谱图像比全色图像困难, 并且分辨率也较低,因此超分辨率重建技术也被引入到该领域。 以下是几种代表性方法。

2017年，Yuan 等将用在自然图像上预先训练的单图像超分重建方法 SRCNN 用来独立增强多 / 高光谱遥感图像的每个频段,并借鉴转移学习思想将其转化为高光谱图像。另外,为了研究低分 辨率和多 /高分辨率高光谱图像之间的光谱性质, 作者还提出了协作非负矩阵分解来增强低分辨率和高分辨率光谱之间的关联。

这篇文章也考虑了类似Yuan等人的思想先用自然图像训练拉普拉斯金字塔网络然后利用预训练好的的网络对多/高光谱遥感图像的每个波段进行超分辨率 重建;最后,利用编码光谱在低空间分辨率多/高光谱图像上训练,来提高多/高光谱分辨率。

大多数基于 CNN 的图像超分辨率重建网络, 都是使用默认的 L2 损失函数,但是对于高光谱图像,该损失函数可能会导致光谱不一致。多/高 光谱图像的超分,损失函数不仅应该关注空间信息,还要关注光谱信息。于是，2018年，仅应该关注空间信 息,还要关注光谱信息。 于是 Zheng 等提出一种同时考虑空间和光谱信息的多损失函数网络, 它由串联密集残差网络( concatenate dense residual network,CDRN)和损失网络( loss network,LN) 组成。 CDRN 是图像重建部分,LN 包括像素的空间损失和光谱损失,它驱动整个模型的学习。

对于单幅遥感 图像超分辨率重建方法的结果表明,使用基于 GAN 的结构,并在通用图像上进行预训练,PSNR 提升的更高,可以取得目前最好的重建效果。 对 于多 /高光谱遥感图像超分重建方法,PSNR 提升 明显较低,这主要是由于多 /高光谱遥感图像的特 殊性造成的,这一结果表明,同时利用空间和光谱信息,可以获得更好的性能。

参考文献：[1]成科扬,荣兰,蒋森林,詹永照.基于深度学习的遥感图像超分辨率重建技术综述[J/OL].郑州大学学报(工学版):1-9[2022-06-21].DOI:10.13705/j.issn.1671-6833.2022.05.013.