位置: IT常识 - 正文

【论文笔记】—低照度图像增强—Supervised—RetinexNet—2018-BMVC(论文笔记模板)

编辑:rootadmin
【论文笔记】—低照度图像增强—Supervised—RetinexNet—2018-BMVC 【论文介绍】

推荐整理分享【论文笔记】—低照度图像增强—Supervised—RetinexNet—2018-BMVC(论文笔记模板),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:论文知识点笔记,毕业论文笔记,毕业论文笔记,论文笔记怎么写,论文笔记怎么做,论文笔记怎么做,论文笔记怎么做,论文笔记模板,内容如对您有帮助,希望把文章链接给更多的朋友!

本文提出用自己制作的弱光/正常光图像对的弱光数据集LOL数据集,利用Retinex理论中的不同光照下的图片反射率是相同的这一特点让其共享反射率,通过一个分解网络和一个增强网络对低照度图片进行处理得到最终增强的结果。 

【题目】:Deep retinex decomposition for low-light enhancement【DOI】:10.48550/arXiv.1808.04560【时间】:2018-08-14上传于arxiv【会议】:2018 British Machine Vision Conference(BMVC)【机构】:北京大学【论文链接】:https://arxiv.org/abs/1808.04560【代码链接】:https://github.com/weichen582/RetinexNet【工程链接】:https://daooshee.github.io/BMVC2018website/【提出问题】

以前的方法受到反射和光照分解模型容量的限制,很难设计出适用于各种场景的有效的图像分解约束条件。此外,照明图的操作也是手工制作的,这些方法的性能通常依赖于仔细的参数调整。 

【解决方案】

提出了一种数据驱动的Retinex分解方法。建立了一个融合图像分解和连续增强操作的深度网络。首先,利用子网络—解压网络将观测图像分割为不依赖光线的反射率和结构感知的平滑光照。解压网络是在两个约束条件下学习的。首先,低/正常光图像具有相同的反射率。其次,光照图要平滑,但保留主要结构,这是通过感知结构的总变化损失得到的。然后,另一个增强网络调整光照图以保持大区域的一致性,同时通过多尺度连接来裁剪局部分布。由于噪声在黑暗区域往往更大,甚至在增强过程中被放大,因此引入了反射率去噪。

【创新点】用在真实场景中捕获的成对的低/正常光图像构建了一个大型数据集。LOL数据集:构造了一种基于Retinex模型的深度学习图像分解算法。分解网络与连续的弱光增强网络进行端到端训练,因此该框架具有良好的光状态调节能力。提出了一种结构感知的全变差约束用于深度图像分解。在梯度很强的地方,通过减轻总变化的影响,约束成功地平滑了照明图并保留了主要结构。【网络结构】

Retinex-Net框架的增强过程分为分解、调整和重构三个步骤。

在分解步骤中,子网络DECO-NET将输入图像分解为反射率R和照度I。 首先使用3 × 3卷积层从输入图像中提取特征。然后,采用几个以直线矫正单元(ReLU)为激活函数的3×3卷积层,对RGB图像进行反射率和光照映射。一个3×3卷积层从特征空间投影R和I,用sigmoid函数约束R和I在[0,1]的范围内。 它在训练阶段采用低光/正常光图像对,而在测试阶段仅采用低光图像作为输入。在低光/正常光图像具有相同反射率和光照平滑度的约束下,Decom-Net学习以数据驱动的方式提取不同光照图像之间的一致性R。

在随后的调整步骤中,基于Enhance-Net的编码器-解码器使照明变亮。引入多尺度拼接,从多尺度角度对光照进行调整,来保持光照与大区域中的上下文信息的全局一致性,同时调整具有集中注意力的局部分布。反射上的噪声也在该步骤中被去除。

最后,通过逐元素乘法来组合调整的照明和反射。对调整后的光照和反射率进行重建,得到增强后的结果。 

Enhance-Net 多尺度照明调整

编码器-解码器架构在大区域中获取上下文信息。输入图像被连续下采样到一个小尺度,在这个尺度上网络可以有一个大尺度光照分布的透视图。这给网络带来了自适应调整的能力。利用大规模光照信息,上采样块重建局部光照分布。通过逐元素求和从下采样块到其对应的镜像上采样块引入跳跃连接,这强制网络学习残差。

为了分层调整光照,即保持全局光照的一致性,同时调整不同的局部光照分布,引入了多尺度拼接。如果存在M个渐进上采样块,其中每个块提取C通道特征图,则我们通过最近邻插值在不同尺度上调整这些特征的大小到最终尺度,并将它们连接到C×M通道特征图。然后,通过1×1卷积层,将级联的特征简化为C个通道。随后是3×3卷积层以重构照明图^I。

下采样块由步长为2的卷积层和ReLU组成。在上采样块中,使用调整大小卷积层。如[19]所示,它可以避免伪影的棋盘图案。调整大小卷积层由最近邻域插值操作、跨距为1的卷积层和ReLU组成。

图像的尺度 :这里图像的尺度并非指图像的大小,而是指图像的模糊程度(σ),例如,人近距离看一个物体和远距离看一个物体模糊程度是不一样的,从近距离到远距离图像越来越模糊的过程,也是图像的尺度越来越大的过程。

【Retinex】 

R - 反射率:描述了被捕获物体的内在属性,被认为在任何光照条件下都是一致的。 I - 照度:代表物体上的各种亮度。在低光图像上,它通常会受到黑暗和不平衡的照明分布的影响。

本文先把S分解成R和I,然后对R和I进行调整得到^R和^I,最后把^R和^I重组得到最终增强的^S。

【损失函数】

L = 重建损失Lrecon + 不变反射率损失Lir + 照明平滑度损失Lis:

1、Deco-Net 重构损失 Lrecon

在第一步DECO-NET分解之后得到的R和I与S的重构损失 

2、不变反射率损失Lir【论文笔记】—低照度图像增强—Supervised—RetinexNet—2018-BMVC(论文笔记模板)

 约束反射率的一致性

3、结构感知的全变差最小化(TV)照明平滑度损失Lis

照明图的一个基本假设是局部一致性和结构感知,如[9]所述。换句话说,一个好的光照图解决方案应该是在纹理细节上平滑的同时仍然能够保持整体结构边界。 

为了使损失能反映图像的结构,对原始的TV函数采用反射图梯度加权。

其中,∇表示包括∇H(水平)和∇V(垂直)的梯度,λg表示平衡结构意识强度的系数。利用权重exp(-λg∇Ri),Lis放松了对反射梯度陡峭的地方的平滑度的约束,换句话说,图像结构所处的地方和照明应该不连续的地方。

全变差最小化 (TV):是将整个图像的梯度最小化的算法,经常被用作各种图像恢复任务的平滑先验。然而,直接使用TV作为损失函数在图像具有强结构或亮度剧烈变化的区域失效。这是由于统一的减少梯度的照明图无论该区域是文本细节或强边界。换句话说,TV损失是结构盲性的。光照模糊,反射率上留下强黑边,如图2(g)所示。

全变差最小化 (TV):[2] An augmented lagrangian method for total variation video restoration. paper

4、多尺度照明调整的 Enhance-Net 增强损失

照明增强网络采用编码器-解码器架构的整体框架。 为了从分层的角度调整光照,我们引入了多尺度连接,如图 1 所示。

Enhance-Net 的损失函数 L = 重建损失 Lrecon (Eq.6)+ 光照平滑度损失 Lis (Eq.5) 

Lrecon (Eq.6)在第二步Enhance-Net调整后的得到的^I和Rlow与Snormal的重构损失

【LOL数据集】包含 500 个低光/正常光图像对。原始图像被调整为 400×600 并转换为便携式网络图形格式。使用三步法来消除我们数据集中图像对之间的错位。

三步法消除低光/正常光图像对之间的错位:

第一步:获得两个正常光图像,称为 N1 和 N2。第二步:更改曝光时间和 ISO 以捕捉多张低光图像。第三步:将曝光时间和ISO重置为原始设置,获得另外两张正常光图像N3和N4。 分别计算四张图片 ground-truth 的均值 G 和 MSE(mean squared error 均方误差)的均值 M。当 M 值较大时,四个正常光图像之间存在严重的错位。因此,应从数据集中删除相应的对。阈值设置为 0.1。

三步法:[1] RENOIR - A Dataset for Real Low-Light Image Noise Reduction paper 

【实验结果】1、增强结果 

本文的方法在没有过度曝光的情况下,充分照亮了隐藏在暗亮度中的物体,得益于基于学习的图像分解方法和多尺度定制的光照图。 

2、增强和降噪联合的结果

Retinex-Net 更好地保留了细节,而 LIME 和 JED 模糊了边缘。

依赖于照明的去噪策略:

在 Retinex-Net 中使用 BM3D [3] 作为去噪操作。由于噪声在反射率上被不均匀地放大,使用照明相对策略。

在不同的区域中,噪声的大小不相同。通过将照明与原始图像分开来放大黑暗区域中的噪声。为了防止明亮部分的过度平滑和黑暗部分的噪声,采用了依赖于照明的去噪策略。 

其中I代表分解结果光照,Rt代表每次迭代t后的反射率,R0是R,BM3D(·)代表BM3D算法,σt是它的参数。 等式(4)和等式(5)为等式(6)生成照明引导图。 等式(4)删除已经清洁的区域,等式(5)加强噪声区域。 在等式(6)中,较暗的区域由 BM3D 去噪并与当前反射率相结合。 最后该操作迭代 3 次,UB1 = 1, α1 = 1, σ1 = 10, UB2 = 0.08, α2 = 10, σ2 = 20, UB3 = 0.03, α3 = 100 和 σ3 = 40。 

BM3D去噪操作:

如图所示,算法一共分为两阶段,第一阶段主要实现了一个基于patch的硬阈值滤波,第二阶段主要实现了一个基于patch的维纳滤波,这里注意,BM3D的处理都是基于patch进行的,其中硬阈值滤波的过程只是一个预滤波的过程,而实际的降噪结果是来自于第二阶段的维纳滤波。图像降噪算法——从BM3D到VBM4D_Leo-Peng的博客-CSDN博客

 BM3D: [3] Image denoising with blockmatching and 3d filtering paper 

本文链接地址:https://www.jiuchutong.com/zhishi/298325.html 转载请保留说明!

上一篇:使用 JavaScript 创建一个兔年春节倒数计时器(javascript创建对象及应用)

下一篇:package.json配置详解(package.json详解)

  • 赣通码黄边框怎么回事(赣通码金色边框)

    赣通码黄边框怎么回事(赣通码金色边框)

  • 顺丰批量寄件怎么操作(顺丰批量寄件怎么区分快递)

    顺丰批量寄件怎么操作(顺丰批量寄件怎么区分快递)

  • 触手tv怎么直播(触手直播在哪)

    触手tv怎么直播(触手直播在哪)

  • 手机自带录屏在哪里找 (手机自带录屏在哪里设置华为)

    手机自带录屏在哪里找 (手机自带录屏在哪里设置华为)

  • 闲鱼封永久会影响支付宝吗(闲鱼封永久会影响支付宝吗?)

    闲鱼封永久会影响支付宝吗(闲鱼封永久会影响支付宝吗?)

  • excel表格错位怎么弄(excel 表格错位)

    excel表格错位怎么弄(excel 表格错位)

  • 学信网上的照片可以下载吗(学信网上的照片可以自己上传吗)

    学信网上的照片可以下载吗(学信网上的照片可以自己上传吗)

  • 华为手机呼吸灯怎么关(华为手机呼吸灯在哪里设置方法)

    华为手机呼吸灯怎么关(华为手机呼吸灯在哪里设置方法)

  • miui开发版和稳定版有什么区别(miui开发版和稳定版切换)

    miui开发版和稳定版有什么区别(miui开发版和稳定版切换)

  • vivox30左侧按键的作用(vivox30左侧按键怎么不能用)

    vivox30左侧按键的作用(vivox30左侧按键怎么不能用)

  • 小米手机没有4g信号了怎么处理(小米手机没有4G网怎么回事?)

    小米手机没有4g信号了怎么处理(小米手机没有4G网怎么回事?)

  • 魅族16s来短信没声音怎么办(魅族16s短信图标不见了)

    魅族16s来短信没声音怎么办(魅族16s短信图标不见了)

  • 怎么在ios上下载哔咔(怎么在ios上下载不了软件)

    怎么在ios上下载哔咔(怎么在ios上下载不了软件)

  • 手机上面出现hd怎么取消(手机中出现hd)

    手机上面出现hd怎么取消(手机中出现hd)

  • 京东退货卖家不审核怎么办(京东退货卖家不同意怎么办)

    京东退货卖家不审核怎么办(京东退货卖家不同意怎么办)

  • 手机半角在哪设置(手机半角符号是什么样子的)

    手机半角在哪设置(手机半角符号是什么样子的)

  • 小米note3发烫解决方法(小米note烫手)

    小米note3发烫解决方法(小米note烫手)

  • 蚂蚁森林二手回收怎么刷能量(蚂蚁森林二手回收在哪里)

    蚂蚁森林二手回收怎么刷能量(蚂蚁森林二手回收在哪里)

  • oppok3怎样隐藏虚拟导航键(oppo怎么隐藏)

    oppok3怎样隐藏虚拟导航键(oppo怎么隐藏)

  • 快手里面的视频现在怎么下载(快手里面的视频怎么隐藏起来)

    快手里面的视频现在怎么下载(快手里面的视频怎么隐藏起来)

  • 网易考拉如何入驻(网易考拉怎么挣钱)

    网易考拉如何入驻(网易考拉怎么挣钱)

  • msworks.exe - msworks是什么进程 有什么用

    msworks.exe - msworks是什么进程 有什么用

  • 共享主机和 WordPress 主机之间的区别(共享主机和vps)

    共享主机和 WordPress 主机之间的区别(共享主机和vps)

  • JS——正则表达式(超详细)(js正则用法)

    JS——正则表达式(超详细)(js正则用法)

  • 微擎框架破解版v2.6.2去授权一键安装纯净商业版(微擎纯净框架,无任何限制)-电脑学习网(微擎框架安装教程)

    微擎框架破解版v2.6.2去授权一键安装纯净商业版(微擎纯净框架,无任何限制)-电脑学习网(微擎框架安装教程)

  • 税控盘服务费全额抵扣分录
  • 应纳所得税额的税率
  • 本月未记账凭证是什么意思
  • 提交印花税会计分录
  • 生产成本月末转到哪里
  • 加油电子普通发票可以抵扣增值税吗
  • 为在建工程发生的管理费用
  • 当月确认收入下年怎么算
  • 增值税留抵的原因
  • 外购材料委托加工分录
  • 退休人员是否还继续享受社保
  • 非独立核算分公司个税怎么申报
  • 用于研发的材料进项能否加计抵扣1%
  • 佣金发票可以抵扣吗
  • 反向吸收合并账务处理
  • 股东对外投资
  • 税号都对开户行错了影响抵扣
  • 研发费加计扣除做账务处理吗
  • 机票的保险费能开发票吗
  • mac系统怎么添加网络映射
  • 哪些发票可以作为替代发票
  • pqhelper.exe是什么进程 pqhelper进程查询
  • phppost带cookie提交
  • 贷款损失准备的作用
  • 计提未支付的费用
  • 利用漏洞每天获利万元
  • mysql事务执行流程
  • 二级资本债向谁发行
  • 免费GPU:九天•毕昇平台使用教程
  • PHP面向对象程序设计
  • 注意力机制cbam
  • uniapp零基础小白到项目实战
  • php数据统计源码
  • 房租的计算方式
  • 长期借款的核算分为哪三个阶段
  • 单一窗口出口报关流程
  • 工程施工会计科目是什么科目
  • 计提怎么理解
  • 增值税发票认证勾选平台
  • mysql命令行删除库中的所有表
  • 环保工程会计处理
  • 医院能开增值发票吗
  • 工程施工的间接费用年底可以不结转吗
  • 所得税的汇算清缴日在资产负债表日后期间
  • 查询发票真伪
  • 预付账款没有收到货怎么处理
  • 植物售卖
  • 纳税期限与缴库期限不符
  • 以货物抵应收账款的分录
  • 应收票据及应收账款怎么算
  • 进口形式发票能证明商品是进口的吗
  • 进项税额有抵扣期限吗
  • 购买汽车保险费是否做入固定资产
  • 法定盈余公积是什么
  • 主营业务收入包括哪些内容
  • mysql5.7.
  • window系统大全
  • ie11怎么打开ie8
  • kali渗透工具安装
  • SCHDPL32.EXE - SCHDPL32是什么进程 有什么用
  • mac如何搜索应用
  • pphelper是什么文件
  • css-1
  • python3.7内置模块
  • 深入浅出nginx实战
  • 服务器安全设备
  • js cookie用法
  • jquery的each循环
  • android基础入门教程
  • js从数组中选出最大的三个数
  • 税务局收垃圾处置费
  • 如何加强税务系统财务管理工作
  • 怎么查行业代码是多少
  • 企业所得税问题的研究论文
  • 税务局赵昭
  • 电子税务局年度申报流程
  • 代销手续费增值税会计处理
  • 在网上缴费后如何退款
  • 财税公司工资怎么样
  • 宁波购房契税退税条件
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设