位置: IT常识 - 正文

RGB与Depth融合方法总结(rgb to hex)

编辑:rootadmin
RGB与Depth融合方法总结

推荐整理分享RGB与Depth融合方法总结(rgb to hex),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:rgbd和rgb的区别,rgb合成公式,rgb to hex,rgb合在一起是什么颜色,rgb混在一起,rgb合在一起是什么颜色,rgb合在一起是什么颜色,rgb to hex,内容如对您有帮助,希望把文章链接给更多的朋友!

RGB与Depth融合方法总结(rgb to hex)

1:在MMFNet中作者提出了几种传统的融合方法,(a)将RGB和Depth首先concat然后经过卷积最后生成特征图。(b)将RGB和Depth分别进行卷积,然后再add融合。(c)将RGB和Depth先进行卷积,经过transformation,再经过反卷积,融合起来。(d)RGB和Depth分别卷积,将depth融合再分别经过卷积,最后经过反卷积。这些经典的方法仍然有参考意义。

2:MMFNet的融合方法,其中RCU模块就像是SENet的雏形,不过当时还没有提出注意力机制。MRF模块就参考了上图中的b。

3:我自己试过的通过ASPP来对RGB和Depth进行特征提取,但是效果很不好。类似于这一种,分别对RGB和Depth进行PPM或者ASPP操作,然后进行拼接,最后经过1x1卷积,效果都不够好,可以说不如注意力机制。 4:出自Deep Surface Normal Estimation with Hierarchical RGB-D Fusion,是用来预测表面法线的,还没有看,先挖个坑。 5:接着就是注意力机制,包括SA-Gate,将RGB和Depth进行拼接,然后经过global pooling操作,得到1x1卷积再与本身相乘,然后再经过拼接,经过softmax得到一个权重,与原始图片进行相乘,两个注意力都用到了,他的点在于图像的去噪,将图像分离,去噪,融合,再分离,再融合。 6:在ESANet中应用了SENet中的Sequeeze-and-Excitation模块,将RGB和Depth分别进行 Sequeeze-and-Excitation,经过通道注意力,会学到应该关注于那些通道,相当于某些通道乘了一个大的权重,然后再与深度进行融合。 6:除了应用SENet中即插即用的模块,CANet还应用了非局部注意力来融合RGB和Depth。这个方法在DANet的创新点上进行创新。 DANet: CANet: CANet意图很清晰,通过RGB和Depth进行非局部注意力,得到的权重乘以Depth,然后和RGB进行融合,分别在空间上和通道上进行注意力融合,得到的结果再进行1x1卷积和纹理融合,可以说融合的很充分了。

随便揣测一下,这些操作都像是非局部注意力和深度可分离卷积的变形,非局部注意力,通过两个modality进行注意力得到的权重乘以原来的图片,深度可分离卷积,通过卷积核来聚合多个通道的信息,在经过1x1卷积来进行空间的遍历。

综上这是目前看到的RGB和Depth融合策略,以后看到了再补充。 -------------------------------------------------------补充----------------------------------------------------------------------------------------------------- 7:最近读了一篇CMX**,是nyu数据集上排名第一的方法,包含了深度与RGB融合方法: 其中FRM模块与SA-Gate的方法十分类似,都是通过进行特征图校准来去噪,CMX通过逐通道校准和逐空间校准,最后生成两个输出,SA-Gate则是通过通道的压缩和聚合来实现的,不过本质上也是注意力。 除此以外CMX还是用了Transformer来进行特征的交互和融合,最后再通过一个通道编码得到最终输出。 ----------------------------------------------------------------------补充----------------------------------------------------------------------------------- 8:最近读了一篇FRNet,作者受到SA-Gate的启发,提出了一种跨层跨模态的融合策略。主要使用这种top-down结构,通过将高层次语义信息和低层次特征信息进行融合。 ----------------------------------------------------------------------补充----------------------------------------------------------------------------------- 9:这是一篇2022最新的文章,Attention-based Dual Supervised Decoder for RGBD Semantic Segmentation,没有代码。和之前的融合方法有差别,但是差别不大。每一层融合之后不连接,融合方法就是注意力,创新点主要是后面的双分支decoder。在depth分支上采样到最后起到了监督的作用。 ---------------------------------------------------------------补充---------------------------------------------------------------------------------- 10:TransD-Fusion:transformer用于RGB-D融合来进行语义分割,在两个分支encoder的尾部进行融合。通过自注意力,交叉注意力,深度引导三步进行融合。在NYU上的miou达到了55.5。其中融合的部位和CANet一样,融合的方法在CMX也使用到了,交叉的transformer注意力。 11:在看TransD-Fusion文章的时候,他引用了一篇文章PGDENet: Progressive Guided Fusion and Depth Enhancement Network for RGB-D Indoor Scene Parsing也是RGB-D融合的,我就进去看了一下架构图,和之前的FRNet几乎一样,模型很像,就不仔细看了。 主要看一下PCFM模块和DEM模块: 12:RGB‑D Gate‑guided edge distillation for indoor semantic segmentation文章引入了边界引导,RGB和Depth分别处理,其中融合的结果作为一条单独的分支进行传递。在边界特征部分用到了原始GT进行边缘提取的边缘损失。

本文链接地址:https://www.jiuchutong.com/zhishi/297492.html 转载请保留说明!

上一篇:nvm介绍、安装、报错处理以及使用(nvm安装教程)

下一篇:一天撸一个财务APP系统【安卓端+前端+后端】

  • 税务师入会与不入会冲突
  • 什么是销项税额抵减
  • 公司账户转账给个人怎么合理避税?
  • 房地产企业拆迁补偿费契税12366
  • 报销为什么不能多家赔付
  • 销售防疫物资免水洗手液需要什么许可证
  • 经营性应收项目和经营性应付项目
  • 小企业周转材料包括什么
  • 注册资本没缴足可以注销吗
  • 预收款结转收入怎么算
  • 增值税普通发票查询真伪
  • 投资款转为借款需要哪些证据
  • 不是单位职工个税怎么算
  • 筹备费用怎么扣税的
  • 发票一直显示报送中怎么处理
  • 只转让地上的建筑怎么办
  • 合伙企业收到对公转账
  • 实际发生坏账的账务处理分录
  • 政府补助专项资金账务处理
  • 药店 医保收入占比
  • 个税手续费返还要交企业所得税吗
  • 应付账款的暂估入账
  • 辞退补偿金额怎么做账
  • w10如何设置工作组
  • 期间费用计入产后成本吗
  • 捐赠支出汇算清缴需要调增吗
  • 实际成本法核算会计分录
  • 企业最佳资金结构
  • 现金折扣成本变动额
  • 阿尔莫什
  • opencv dng
  • 企业销售商品应该向购货单位收取的货款
  • 前端文件的上传和下载
  • ai与自动化有什么区别
  • 给工程项目买保险合法吗
  • python photoshop
  • 尚未进行抄报税无法申报是什么意思
  • 来料加工企业的划分标准
  • 奖金属于职工福利薪酬吗
  • php的do while语句
  • 施工企业的内部往来
  • 报销人和收款人是一个人
  • 盈余公积转增实收资本会计科目
  • 分派现金股利处理
  • 买车挂公司名下的坏处
  • 结转成本是什么凭证
  • 附加税减半征收政策是哪个文件
  • 资产的计税基础通俗理解
  • 盈余公积的计提基数
  • 公司没有销售收入
  • 实际收到货款分录
  • 用货款抵扣供应商成本
  • 100%直接控制的母子公司之间,母公司向子公司
  • 预付账款无法取得发票如何处理
  • win7旗舰版系统激活码
  • centos 安装
  • 怎么简单快速的拼成魔方六面
  • 苹果系统声音怎么设置方法
  • 如何设置macbook
  • centos获取权限
  • PACKAGER.EXE - PACKAGER是什么进程 有什么用
  • win7激活工具怎么使用
  • win10怎么将任务栏图标从长条改成圆形
  • 磁盘修复完成以后怎么办
  • win8.1系统更新
  • win8任务栏在底部不显示
  • 遮罩层在上还是在下
  • 老生常谈的近义词
  • Javascript WebSocket使用实例介绍(简明入门教程)
  • dos常用命令与批处理文件
  • js遍历获取指定数据
  • jquery动态效果
  • jquery jwt
  • python爬虫抓包
  • unity改vs版本
  • 城管大队长级别高吗
  • 车辆购置税税率多少
  • 宁波无犯罪证明能当场拿到吗
  • 陕西省税务局袁小平简介
  • 买新车的注意事项有哪些比较重要的
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设