位置: IT常识 - 正文

RGB-T追踪——【多模态融合】Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline(rgbt目标跟踪)

编辑:rootadmin
RGB-T追踪——【多模态融合】Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline 目录RGB-T追踪算法简介HMFT图像互补信息融合【CIF】辨别力特征的信息融合【DFF】适应性决策融合【ADF】算法流程

推荐整理分享RGB-T追踪——【多模态融合】Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline(rgbt目标跟踪),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:rgbt跟踪,rgbquad,rgb(),rgb(),rgbquad,rgb(),rgbquad,rgbt跟踪,内容如对您有帮助,希望把文章链接给更多的朋友!

这篇论文既提出了一个大规模的RGB-T追踪的数据集,也相应提出了一个Baseline,在现有多个数据集上 GTOT / RGB210 / RGB234 上获得了最好的性能。 关于这篇论文中数据集相关的信息请见这篇博客RGB-T追踪——【数据集基准】GTOT / RGBT210 / RGBT234 / VOT-2019-2020 / LasHeR / VTUAV

HMFT:论文 数据集

RGB-T追踪算法简介

通常RGB-T追踪器主要用了RGB追踪器相似的pipeline,然后聚焦于设计一个两模态融合方法。现有的融合方法主要分为:图片融合、特征融合、决策融合三类。

【图片融合】:利用BackBone网络,以共享权重的方式学习可见光图片和热红外图片的图片特征,并且学出来的这个共享权重相当于取了可见光图片和热红外图片中对定位目标有用的一致的信息。这种方法存在的缺陷是需要可见光图片和热红外图片高度对齐。【特征融合】:大多数Tracker是融合可见光图片和热红外图片的特征。这里也有两种融合:1. 用一个模态作为辅助模态对另一个模态进行refine;2. 先直接把两个模态的特征拼接(通常按channel-wise),再通过深度网络学习一个新的两个模态交互后的特征。这种方法的优点是灵活性高,对图片的对齐要求不高。【决策融合】:每个模态独立输出对目标的估计,以response map的形式,然后再融合这两个模态的决策,输出一个final score。HMFT

这个模型就容纳了以上这三种融合方法。模型图如下,可以看到 HMFT 框架有两个分支:Discriminative bransh 分支和Complementary bransh 分支。主要由3个主要模块组成:CIF / DFF / ADF。

Discriminative bransh 分支:Complementary bransh 分支 :图像互补信息融合【CIF】

这个模块的作用是学习两个模态中目标相关的一致性信息。

模块的输入:IvI_vIv​和ItI_tIt​分别表示RGB图片和Thermal图片。蓝色部分是提取互补信息的网络【Comp. Backbone】,即ResNet50,共享权重,提取共同的特征。这里的LdivL_{div}Ldiv​是KL-散度的Loss函数,作用是为了保持这两个模态的一致性,用KL散度约束特征的分布。所以在训练的时候,学习的目标函数就是使这两个backbone网络输出的特征尽可能相同。也相当于考虑了一致的信息。目标函数如下: 其中PviP_v^iPvi​和PtiP_t^iPti​分别表示visible图片和thermal图片在ResNet50第iii层的特征。所以这是每层特征的KL散度之和求最小。输出是按channel-wise拼接起来的特征Pa∈R2C∗H∗WP_a \in \mathbb{R}^{2C*H*W}Pa​∈R2C∗H∗W,原本的特征维度为Pv/t∈RC∗H∗WP_{v/t} \in \mathbb{R}^{C*H*W}Pv/t​∈RC∗H∗W。辨别力特征的信息融合【DFF】RGB-T追踪——【多模态融合】Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline(rgbt目标跟踪)

这个模块的作用是学习两个模态信息中不同的具有判别力的信息。RGB图像可以提供强大的外观信息;红外图像可以提供目标轮廓有关的信息。所以先单独对着两个模态建模,生成特征再融合。具体流程如下:

模型的输入:Backbone网络对两个模态独立输出特征FvF_vFv​、FtF_tFt​

蓝色框:将FvF_vFv​、FtF_tFt​通过对应元素相加(Elem.Sum)合起来,经过一个全局平均池化(GAP)和全连接层(FC)得到一个全局向量dgd_gdg​,包含了两个模态的信息。公式表达如下:这里DvD_vDv​、DtD_tDt​就是对应FvF_vFv​、FtF_tFt​,应该是笔误。

橙色框:利用两个独立的模态专属全连接层ϝv\digamma_vϝv​、ϝt\digamma_tϝt​+softmax操作生成模态专属的channel-wise的权重wvw_vwv​,wt∈RC∗1∗1w_t\in \mathbb{R}^{C*1*1}wt​∈RC∗1∗1。 #pic_center)

红色框:用计算出的权重wvw_vwv​,wtw_twt​用channel-wise乘法的方式与最初的模态特征FvF_vFv​、FtF_tFt​相乘,再相加。

模块的输出:融合后的特征DaiD_a^iDai​

适应性决策融合【ADF】

这个模块的作用是基于CIF、DFF 分支独立输出的特征图,计算这些特征图的置信度,根据置信度计算这些特征图的权重对特征图加权,再产生最终的特征图。

模块的输入:CIF、DFF 分支独立输出的特征图PaP_aPa​和DaD_aDa​。MAM 模块的作用是基于自注意力机制分别获取一致性分支和判别力分支置信度McM_cMc​、MdM_dMd​。具体操作是:对于输入的特征XXX,也就是上面的PaP_aPa​和DaD_aDa​,先通过1*1的卷积降低特征维度(为了降低计算量),再经过Reshape操作,将XXX的shape从C×W×HC \times W \times HC×W×H变成C×WHC \times WHC×WH,作为自注意力机制中的特征嵌入,得到HW×CHW \times CHW×C的特征,再对channel加和再reshape得到H×W×1H \times W \times 1H×W×1的模型置信度。计算如下: 将McM_cMc​和MdM_dMd​ 拼接起来,输入到一个两层的Encoder-Decoder网络中,得到模态各自的权重Ec,Ed∈RH∗WE_c, E_d \in \mathbb{R}^{H*W}Ec​,Ed​∈RH∗W。这个权重对CIF、DFF 分支独立输出的响应图RcR_cRc​和RdR_dRd​作element-wise乘(加权操作)得到RFR_FRF​。 RF=Rd⊙Ed+Rc⊙EcR_F=R_d \odot E_d+R_c \odot E_cRF​=Rd​⊙Ed​+Rc​⊙Ec​算法流程

对于当前的追踪图片

两个分支Discriminative branch和Complementary branch 分别采用特征融合方法和图片信息融合方法得到目标响应图;利用ADF,对两个分支Discriminative branch和Complementary branch 的响应图进行融合,生成最终响应图;利用DiMP中IoU预测模块,对最终响应图中取10个proposal,再对proposal预测IoU分数,取分数最高的三个proposal作平均,输出最终的预测边界框。

QQQQQ QQ Q

本文链接地址:https://www.jiuchutong.com/zhishi/292356.html 转载请保留说明!

上一篇:如何实现chrome谷歌浏览器多开(独立环境 独立cookie)(chrome怎么用谷歌)

下一篇:农业病虫害数据集与算法——调研整理(2020年农业病虫害)

  • 软件产品即征即退条件
  • 财务软件属于哪种软件
  • 进项税额转出会影响利润吗
  • 娱乐行业缴纳的税收
  • 编制支出加工费的会计分录
  • 增值税 不含税
  • 退休后兼职收入需要交税吗
  • 开发商买商铺
  • 外贸公司的出口清单
  • 小规模纳税人出售不动产征收率
  • 无运输工具承运业务按何税目缴纳增值税
  • 劳务派遣差额部分可以开专票吗
  • 销售营改增之后取得的固定资产
  • 淘宝的电子发票怎么看
  • 餐饮企业员工
  • 股息收入属于应税收入吗
  • 开票退回怎么做账
  • 预收房款属于什么科目
  • 物业公司收的预存水费不够抵减怎么交税
  • 坏账准备年底有余额吗
  • 季度所得税可以不预缴吗
  • macbookair网页全屏
  • 喀拉拉邦地理位置
  • 房产税计税的税率可分为
  • php商品对比功能怎么用
  • laravel实战教程
  • JavaScript includes() 方法
  • 企业如何做账报税流程
  • 基于yolov5的目标检测实验任务
  • 凯斯西储大学在哪个城市
  • 城市维护建设税减免税优惠政策
  • HTML常用标记
  • 资产减值损失一经计提不得转回
  • 公司内部现金管理制度
  • 品牌代理费计入什么费用
  • 税务发票红字发票怎么开
  • rbac权限管理设计
  • 固定资产原值和净值的区别
  • 递延收益核算哪些内容
  • 自然人个税申报密码怎么获取
  • db2数据库安装服务器的环境
  • 累计预扣法税率表
  • 员工发放福利会计分录
  • 公司进项抵税
  • 怎样计提税金及附加
  • 管理费用主要核算哪些内容
  • 收到货款未开发票是否违法
  • 跨年取得的费用票怎么做账
  • 新开立银行账户怎么办理
  • 采购的样品没有发票怎么入账
  • 发票上有银行流水号吗
  • 企业财务费用属于
  • 票据贴现的分录
  • 过路费属于差旅费还是办公费
  • 税金及附加有啥
  • 资本公积可以随便增加吗
  • 税收奖励账务处理
  • winds密码忘记了
  • ubuntu更新版本
  • avsched32.exe是什么进程 avsched32进程有什么作用
  • sdis.exe
  • WIN7系统共享文件夹 您没有权限访问
  • centos进入指定目录
  • win10系统应用和功能中不能卸载
  • unity中mathf
  • opengl版本太低怎么升级
  • JavaScript浏览器扩展
  • webpack使用ejs
  • Tree、Unformat、Vsafe命令的区别与使用说明
  • 关于中国天气的新闻报道
  • android反编译smali
  • 鼠标滑动页面缩放取消
  • NGUI之UICamera
  • jquery td
  • jquery图片放大效果
  • Android-Universal-Image-Loader最新框架解析
  • python定制函数
  • 车辆购置税可以抵税吗
  • 个人出租平台有哪些
  • 企业少缴社保怎么补偿
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设