位置: IT常识 - 正文

DEFORMABLE DETR详解(deformable detr代码)

编辑:rootadmin
DEFORMABLE DETR详解 1.解决问题DETR需要比现有的目标检测器更长的训练时间来收敛。 DETR在检测小物体方面的性能相对较低,并且无法从高分辨率特征地图中检测到小物体。可变形卷积可以识别重要特征,但是无法学习重要特征之间的联系

推荐整理分享DEFORMABLE DETR详解(deformable detr代码),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:define format,deform详细教程,deformable convolution,deformable to rigid,deformable detr代码,define format,deformable to rigid,deformable detr代码,内容如对您有帮助,希望把文章链接给更多的朋友!

        transformer组件在处理图像特征图中的不足。在初始化时,注意模块对特征图中的所有像素施加了几乎一致的注意权重。长时间的训练周期是为了学习注意权重,以关注稀疏的有意义的位置。另一方面,transformer编码器中的注意权值计算是二次计算w.r.t.像素数。因此,处理高分辨率的特征映射具有非常高的计算和内存复杂性。

2.核心思想

        Deformable DETR,它的注意模块只关注一个目标周围的一小部分关键采样点。Deformable DETR可以获得比DETR(特别是在小物体上)更好的性能,在训练时间少10×的时期。 

3.实施细节

        可变形注意模块无论特征图的空间大小如何,都只关注参考点周围的一小组关键采样点(reference point)。通过为每个queries只分配少量固定数量的keys,可以缓解收敛性和特征空间分辨率的问题。 

        对于初始化,首先初始化采样附近的n个点(默认为4),即认为附近的点的特征对该点的关系最强,但是一定是吗?不一定,那么我们可以通过网络学习,偏移到关系最强的点。但是神经网络学习到的偏移不一定是小数,怎么办呢?那么我们就可以通过周围的点进行插值得到该点的特征。

 公式详解:

DEFORMABLE DETR详解(deformable detr代码)

         表示初始的采样的关键点,表示偏移量,表示特征的权重,即表示特征映射,

表示queries与keys的点乘,即注意力,其中和都是通过全连接而来。

        如下图所示, 表示特征图上的原始特征,经过全连接层做特征映射,同时采样出3个采样点。同时经过全连接层可得到注意力权重(qk)

  Multi-scale Deformable Attention Module. 

设为输入的多尺度特征映射(特征金字塔),其中。表示尺度信息,为每个queries的参考点的归一化坐标,即因为有多个尺度,需要将绝对坐标转为相对坐标,则应用多尺度可变形注意模块为

        外部的m表示多头注意力机制,L表示特征金字塔的维度,作者可能认为不同尺度同一位置的特征相似,因此,做相加操作。K表示采样的特征点

4.整体架构

         对于输入图片,首先经过Multi-scale Deformable self-Attention选取特征点,并做特征映射,生成向量,对于位置编码,有两种,一种是在相对位置编码加上绝对level级别编码,另外一种是加入可学习的level编码。然后输入decoder中,对于decoder,首先初始化300个初始化向量,经过self-Attention的处理,然后与ecoder特征做注意力运算,最后做预测。

 5.预测头的设置

        Iterative Bounding Box Refifinement. 建立了一种简单有效的迭代边界框细化机制,以提高检测性能。在这里,每个解码器层根据上一层的预测来细化边界框。        

        Two-Stage Deformable DETR. 在原始的DETR中,解码器中的对象查询与当前图像无关。受两阶段目标探测器的启发,我们探索了可变形DETR的一种变体,用于生成区域建议作为第一阶段。生成的区域建议将被输入解码器作为对象查询以进一步细化,形成一个两阶段可变形的DETR。         在第一阶段,为了实现高召回率的建议,多尺度特征图中的每个像素都将作为一个对象查询。然而,直接将对象查询设置为像素会给解码器中的自注意模块带来不可接受的计算和内存成本,其复杂度随着查询的数量呈二次增长。为了避免这个问题,我们去掉了解码器,并形成了一个仅限编码器的可变形的DETR,用于区域提案的生成。在它中,每个像素被分配为一个对象查询,它直接预测一个边界框。得分最高的边界框被选为区域提案。在将区域提案提交到第二阶段之前,不应用NMS。

本文链接地址:https://www.jiuchutong.com/zhishi/300391.html 转载请保留说明!

上一篇:Three.js一学就会系列:05 加载3D模型(three.js入门指南)

下一篇:【微信小程序】条件渲染和列表渲染(微信小程序开发)

  • 应纳税所得额高了好还是低了好
  • 增值税结转会计科目
  • 一般纳税人开出的普票算销项税额吗
  • 纳税申报的基本内容有哪些
  • 个体工商户怎么注销
  • 公司费用计入什么科目
  • 什么是居民纳税人
  • 企业所得税纳税人包括哪些类型
  • 收回员工社保入什么科目
  • 屋面维修按定额预算明细表
  • 上市公司发行股票可以自行销售吗
  • 普通股股本属于什么科目
  • 行政单位发放的政府补贴款
  • 计提房屋租赁费
  • 进项税暂估收入的税务处理
  • 税控盘280减免代码
  • 失控发票怎么做账处理
  • 工程发票需要进项吗
  • 广告公司文化事业建设费申报表如何填写
  • 定期存款利息收入现金流
  • 质保金怎么挂账
  • 教育费附加免征还计提吗
  • 旅行社差额征税如何开票
  • 劳务费和服务费一样吗
  • 怎么更改mac
  • 电脑怎么一键返回到桌面
  • 营业外支出的核算内容包括
  • s3tray2.exe - s3tray2是什么进程 有什么用
  • 债转股适用范围
  • 未付款的增值税发票可以抵扣吗
  • 收到发票未抵扣需要做账吗
  • 福利企业退税计入哪个科目
  • 增值税发票红冲后税款怎么办
  • thinkphp框架介绍
  • php笔记程序
  • 坏账准备怎么做资产负债表
  • 金阁寺屋顶
  • wordpress文章编辑使用教程
  • php排行
  • 红包生成算法
  • 认缴制和实缴制的区别
  • saas web
  • 股权转让 减资
  • 报销加油费怎么做账
  • 出版社出版带有编码吗
  • 摄影的服务注册是什么
  • 辞退补偿金的标准
  • 未投入使用的固定资产折旧计入什么科目
  • 税盘连接服务器失败
  • 个体工商营业执照注销需要缴费吗
  • 实收资本在核算上有哪些要求
  • 为什么小规模不可以收专票
  • 财务规定保险柜存放现金最多不超过多少
  • 公司投资者如何避免风险
  • 年终缴税比例
  • 印花税的计税依据及税率
  • 如果是车间不生气怎么办
  • 预交了增值税款可以退吗
  • 公司劳务过账的法律依据
  • 小型企业介绍怎么写
  • 房地产行业人工成本占比
  • mysql alter table修改表命令整理
  • sqlserver 错误6005
  • 找回被删除的文件时第一步应该是什么
  • freebsd11.3安装教程
  • ubuntu限制cpu个数
  • w10开发者模式
  • win10的蓝屏界面
  • 双系统其中一个系统无法开机
  • win8.1玩游戏好不好
  • 人机交互编程
  • html图像元素
  • unity intercom
  • 详谈左晖
  • 严苛认证
  • jquery编写Tab选项卡滚动导航切换特效
  • 河北省电子税务局网上申报
  • 福建税务局网上办税
  • 特殊工种作业人员
  • 日本各界
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设