位置: IT常识 - 正文

目标检测DiffusionDet: Diffusion Model for Object Detection(目标检测选SSD还是YOLO)

编辑:rootadmin
目标检测DiffusionDet: Diffusion Model for Object Detection

推荐整理分享目标检测DiffusionDet: Diffusion Model for Object Detection(目标检测选SSD还是YOLO),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:目标检测选SSD还是YOLO,目标检测yolo算法,目标检测算法,目标检测算法,目标检测算法,目标检测数据集,目标检测map达到多少比较好,目标检测选SSD还是YOLO,内容如对您有帮助,希望把文章链接给更多的朋友!

先贴一张流程图:

github:GitHub - ShoufaChen/DiffusionDet: PyTorch implementation of DiffusionDet (https://arxiv.org/abs/2211.09788)

pdf: https://arxiv.org/abs/2211.09788

Abstract: 本文提出了一个新的框架DiffusionDet,将目标检测问题构建为一个从带噪框到目标框的降噪扩散过程。在训练阶段,目标框从GT框扩散到随机分布,模型学习如何逆转这个噪声过程;在推理阶段,模型将一系列随机的框逐步改善为输出结果。在MS-COCO和LVIS数据集上,DiffusionDet和已有的目标检测器相比具有较好的性能。本文在目标检测方面带来了两个重要发现:1. 随机的框虽然和预设的anchors或者学习好的queries有很大的不同,但也是有效的目标候选者;2. 目标检测这种代表性的感知任务,也可以通过生成方式解决。

1. Introduction

目标检测的背景:目标检测旨在预测一组边界框和目标的相关类别标签。做为一项基础的视觉识别任务,他已经称为许多相关任务的基石,如实例分隔,位姿估计,行为识别,目标跟踪,视觉关系检测等。

现有的目标检测方法:近年来目标检测方法随着目标候选的发展而不断改进,从经验对象先验(empirical object priors)到可学习目标查询(learnable oject queries)。具体地,大多数检测器通过对基于经验设计的目标候选定义一个代理回归模块(surrogate reegression)和一个分类模块来解决检测问题,比如滑动窗口(sliding windows),区域建议(region proposals),锚框(anchor boxes),和参考点(reference points)等。最近,DETR提出可学习的目标查询(learnable oject queries)来避免很多手动设计的网络模块并提出了一个端到端的检测pipeline,在基于查询的检测范式上吸引了大量的关注。

已有方法的缺点和本文动机:尽管以上这些检测方法有着简单且有效的设计,但他们还是依赖于a fixed set of learnable queries. 因此,本文提出一个问题:是否存在一个简单的方法不需要the surrogate of learnable queries?

本文核心思想:本文设计了一个新颖的检测框架,从一系列随机框中直接检测目标。随机的目标框不包含任何可学习的参数,即在训练阶段不用优化它,本文期盼渐进地改善这些框的位置和尺寸直到他们很好地覆盖了目标。这种noise-to-box的方法不需要任何启发式的目标先验或者可学习的queries,进一步简化了目标候选并推动目标检测的发展。如下图所示,noise-to-box的思想在降噪扩散模型中类似于noise-to-image的过程,noise-to-image是一类基于概率的模型通过可学习的降噪模型来逐渐移除噪声从而生成图像。扩散模型已经在许多生成任务上取得了巨大的进展,并开始在感知任务上探索。然而,扩散模型还从未在目标检测任务上成功应用。

DiffusionDet流程:本文提出DiffusionDet, 将目标检测任务看作是目标框在位置(center coordinates)和尺寸(widths and heights)上的生成任务。在训练阶段:向GT框添加由a variance schedule控制的高斯噪声;然后这些带噪的框在backbone encoder得到的特征图上裁剪RoI区域的特征,继而进行训练以预测无噪的GT框。通过该训练阶段,DiffusionDet能从任意的框中预测到GT框。在推理阶段,DiffusionDet通过逆转扩散过程生成边界框,其调整了噪声先验分布到边界框的分布上。

DiffusionDet的两大优势:DiffusionDet的noise-to-box的流程具有once-for-all的优势:可以仅训练网络一次,用相同的网络参数在推理阶段的各种各样的设置。

Dynamic boxs: 将随机框做为目标候选,DiffusionDet可以用N_{train}任意的框训练同时用N_{eval}任意的框测试,这里N_{eval}是任意的不需要等于N_{train}。Progressive refinement: 扩散模型帮助DiffusionDet迭代地改善,可以挑战降噪采样的步数来提升检测精度或者加速推理。因此,DiffusionDet非常灵活可以是应用各类对精度和速度需求不同的检测场景。

实验结果:在MS-COCO数据集上对DiffusionDet进行测试,ResNet-50做为backbone, DiffusionDet使用单采样步骤实现了45.5的AP,比Faster-RCNN(40.2 AP)和DETR(42.0 AP), Sparse R-CNN (45.0 AP)明显更好。此外,增加DiffusionDet的采样步数可将其AP值增加至46.2。现存的其他技术就没有这样的改善属性而且以迭代地方式评价时性能会显著下降。此外,在LVIS上进行了测试,DiffusionDet对长尾数据集的性能也很好,在Swin-Base backbone下实现了42.1的AP。

本文的贡献如下:

将目标检测构建为生成式降噪过程,这是第一个应用扩散模型到目标检测任务的研究;这种noise-to-box的检测范式有一些非常好的特性,比如对于动态框和渐进改善的过程解耦了训练和评价阶段;在MS-COCO和LVIS数据集上进行了实现,效果良好。2. Related Work

Object detection. 大部分现在的目标检测方法在经验目标先验(empirical object priors, 如proposals, anchors, points)上执行框回归和类别分类。近期,Carion提出DETR通过一些列固定的learnable queries来检测目标。自此,基于query的检测范式吸引了大量地关注。本文中通过DiffusionDet推动目标检测范式的发展,DiffusionDet和其他类型的检测方法的对比如下图。

目标检测DiffusionDet: Diffusion Model for Object Detection(目标检测选SSD还是YOLO)

 Diffusion model. 做为一类深度生成模型,扩散模型从具有随机分布的样本开始并通过逐渐降噪过程恢复数据。扩散模型最近在计算机视觉、自然语言处理、语音处理、扩学科领域已经实现了显著的结果。

Diffusion model for perception tasks. 扩散模型在图像生成已经展示了巨大的成功,启用于鉴别式任务的潜力还未被探索。一些之前的工作试图将扩散模型用于图像分割任务,比如,Chen使用Bit扩散模型用于图像和视频的全景分隔。尽管这个想法很有趣,但是还没有研究成功地将生成式扩散模型用于目标检测中,其进展明显滞后于分割任务。作者猜想可能是因为分分割任务以image-to-image的形式处理,其在概念上更接近图像生成任务,而目标检测任务是一个集合预测问题,他需要分配目标候选到GT目标上。

3. Approach3.1 Preliminaries

Diffusion model. 扩散模型受到非平衡态热力学启发,是一类likelihood-based模型。这些模型以马尔科夫链定义了扩散前馈过程,向样本数据中逐渐添加噪声。前馈的加噪过程,训练过程,推理过程展示如下:

3.2 Architecture

因为扩散模型以迭代的方式重建样本,它需要在推理阶段运行网络多次。但是,在每个迭代步骤中直接将网络应用于原始图像在计算上是难以处理的。因此,本文将这个模型分为了2个部分:image encoder和detection decoder。前者只运行一次用于从原始图像中提取深度特征,后者将深度特征做为条件,渐进地改进目标框预测。

Image encoder. 用ResNet, Swin, Feature Pyramid network

Detection decoder. 借鉴Sparse R-CNN, 检测解码部分将一系列建议框裁剪的ROI特征送入检测头中获得框的回归和分类结果,本文的检测解码部分包括了6个级联阶段。本文和Sparse R-CNN的区别在于:

DiffusionNetSparse R-CNN在推理阶段,从多个随机框开始在推理阶段,用了一个learned boxes的固定集合只需要建议框以建议框和对应的特征为输入对以迭代采样的方式重利用检测头只在前馈阶段使用检测编码部分一次3.3 Training

训练过程的伪代码如下图所示,即加噪并训练模型来恢复数据

3.4 Inference

推理过程的伪代码如下图所示,即降噪得到目标框

Sampling step. 在每个采样步骤中,随机框或者上一次采样的估计框被送入检测解码器中来预测目标类别和框的坐标。在获得当前步骤的框时,DDIM用于估计下一步的框。此外,不使用DDIM也行,但性能会大大下降。

Box renewal. 在每次采样后,预测框可被粗糙地分为2类:desired 和undesired预测。desired预测包含了正确定位对应物体的框,undesired预测是随机分布的。直接将undesired预测送入下一次采样不会带来任何好处,因为他们的分布在训练过程中没有被构建。为了使得推理过程和训练过程更对应,本文提出box renewal通过用随机框替代他们来拯救这些undesired预测。具体地,先通过阈值过滤出undesired预测,然后通过新的随机框和剩下的框级联。

4. Experiments4.1 Implementation Details

ResNet和Swin backbone分别用ImageNet-1K和Image-22K预训练;

用Xavier初始化检测解码部分;

AdamW优化器, 初始lr=2.5x10^-5, weight decay=10^-4;

8 GPUs上训练,mini-batch size为16;

4.2 Main Properties

4.3 Benchmarking on Detection Datasets

 

4.4 Ablation Study

5. Conclusion and Future Work
本文链接地址:https://www.jiuchutong.com/zhishi/299133.html 转载请保留说明!

上一篇:Windows11去掉桌面快捷方式箭头 Windows11怎么去掉快捷方式箭头(win11永久关闭桌面弹出广告)

下一篇:老师,不干了,被偷家了,SAM分割任何事物模型,0样本分割了我研究一个月的数据(老师不干了可以从事什么行业)

  • 华为平板和苹果平板哪个好(华为p9评测)(华为平板和苹果平板对比评测)

    华为平板和苹果平板哪个好(华为p9评测)(华为平板和苹果平板对比评测)

  • iqoo8怎么打开游戏伴侣(iqoo8pro游戏设置)

    iqoo8怎么打开游戏伴侣(iqoo8pro游戏设置)

  • 请勿遮挡听筒区域怎么关闭(请勿遮挡听筒区域 小米)

    请勿遮挡听筒区域怎么关闭(请勿遮挡听筒区域 小米)

  • 多媒体课件制作工具可以分为哪四类(多媒体课件制作实训总结)

    多媒体课件制作工具可以分为哪四类(多媒体课件制作实训总结)

  • 苹果x关机闹钟会响吗(iphonex关机闹钟)

    苹果x关机闹钟会响吗(iphonex关机闹钟)

  • 微信声音播放器失败怎么办(微信声音播放器怎么调)

    微信声音播放器失败怎么办(微信声音播放器怎么调)

  • 华为p20有没有耳机孔(华为p20手机怎么开启耳机功能)

    华为p20有没有耳机孔(华为p20手机怎么开启耳机功能)

  • 淘宝授权失败怎么回事(淘宝宝贝授权)

    淘宝授权失败怎么回事(淘宝宝贝授权)

  • 华为手机微信保存的图片在哪个文件夹(华为手机微信保存的图片图库不显示)

    华为手机微信保存的图片在哪个文件夹(华为手机微信保存的图片图库不显示)

  • 华为如何永久保存通话记录(华为手机保活设置)

    华为如何永久保存通话记录(华为手机保活设置)

  • ev录屏可以录多长时间(ev录屏多长时间)

    ev录屏可以录多长时间(ev录屏多长时间)

  • 华为手机左上角hd啥意思(华为手机左上角出现一个HD怎么取消)

    华为手机左上角hd啥意思(华为手机左上角出现一个HD怎么取消)

  • 微博被永久封号怎么办(微博被永久封号申诉理由怎么写)

    微博被永久封号怎么办(微博被永久封号申诉理由怎么写)

  • huaweikirin810是什么处理器(华为huaweikirin810)

    huaweikirin810是什么处理器(华为huaweikirin810)

  • 华为手机mate30pro与p30pro区别在哪(华为手机mate30pro音量键在哪里)

    华为手机mate30pro与p30pro区别在哪(华为手机mate30pro音量键在哪里)

  • ie设置在哪里(ie页面设置在哪里找?)

    ie设置在哪里(ie页面设置在哪里找?)

  • 苹果手机闪付在哪(苹果手机闪付怎么支付)

    苹果手机闪付在哪(苹果手机闪付怎么支付)

  • 手机淘宝货到付款怎么弄(手机淘宝货到付款怎么付)

    手机淘宝货到付款怎么弄(手机淘宝货到付款怎么付)

  • 抖音怎么加对方微信(抖音怎么加对方主页)

    抖音怎么加对方微信(抖音怎么加对方主页)

  • 小米8青春版电池容量(小米8青春版电池不耐用怎么办)

    小米8青春版电池容量(小米8青春版电池不耐用怎么办)

  • qq好友删除后再加回来还有火花吗(qq好友删除后再加回来还有幸运字符吗)

    qq好友删除后再加回来还有火花吗(qq好友删除后再加回来还有幸运字符吗)

  • YOLOv5/v7/v8 改进首发最新PWConv核心结构|来自最新CVPR2023顶会,进一步轻量化!测试数据集mAP有效涨点,进一步降低参数量,追求更高的 FLOPS(yolov3 改进)

    YOLOv5/v7/v8 改进首发最新PWConv核心结构|来自最新CVPR2023顶会,进一步轻量化!测试数据集mAP有效涨点,进一步降低参数量,追求更高的 FLOPS(yolov3 改进)

  • 什么叫做负税
  • 税务制服的肩章是什么
  • 城市维护建设税的计税依据是什么
  • 甲是乙公司依法设立的分公司
  • 一般纳税人当月生效次月生效有什么区别
  • 铸造厂的销售废料有哪些
  • 中小企业怎么避税
  • 企业作为二房东要交什么税
  • 公司垫付员工工资怎么做账
  • 无法收回的应收账款情况说明
  • 出口样品账务处理
  • 存货卖出亏损会怎么样
  • 收到社保中心的生育经贴怎么做账
  • 信用卡产生滞纳金
  • 产权转移书据印花税是双方交吗
  • 资产负债表的编制时间
  • 安装工程劳务合同
  • 国税局网上申报
  • 增值税专用发票可以开电子发票吗
  • 待处理财产损益科目
  • 建筑业增值税税率2022
  • 虚假会计凭证有哪些识别方法
  • 短期借款的明细科目是什么
  • 财务报表批准日是哪一天
  • 上月暂估入账的原材料的发票已经送到财务部
  • 华为手机屏幕旋转设置
  • 年薪制职工薪酬计算方法
  • 为离职员工代缴社保 如何规避法律责任
  • icon files
  • 安保费差额纳税是什么意思
  • 可以转增资本的有哪些科目
  • linux怎么打开makefile
  • win7怎么删除windows.old
  • php fetchall
  • 为什么增值税最后有余额附加税没有
  • 短期借款利息的核算不可能涉及的账户是
  • 蒂内河畔圣艾蒂安小镇,法国阿尔卑斯省 (© CAVALIER Michel/hemis.fr/Alamy Stock Photo)
  • 短期资金都是债务类资金
  • code alignment
  • 附加税多交了怎么办理退税
  • yolov5目标检测代码
  • 错误解决方法
  • vue $函数
  • 流动比率越高越好嘛
  • 处置子公司账务处理
  • 白酒贴牌酒是真酒还是假酒
  • 织梦怎么采集文章
  • 财务状况简单说明
  • 固定资产原值增加当月计提折旧吗
  • 建筑业外管证预审要多久
  • 小企业会计准则和一般企业会计准则的区别
  • 税是什么为什么要交税
  • 支付定金的账务怎么处理
  • 一般纳税人增值税申报操作流程
  • 常见的防暑降温药有
  • 盈利性幼儿园怎么办理
  • 有限合伙企业中有限合伙人承担责任的方式为
  • 交通运输服务费税率
  • 怎样可以冲销企业微信
  • 税控系统技术维护费的申报抵扣方法
  • 商业仓储
  • Windows(x86,64bit)升级MySQL 5.7.17免安装版的详细教程
  • linux pptp客户端
  • cortanawin10在哪
  • explorer.exe是什么指令
  • 装系统无法选择
  • win8.1系统怎么样
  • 装win7系统对电脑有什么要求
  • android自定义搜索框
  • js单线程多线程
  • 脚本被删除
  • php常用函数200个
  • python怎么写多行
  • 陷阱类过关游戏
  • 代收的款项支付需不需要开发票
  • 税务局分局副局长什么级别的干部
  • 发票可以异地领用吗
  • 车辆购置税查询平台
  • 广东国家税务局网上税务服务大厅
  • 企业税务人员岗位竞聘报告怎么写
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设