位置: IT常识 - 正文

经典目标检测算法:RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍(最新的目标检测算法2020)

编辑:rootadmin
经典目标检测算法:RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍 目录一、目标检测的基本介绍1.1 什么是目标检测?1.2 目标检测算法的分类二、RCNN2.1 RCNN简介2.2 RCNN算法流程2.3 RCNN流程图2.4 RCNN框架2.5 RCNN的缺点三、Fast RCNN3.1 Fast RCNN简介3.2 Fast RCNN算法流程3.3 Fast RCNN流程图3.3.1 总体流程3.3.2 softmax 分类器3.3.3 边界框回归器(bbox regressor )3.3 Fast RCNN 中 loss 的计算3.4 Fast RCNN框架3.5 Fast RCNN的缺点四、Faster RCNN4.1 Faster RCNN简介4.2 Faster RCNN算法流程4.2 RPN网络4.2.1 RPN网络结构4.2.2 anchor的定义4.2.3 RPN生成proposal的过程4.3 Faster RCNN框架五、三者的比较:RCNN、Fast RCNN、 Faster RCN六、参考资料一、目标检测的基本介绍1.1 什么是目标检测?

推荐整理分享经典目标检测算法:RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍(最新的目标检测算法2020),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:经典目标检测算法,经典目标检测算法有哪些,目标检测常用指标,经典目标检测算法,经典目标检测的基本思想,目标检测经典模型,经典目标检测的基本思想,经典目标检测算法,内容如对您有帮助,希望把文章链接给更多的朋友!

所谓目标检测就是在一张图像中找到我们关注的目标,并确定它的类别和位置,这是计算机视觉领域最核心的问题之一。由于各类目标不同的外观,颜色,大小以及在成像时光照,遮挡等具有挑战性的问题,目标检测一直处于不断的优化和研究中。

1.2 目标检测算法的分类

传统的目标检测算法有:SIFT(尺度不变特征变换)、HOG(方向梯度直方图)、DPM(一种基于组件的图像检测算法)等。

基于深度学习的目标检测算法可以分为两类:二阶算法(Two Stage)和一阶算法(One Stage)。

二阶算法:先生成区域候选框,再通过卷积神经网络进行分类和回归修正。常见算法有 RCNN、SPPNet、Fast RCNN,Faster RCNN 和 RFCN 等。二阶算法检测结果更精确。 一阶算法:不生成候选框,直接在网络中提取特征来预测物体的分类和位置。常见算法有 SSD、YOLO系列 和 RetinaNet 等。一阶算法检测速度与更快。二、RCNN2.1 RCNN简介

RCNN(Region with CNN feature)算法出现于2014年,是将深度学习应用到目标检测领域的开山之作,凭借卷积神经网络出色的特征提取能力,大幅度提升了目标检测的效果。

RCNN在PASCAL VOC2012数据集上将检测率从35.1%提升至53.7%,使得CNN在目标检测领域成为常态,也使得大家开始探索CNN在其他计算机视觉领域的巨大潜力。

论文:《 Rich feature hierarchies for accurate object detection and semantic segmentation 》 作者:Ross Girshick 源码(作者提供):https://github.com/rbgirshick/rcnn

2.2 RCNN算法流程

RCNN继承了传统目标检测的思想,将目标检测当做分类问题进行处理,先提取一系列目标的候选区域,然后对候选区域进行类。

其具体算法流程包含以下4步:

(1)生成候选区域:

采用一定区域候选算法(如 Selective Search)将图像分割成小区域,然后合并包含同一物体可能性高的区域作为候选区域输出,这里也需要采用一些合并策略。不同候选区域会有重合部分,如下图所示(黑色框是候选区域):

要生成1000-2000个候选区域(以2000个为例),之后将每个区域进行归一化,即缩放到固定的大小(227*227).

(2)对每个候选区域用CNN进行特征提取:

这里要事先选择一个预训练神经网络(如AlexNet、VGG),并重新训练全连接层,即 fintune 技术的应用。

将候选区域输入训练好的AlexNet CNN网络,得到固定维度的特征输出(4096维),得到2000×4096的特征矩阵。         

         (3)用每一类的SVM分类器对CNN的输出特征进行分类:

此处以PASCAL VOC数据集为例,该数据集中有20个类别,因此设置20个SVM分类器。

将2000×4096的特征与20个SVM组成的权值矩阵4096×20相乘,获得2000×20维矩阵,表示2000个候选区域分别属于20个分类的概率,因此矩阵的每一行之和为1。

         分别对上述2000×20维矩阵中每一列(即每一类)进行非极大值抑制剔除重叠建议框,得到该列即该类中概率最大的一些候选框。

非极大值抑制剔除重叠建议框的具体实现方法是:

第一步:定义 IoU 指数(Intersection over Union),即 (A∩B) / (AUB) ,即AB的重合区域面积与AB总面积的比。直观上来讲 IoU 就是表示AB重合的比率, IoU越大说明AB的重合部分占比越大,即A和B越相似。

         第二步:找到每一类中2000个候选区域中概率最高的区域,计算其他区域与该区域的IoU值,删除所有IoU值大于阈值的候选区域。这样可以只保留少数重合率较低的候选区域,去掉重复区域。

比如下面的例子,A是向日葵类对应的所有候选框中概率最大的区域,B是另一个区域,计算AB的IoU,其结果大于阈值,那么就认为AB属于同一类(即都是向日葵),所以应该保留A,删除B,这就是非极大值抑制。

(4)使用回归器精修候选区域的位置:

通过 Selective Search算法得到的候选区域位置不一定准确,因此用20个回归器对上述20个类别中剩余的建议框进行回归操作,最终得到每个类别的修正后的目标区域。具体实现如下:

如图,黄色框表示候选区域 Region Proposal,绿色窗口表示实际区域Ground Truth(人工标注的),红色窗口表示 Region Proposal 进行回归后的预测区域,可以用最小二乘法解决线性回归问题。

通过回归器可以得到候选区域的四个参数,分别为:候选区域的x和y的偏移量,高度和宽度的缩放因子。可以通过这四个参数对候选区域的位置进行精修调整,就得到了红色的预测区域。

2.3 RCNN流程图

2.4 RCNN框架

RCNN由四个部分组成:SS算法、CNN、SVM、bbox regression。

2.5 RCNN的缺点

(1)训练和测试速度慢,需要多步训练,非常繁琐。

(2)由于涉及分类中的全连接网络,因此输入CNN的候选区域尺寸是固定的,造成了精度的降低。

(3)候选区域需要提前提取并保存,占用的空间很大。对于非常深的网络,如VGG16,从VOCO7训练集上的5000张图片上提取的特征需要数百GB的存储空间,这个问题是致命的。

RCNN 成为了当时目标检测领域的SOAT算法,尽管现在已经不怎么用了,但其思想仍然值得我们借鉴和学习。

三、Fast RCNN3.1 Fast RCNN简介

在RCNN之后,SPPNet解决了重复卷积计算和固定输出尺寸两个问题,SPPNet的主要贡献是在整张图像上计算全局特征图,然后对于特定的建议候选框,只需要在全局特征图上取出对应坐标的特征图就可以了。但SPPNe仍然存在一些弊端,如仍然需要将特征保存在磁盘中,速度还是很慢。

Fast RCNN算法是2015年Ross Girshick(还是这位大佬)提出的,在RCNN和SPPNet的基础上进行了改进。根据名字就知道,Fast RCNN更快更强。其训练步骤实现了端到端,基于CGG16网络,其训练速度比RCNN快了9倍,测试速度快了213倍,在PASCAL VOC2012数据集达到了68.4%的准确率。

论文:《Fast R-CNN》 源码(作者提供):https://github.com/rbgirshick/fast-rcnn

3.2 Fast RCNN算法流程

(1)一张图像生成1K~2K个候选区域(使用Selective Search算法,简称SS算法),我们将某个候选区域称为ROI区域。

(2)将图像输入网络得到相应的特征图,将SS算法生成的候选框投影到特征图上获得相应的特征矩阵。

R-CNN vs Fast-RCNN:

R-CNN依次将2000个候选框区域输入卷积神经网络得到特征,存在大量冗余,提取时间很长。 Fast-RCNN将整张图像送入网络,一次性计算整张图像特征,这样就可以根据特征图的坐标获得想要的候选区域的特征图,不需要重复计算。

(3)将每个特征矩阵通过 ROI pooling 层缩放到7x7大小的特征图。

经典目标检测算法:RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍(最新的目标检测算法2020)

前面讲到RCNN需要将候选区域归一化到固定大小(227227),而Fast RCNN并不需要这样的操作,Fast RCNN通过pooling层将每个候选区域的特征图都变为77,如下图所示:

(4)将特征图展平(reshape)为向量,通过一系列全连接层和 softmax得到预测结果。

3.3 Fast RCNN流程图3.3.1 总体流程

如图,将一张图像输入到 Deep ConvNet 中得到图像的特征图,根据ROI区域与整体图像的坐标映射关系 (RoI Projection)进行特征映射(Conv feature map),能够得到每一个候选区域(ROI区域)的特征矩阵。

将每一个特征矩阵通过RoI pooling layer,池化到固定尺寸(7*7),然后展平为向量(vector)。再经过两个全连接层(fully connected layers,FC),得到ROI特征向量(ROI feature vector)。

之后 ROI feature vector 并联两个FC,其中一个用于目标概率预测(softmax),另一个用于边界框参数的回归(bbox regressor,bbox 表示 bounding box)。

3.3.2 softmax 分类器

softmax 分类器输出N+1个类别的概率,如下图所示。PASCAL VOC2012数据集中有20个分类,因此会输出21个类别的概率,其中第一个为背景概率,其余20个为每个分类的概率。所以softmax的FC中有N+1个节点。

3.3.3 边界框回归器(bbox regressor )

一幅图片中会画出N+1个分类的候选框,每个候选框都有x、y、w、d四个参数,所以 bbox regressor 的FC中有 4(N+1) 个节点。

边界框参数回归的计算方法:

3.3 Fast RCNN 中 loss 的计算

因为在Fast RCNN 中需要预测N+1个类别的概率以及边界框的回归参数,所以定义了两个损失函数:分类损失和边界框回归损失。

3.4 Fast RCNN框架

首先回顾一下RCNN的框架:

RCNN由四部分组成,因此需要多步训练,非常繁琐。

Fast RCNN将CNN特征提取,SVM边界框分类,bbox regression边界框回归三部分结合到了一起,都融合到同一个CNN中。那么Fast RCNN就只有两部分了:先通过SS算法获取候选框,再通过CNN完成特征提取、分类和边界框回归。

那么自然而然的,在接下来的 Faster RCNN 算法中,就要考虑如何将 Region proposal 也融入到CNN中,将整个算法合并为一个网络,这样就可以实现端到端的目标检测。

3.5 Fast RCNN的缺点

1、尽管用到了GPU,但Region proposal还是在CPU上实现的。在CPU中,用SS算法提取一张图片的候选框区域大约需要2s,而完成整个CNN则只需要0.32s,因此Fast RCNN 计算速度的瓶颈是Region proposal。

2、无法满足实时应用,没有真正实现端到端训练测试;

四、Faster RCNN4.1 Faster RCNN简介

Faster RCNN 是作者 Ross Girshick 继 RCNN 和 Fast RCNN后的又一力作。同样使用 VGG16作为网络的backbone,推理速度在GPU上达到5fps(包括候选区域的生成),准确率也有进一步的提升。在2015年的ILSVRC以及cOco竞赛中获得多个项目的第一名。

4.2 Faster RCNN算法流程

Faster RCNN = RPN + Fast RCNN

RPN 是指 Region Proposal Network,建议区域生成网络。 Faster RCNN 中用 RPN 来代替了 Fast RCNN 中的SS算法。

算法流程:

(1)将图像输入网络得到相应的特征图。

(2)使用RPN网络生成候选框,将RPN生成的候选框投影到特征图上获得ROI区域的特征矩阵。

(3)将每个ROI区域的特征矩阵通过 ROI pooling 层缩放到7x7大小的特征图,接着将特征图展平为vector,之后通过一系列全连接层得到预测结果。

Faster RCNN 网络的基本结构如下:

4.2 RPN网络4.2.1 RPN网络结构

         图中的 conv feature map 是图像输入网络得到相应的特征图,通过sliding window处理之后产生一个256d的一维向量。该向量通过两个全连接层,分别输出分类概率scores和边界框回归参数coordinates,其中k是指 k个 anchor boxes,2k个scores是每个 anchor box 分别为前景和背景的概率(注意这里只区分前景和背景,所有的类别都归为前景),4k个coordinates是因为每个anchor box 有四个参数。

4.2.2 anchor的定义

那么什么是 anchor呢?

首先要明确,anchor不是候选框(Proposal),后面会提到二者的区别。

我们在特征图中找一个点,就可以在原图中找到对应的一个像素点,以该像素点为中心,画出9个不同大小和长宽比的框,称为anchor 。如下图所示,这些anchor里面可能包含目标,也可能没有目标。因为我们在一张图中想找的的目标的大小和长宽比并不是固定的,所以这里用9个不同大小和长宽比的anchor来进行预测。

那么为什么是9个anchor呢?

论文中给出了每个anchor的面积和长宽比:

所以特征图中的每个位置在原图中都会生成 33=9 个anchor,如下图所示,蓝色的三个anchor是面积为128128的,红色是面积为256256的,绿色是512512的。

4.2.3 RPN生成proposal的过程

对于一张 1000x600x3 的图像(三通道),用3x3的卷积核进行特征提取得到60x40的特征图,则共有 60x40x9 (约2w个)个anchor。忽略超过图片边界的 anchor 后,剩下约 6000 个anchor。

对于这6000 个 anchor,通过RPN生成的边界框回归参数将每个 anchor 调整为proposal(前面提到了每个anchor经过RPN都输出2个概率和4个边界框回归参数),这里就能看到anchor和proposal的区别。这个过程就是 RPN 生成候选框的过程。

RPN 生成的候选框之间存在大量重叠,基于候选框的cls得分,采用非极大值抑制,IoU设为0.7,这样每张图片只剩下 2000 个候选框。

4.3 Faster RCNN框架

         Faster RCNN 在Fast RCNN的基础上更进一步,将候选框生成也融入到CNN网络中,使得 候选框生成、特征提取、候选框分类、候选框边界回归这四大部分都结合在一个CNN网络中,避免了分步训练,实现了真正端到端的目标检测。         

五、三者的比较:RCNN、Fast RCNN、 Faster RCN

三者都是二阶算法,网络框架比较:

可以看到,从RCNN、Fast RCNN 到 Faster RCNN,网络框架越来越简洁,目标检测效果也越来越好。

三者的优缺点比较:                  

六、参考资料

视频(B站):Faster RCNN理论合集

博客:Faster R-CNN论文笔记——FR

博客:Faster RCNN 优缺点说明

本文链接地址:https://www.jiuchutong.com/zhishi/299182.html 转载请保留说明!

上一篇:大型语言模型的推理演算(大型语言模型的教育应用)

下一篇:react实现路由跳转(react路由exact)

  • 总额法和净额法会计分录对比
  • 税务机关采取哪些行政
  • 企业增值税必须退税吗?
  • 现金折扣冲减收入吗
  • 税控盘和税控钥匙一样吗
  • 工会经费如何申报?
  • 承兑汇票区别
  • 报销单第一页写不完
  • 定期定额户个人所得税怎么申报
  • 车贷抵押金计入会计科目?
  • 并购投资的方式有哪些
  • 员工成本是员工薪资的多少倍
  • 营改增账务处理举例
  • 失业保险费退还计入什么科目
  • 股票交易的印花税和手续费是多少
  • 劳务服务公司可以承包大型工程吗?
  • 计提本月城市维护建设税,教育费附加500元
  • 社保跨省转移社保流程
  • 查找我的iphone怎么添加设备
  • mac死机什么原因
  • 计提待摊费用怎么记账
  • 为什么叫win7
  • windows闹钟
  • mac如何关闭开机启动
  • 交易性金融资产是什么意思
  • 前端数据统计图
  • 真三国在哪下载
  • php 如何防止接口被刷
  • 企业间无偿借款涉税
  • 前端项目部署到nginx
  • js字符串转换为数字类型
  • 前端传给后端
  • 垃圾处置费的收费标准
  • 代发工资的账务处理需要什么资料
  • php的do while语句
  • 管理费用和研发费用的关系
  • 小规模差额征税可以开专票吗
  • sqlserver复制需要有实际的服务器名称
  • sql行列转换结果保存为新表
  • 总账和成本哪个工资高
  • 会计人员未参加继续教育
  • 机会成本的特点有()
  • 股权激励费用如何计提
  • 过程中必须有哪两种状态
  • 工会经费返还属于什么收入
  • 宾馆纳税怎么算的
  • 结账没有原始凭证
  • 新公司怎样
  • c++ 虚数
  • Win7旗舰版系统文件名称
  • 微软公布新企业AI产品定价 股价应声涨至盘中纪录高位
  • Linux设置jdk环境变量配置
  • ubuntu20.04问题
  • win7系统无法启动怎么解决
  • win系统文件在哪里
  • xp连接到共享打印机
  • apt-get和aptitude
  • windows8启动管理器
  • squid服务器配置
  • 高危KB3045645!Win7/8.1别安装这个补丁
  • 台式装win7
  • linux查看rpm是否安装
  • node.js入门教程
  • ubuntu20.04中文
  • unity自带的ui叫什么
  • javascript入门教程
  • python 连接符
  • 粒子特效优化
  • 按钮点击后消失
  • 在jquery中使用什么方法获取和设置属性
  • python xml 解析
  • 税务文书送达地点
  • 个人所得税怎么换手机号绑定
  • 高速公路通行费的税率
  • 云南省地方税务局关于城镇土地使用税
  • 电子发票查询平台电话
  • 应征增值税不含销售额3%和5%征收的有什么区别
  • 个人所得税年申报流程
  • 企业所得税年报职工薪酬纳税调整明细表
  • 联通前面加什么可以隐藏号码
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设