位置: IT常识 - 正文

《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoU

编辑:rootadmin
《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoU 《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoU文章目录《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoUIoU出现背景什么是IoU?IoU发展历程GIoU(CVPR2019)DIoU(AAAI2020)CIoU(AAAI2020)EIoU(arXiv2021)αIoU(NeurlPS2021)SIoU(arXiv2022)各IoU源代IoUGIoUDIoUCIoUIoU出现背景

推荐整理分享《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoU,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

目标检测任务的损失函数一般由Classificition Loss(分类损失函数)和Bounding Box Regeression Loss(回归损失函数)两部分构成。因此,更好的定位有利于模型精度的提高。在IoU Loss提出来之前,检测上有关候选框的回归主要是通过坐标的回归损失来优化。但L1 Loss和L2 Loss存在比较大的问题:

L1 Loss的问题:损失函数对x的导数为常数,在训练后期,x很小时,如果learning rate 不变,损失函数会在稳定值附近波动,很难收敛到更高的精度。L2 Loss的问题:损失函数对x的导数在x值很大时,其导数也非常大,在训练初期不稳定。

而且,基于L1/L2 Loss的坐标回归不具有尺度不变性,且并没有将四个坐标之间的相关性考虑进去。因此,像L1/L2 Loss直接的坐标回归实际上很难描述两框之间的相对位置关系。

因此,在ACM2016的论文中提出了IoU loss,它将四个坐标点看成一个整体进行计算,具有尺度不变性(也就是对尺度不敏感)。IoU Loss的定义是先求出预测框和真实框之间的交集和并集之比,再求负对数,但是在实际使用中我们常常将IoU Loss写成1-IoU。如果两个框重合则交并比等于1,Loss为0说明重合度非常高。因此,IoU的取值范围为[0,1]。

什么是IoU?

IOU的全称为交并比(Intersection over Union),是目标检测中使用的一个概念,IoU计算的是“预测的边框”和“真实的边框”的交叠率,即它们的交集和并集的比值。最理想情况是完全重叠,即比值为1。

IoU发展历程

虽然IoU Loss虽然解决了Smooth L1系列变量相互独立和不具有尺度不变性的两大问题,但是它也存在两个问题:

当预测框和目标框不相交时,即IoU(A,B)=0时,不能反映A,B距离的远近,此时损失函数不可导,IoU Loss 无法优化两个框不相交的情况。如上图三个框,假设预测框和目标框的大小都确定,只要两个框的相交值是确定的,即其IoU值相同时,IoU值不能反映两个框是如何相交的。GIoU(CVPR2019)

针对IoU无法反映两个框是如何相交的问题,GIoU通过引入预测框和真实框的最小外接矩形(类似于图像处理中的闭包区域)来获取预测框、真实框在闭包区域中的比重。这样子,GIoU不仅可以关注重叠区域,还可以关注其他非重合区域,能比较好的反映两个框在闭包区域中的相交情况。

从公式上来看,GIoU是一种IoU的下界,取值范围[-1,1]。在两者重合的时候取最大值1,在两者无交集且无限远的时候取最小值-1。因此,与IoU相比,GIoU是一个比较好的距离度量指标。

DIoU(AAAI2020)

虽然GIoU通过引入闭包区域缓解了预测框与真实框相交位置的衡量问题,但其实际上仍存在两个问题:

对每个预测框与真实框均要去计算最小外接矩形,计算及收敛速度受到限制当预测框在真实框内部时,GIoU退化为IoU,也无法区分相对位置关系

因此,考虑到GIoU的缺点,DIoU在IoU的基础上直接回归两个框中心点的欧式距离,加速了收敛速度。DIoU的惩罚项是基于中心点的距离和对角线距离的比值。这样就避免了GIoU在两框距离较远时产生较大闭包时所造成的Loss值较大而难以优化的情况。

CIoU(AAAI2020)

虽然DIoU Loss通过中心点回归缓解了两框距离较远时难优化的问题,但DIoU Loss仍存在两框中心点重合,但宽高比不同时,DIoU Loss退化为IoU Loss的问题。因此,为了得到更加精准的预测框,CIoU在DIoU的基础上增加了一个影响因子,即增加了预测框与真实框之间长宽比的一致性的考量。

比如上面三种情况,目标框包裹预测框,本来DIoU可以起作用。

但预测框的中心点的位置都是一样的,因此按照DIoU的计算公式,三者的值都是相同的。

《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoU

CIoU Loss虽然考虑了边界框回归的重叠面积、中心点距离及长宽比。但是其公式中的v反映的时长宽比的差异,而不是宽高分别与其置信度的真实差异,所以有时会阻碍模型有效的优化。

EIoU(arXiv2021)

EIoU在CIoU的基础上将长宽比拆开,明确地衡量了三个几何因素的差异,即重叠区域、中心点和边长,同时引入Fcoal loss解决了难易样本不平衡的问题。

αIoU(NeurlPS2021)

αIoU将现有的基于IoU 的损失进行了一个推广

使得αIoU可以显着超越现有的基于 IoU 的损失,通过调节α,使探测器更灵活地实现不同水平的bbox回归精度,并且αIoU对小数据集和噪声的鲁棒性更强

SIoU(arXiv2022)

传统的目标检测损失函数依赖于边界框回归指标的聚合,例如预测框和真实框(即 GIoU、CIoU、ICIoU 等)的距离、重叠区域和纵横比。然而,迄今为止提出和使用的方法都没有考虑期望的真实框和预测框之间不匹配的方向。这种不足导致收敛速度较慢且效率较低,因为预测框在训练过程中可能会“四处游荡”,最终会产生一个更差的模型。

SIoU提出了一种新的损失函数,重新定义了惩罚度量,考虑了期望回归之间的向量夹角。

SIoU损失函数由4个成本函数组成

Angle cost

Distance cost

Shape cost

IoU cost

将 SIoU 应用于 COCO-train/COCO-val 与其他损失函数相比,提高了 +2.4% (mAP@0.5:0.95) 和 +3.6%(mAP@0.5)

各IoU源代IoUimport numpy as npdef Iou(box1, box2, wh=False): if wh == False:xmin1, ymin1, xmax1, ymax1 = box1xmin2, ymin2, xmax2, ymax2 = box2 else:xmin1, ymin1 = int(box1[0]-box1[2]/2.0), int(box1[1]-box1[3]/2.0)xmax1, ymax1 = int(box1[0]+box1[2]/2.0), int(box1[1]+box1[3]/2.0)xmin2, ymin2 = int(box2[0]-box2[2]/2.0), int(box2[1]-box2[3]/2.0)xmax2, ymax2 = int(box2[0]+box2[2]/2.0), int(box2[1]+box2[3]/2.0) # 获取矩形框交集对应的左上角和右下角的坐标(intersection) xx1 = np.max([xmin1, xmin2]) yy1 = np.max([ymin1, ymin2]) xx2 = np.min([xmax1, xmax2]) yy2 = np.min([ymax1, ymax2]) # 计算两个矩形框面积 area1 = (xmax1-xmin1) * (ymax1-ymin1) area2 = (xmax2-xmin2) * (ymax2-ymin2) inter_area = (np.max([0, xx2-xx1])) * (np.max([0, yy2-yy1])) #计算交集面积 iou = inter_area / (area1+area2-inter_area+1e-6)  #计算交并比 return iouGIoUdef Giou(rec1,rec2): #分别是第一个矩形左右上下的坐标 x1,x2,y1,y2 = rec1 x3,x4,y3,y4 = rec2 iou = Iou(rec1,rec2) area_C = (max(x1,x2,x3,x4)-min(x1,x2,x3,x4))*(max(y1,y2,y3,y4)-min(y1,y2,y3,y4)) area_1 = (x2-x1)*(y1-y2) area_2 = (x4-x3)*(y3-y4) sum_area = area_1 + area_2 w1 = x2 - x1 #第一个矩形的宽 w2 = x4 - x3 #第二个矩形的宽 h1 = y1 - y2 h2 = y3 - y4 W = min(x1,x2,x3,x4)+w1+w2-max(x1,x2,x3,x4) #交叉部分的宽 H = min(y1,y2,y3,y4)+h1+h2-max(y1,y2,y3,y4) #交叉部分的高 Area = W*H #交叉的面积 add_area = sum_area - Area #两矩形并集的面积 end_area = (area_C - add_area)/area_C #闭包区域中不属于两个框的区域占闭包区域的比重 giou = iou - end_area return giouDIoUdef Diou(bboxes1, bboxes2): rows = bboxes1.shape[0] cols = bboxes2.shape[0] dious = torch.zeros((rows, cols)) if rows * cols == 0:# return dious exchange = False if bboxes1.shape[0] > bboxes2.shape[0]: bboxes1, bboxes2 = bboxes2, bboxes1 dious = torch.zeros((cols, rows)) exchange = True # #xmin,ymin,xmax,ymax->[:,0],[:,1],[:,2],[:,3] w1 = bboxes1[:, 2] - bboxes1[:, 0] h1 = bboxes1[:, 3] - bboxes1[:, 1] w2 = bboxes2[:, 2] - bboxes2[:, 0] h2 = bboxes2[:, 3] - bboxes2[:, 1] area1 = w1 * h1 area2 = w2 * h2 center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2 center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2 center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2 center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2 inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:]) inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2]) out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:]) out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2]) inter = torch.clamp((inter_max_xy - inter_min_xy), min=0) inter_area = inter[:, 0] * inter[:, 1] inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2 outer = torch.clamp((out_max_xy - out_min_xy), min=0) outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2) union = area1+area2-inter_area dious = inter_area / union - (inter_diag) / outer_diag dious = torch.clamp(dious,min=-1.0,max = 1.0) if exchange: dious = dious.T return diousCIoUdef bbox_overlaps_ciou(bboxes1, bboxes2): rows = bboxes1.shape[0] cols = bboxes2.shape[0] cious = torch.zeros((rows, cols)) if rows * cols == 0: return cious exchange = False if bboxes1.shape[0] > bboxes2.shape[0]: bboxes1, bboxes2 = bboxes2, bboxes1 cious = torch.zeros((cols, rows)) exchange = True w1 = bboxes1[:, 2] - bboxes1[:, 0] h1 = bboxes1[:, 3] - bboxes1[:, 1] w2 = bboxes2[:, 2] - bboxes2[:, 0] h2 = bboxes2[:, 3] - bboxes2[:, 1] area1 = w1 * h1 area2 = w2 * h2 center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2 center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2 center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2 center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2 inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:]) inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2]) out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:]) out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2]) inter = torch.clamp((inter_max_xy - inter_min_xy), min=0) inter_area = inter[:, 0] * inter[:, 1] inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2 outer = torch.clamp((out_max_xy - out_min_xy), min=0) outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2) union = area1+area2-inter_area u = (inter_diag) / outer_diag iou = inter_area / union with torch.no_grad(): arctan = torch.atan(w2 / h2) - torch.atan(w1 / h1) v = (4 / (math.pi ** 2)) * torch.pow((torch.atan(w2 / h2) - torch.atan(w1 / h1)), 2) S = 1 - iou alpha = v / (S + v) w_temp = 2 * w1 ar = (8 / (math.pi ** 2)) * arctan * ((w1 - w_temp) * h1) cious = iou - (u + alpha * ar) cious = torch.clamp(cious,min=-1.0,max = 1.0) if exchange: cious = cious.T return cious

参考文献

https://mp.weixin.qq.com/s/jLnde0Xms-99g4z16OE9VQ

DIoU、CIoU、GIoU、IoU再理解结合代码

IoU:《UnitBox: An Advanced Object Detection Network》

GIoU:《Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression》

D/C IoU:《Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression》

EIoU:《Focal and Efficient IOU Loss for Accurate Bounding Box Regression》

αIoU:《Alpha-IoU: A Family of Power Intersection over Union Losses for Bounding Box Regression》

SIoU:《SIoU Loss: More Powerful Learning for Bounding Box Regression》

本文链接地址:https://www.jiuchutong.com/zhishi/299593.html 转载请保留说明!

上一篇:关于HTML中常用选择器(html用语)

下一篇:基于stm32的太空人温湿度时钟项目——DHT11(HAL库)(基于stm32的飞行器)

  • 华为nova9是5g手机吗(nova 9是5g手机还是4g手机)

    华为nova9是5g手机吗(nova 9是5g手机还是4g手机)

  • 山姆卡可以退么(山姆可以退卡嘛)

    山姆卡可以退么(山姆可以退卡嘛)

  • apple watch放大了怎么缩小(apple watch放大了怎么调回去)

    apple watch放大了怎么缩小(apple watch放大了怎么调回去)

  • win10资讯和兴趣怎么关闭(win10资讯和兴趣删除)

    win10资讯和兴趣怎么关闭(win10资讯和兴趣删除)

  • 华为p40可以支持谷歌吗(华为p40可以支持MG6车钥匙吗)

    华为p40可以支持谷歌吗(华为p40可以支持MG6车钥匙吗)

  • 微信连续异常闪退(微信连续异常闪退如何修复苹果手机)

    微信连续异常闪退(微信连续异常闪退如何修复苹果手机)

  • 9v2a和5v4.5a哪个充电快(9v2a和5v4.5a哪个伤电池)

    9v2a和5v4.5a哪个充电快(9v2a和5v4.5a哪个伤电池)

  • 显卡没有供电接口怎么办(显卡没有供电接口,可不可以用带显卡电源接口的电源)

    显卡没有供电接口怎么办(显卡没有供电接口,可不可以用带显卡电源接口的电源)

  • 华为手机面部识别怎么设置(华为手机面部识别)

    华为手机面部识别怎么设置(华为手机面部识别)

  • 华为mate30的桌面时间和天气移除了怎么办(华为mate30的桌面小工具在哪怎么变了)

    华为mate30的桌面时间和天气移除了怎么办(华为mate30的桌面小工具在哪怎么变了)

  • PPT录屏之后为什么没有声音(ppt中的屏幕录制为什么打不开)

    PPT录屏之后为什么没有声音(ppt中的屏幕录制为什么打不开)

  • 200兆流量是多少G(200兆流量多少钱联通)

    200兆流量是多少G(200兆流量多少钱联通)

  • 苹果手机耳机有声音外放没有声音怎么回事(苹果手机耳机有声音外放没声音怎么设置)

    苹果手机耳机有声音外放没有声音怎么回事(苹果手机耳机有声音外放没声音怎么设置)

  • 华为p20pro是什么系统手机(华为p20pro是什么处理器)

    华为p20pro是什么系统手机(华为p20pro是什么处理器)

  • 华为手机微信怎么开美颜视频通话(华为手机微信怎么设置密码才能进入)

    华为手机微信怎么开美颜视频通话(华为手机微信怎么设置密码才能进入)

  • 华为mate30有隔空手势吗(华为mate30有隔空截屏吗)

    华为mate30有隔空手势吗(华为mate30有隔空截屏吗)

  • Reno Ace经常死机怎么办(oppo reno ace死机黑屏开不了机)

    Reno Ace经常死机怎么办(oppo reno ace死机黑屏开不了机)

  • vue怎么把字幕字体变大(vue字幕怎样一个个出来)

    vue怎么把字幕字体变大(vue字幕怎样一个个出来)

  • 小米9pro支持反向充电吗(小米9pro有没有反向充电)

    小米9pro支持反向充电吗(小米9pro有没有反向充电)

  • 华为录屏能录多长时间(华为录屏能录多少时间)

    华为录屏能录多长时间(华为录屏能录多少时间)

  • 朋友圈2个小人如何解除(朋友圈2个小人如何解除知乎)

    朋友圈2个小人如何解除(朋友圈2个小人如何解除知乎)

  • qq音乐交易额度限制怎么办(qq音乐交易额度限制1138)

    qq音乐交易额度限制怎么办(qq音乐交易额度限制1138)

  • 滴滴司机绕路怎么处理(滴滴司机绕路怎么申诉范文)

    滴滴司机绕路怎么处理(滴滴司机绕路怎么申诉范文)

  • opporenoz怎么关机(opporeno2怎样关机)

    opporenoz怎么关机(opporeno2怎样关机)

  • python如何访问私有方法

    python如何访问私有方法

  • DEDECMS不规则的列表实现方法 每隔5行加一虚线(div不规则排版)

    DEDECMS不规则的列表实现方法 每隔5行加一虚线(div不规则排版)

  • 车辆租赁费发票备注栏怎么写
  • 哪些单位须执行国家政策
  • 现金存银行会计分录
  • 已贴花的凭证凡修改后所载金额增加的部分应补贴印花
  • 多交的所得税如何做分录
  • 有限合伙合伙人要求
  • 公司股东变更麻烦吗?
  • 金穗开发票时怎样添加商品?
  • 可以给行政事业单位开增值税专用发票吗
  • 税控盘维护费优惠政策
  • 企业以现金形式支付货款
  • 控股公司如何抵押股权
  • 小规模申报个税手续费返还在哪填写信息
  • 财产租赁所得的税率是多少
  • 耕地建厂房补偿方法
  • 多交附加税怎么做账
  • 发票已入账未认证怎么办
  • 员工有多处收入怎么申报个人所得税
  • 技术服务费如何收取
  • 如何在windows11上打开蓝牙
  • ppt文件打不开了怎么办
  • 开机提示lsass应用程序出错
  • 票据追索权纠纷被告
  • 开发票时已交的税金怎么做帐?
  • 稳增长促转型
  • 修改系统帐户用什么软件
  • 酒店购啤酒属于什么科目
  • 克拉莫16首
  • launcher是啥
  • php的转义字符反斜杠
  • 开发商违法
  • phpcgi远程代码执行漏洞
  • re.findall()用法
  • php获取浏览器ua
  • 残保金是职工薪酬吗
  • web 自动化测试
  • 抵扣条件
  • 未开票收入如何做会计分录
  • 记账复核是谁
  • 社保公司承担部分计入哪个科目
  • js 数组remove
  • 金税盘一定要交费吗
  • phpcms默认密码
  • centos7.9 防火墙
  • 发票可以付款前开吗
  • mysql 索引 key
  • 哪些税种影响当期损益
  • 职工福利费的开支是什么
  • 坏账损失属于营业成本吗
  • 平行结转法什么意思
  • 购买商标权需要缴税吗
  • 股权转让如何缴纳个税
  • 收到对方的银行汇票算什么凭证
  • 固定资产多入账怎么写情况说明
  • 出口货物不免不退
  • 交去年的企业所得税吗
  • 代扣代缴的个人所得税在现金流量表
  • 其他应付款转营业外收入摘要怎么写
  • 服务业成本的会计核算
  • 车辆使用费报销制度
  • 房地产实收资本怎么算
  • 64位 win10系统安装绿色版mysql-5.7.16-winx64的教程
  • win7系统打开程序卡住几秒怎么办
  • macbook如何使用word
  • unix操作系统命令
  • Win10任务栏天气怎么关闭
  • linux连接ssr
  • windows ocx注册
  • Linux基本命令使用
  • JavaScript中数组长度的属性
  • linux命令shell脚本
  • jquery下拉菜单插件
  • Python+Wordpress制作小说站
  • jquery给元素添加属性值
  • Python默认参数 数组坑
  • python文字检测
  • MVC+jQuery.Ajax异步实现增删改查和分页
  • 通用机油防伪查询
  • 消费税是由消费者完全负担的税种
  • 广东税务查询系统
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设