位置: IT常识 - 正文

《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoU

编辑:rootadmin
《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoU 《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoU文章目录《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoUIoU出现背景什么是IoU?IoU发展历程GIoU(CVPR2019)DIoU(AAAI2020)CIoU(AAAI2020)EIoU(arXiv2021)αIoU(NeurlPS2021)SIoU(arXiv2022)各IoU源代IoUGIoUDIoUCIoUIoU出现背景

推荐整理分享《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoU,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

目标检测任务的损失函数一般由Classificition Loss(分类损失函数)和Bounding Box Regeression Loss(回归损失函数)两部分构成。因此,更好的定位有利于模型精度的提高。在IoU Loss提出来之前,检测上有关候选框的回归主要是通过坐标的回归损失来优化。但L1 Loss和L2 Loss存在比较大的问题:

L1 Loss的问题:损失函数对x的导数为常数,在训练后期,x很小时,如果learning rate 不变,损失函数会在稳定值附近波动,很难收敛到更高的精度。L2 Loss的问题:损失函数对x的导数在x值很大时,其导数也非常大,在训练初期不稳定。

而且,基于L1/L2 Loss的坐标回归不具有尺度不变性,且并没有将四个坐标之间的相关性考虑进去。因此,像L1/L2 Loss直接的坐标回归实际上很难描述两框之间的相对位置关系。

因此,在ACM2016的论文中提出了IoU loss,它将四个坐标点看成一个整体进行计算,具有尺度不变性(也就是对尺度不敏感)。IoU Loss的定义是先求出预测框和真实框之间的交集和并集之比,再求负对数,但是在实际使用中我们常常将IoU Loss写成1-IoU。如果两个框重合则交并比等于1,Loss为0说明重合度非常高。因此,IoU的取值范围为[0,1]。

什么是IoU?

IOU的全称为交并比(Intersection over Union),是目标检测中使用的一个概念,IoU计算的是“预测的边框”和“真实的边框”的交叠率,即它们的交集和并集的比值。最理想情况是完全重叠,即比值为1。

IoU发展历程

虽然IoU Loss虽然解决了Smooth L1系列变量相互独立和不具有尺度不变性的两大问题,但是它也存在两个问题:

当预测框和目标框不相交时,即IoU(A,B)=0时,不能反映A,B距离的远近,此时损失函数不可导,IoU Loss 无法优化两个框不相交的情况。如上图三个框,假设预测框和目标框的大小都确定,只要两个框的相交值是确定的,即其IoU值相同时,IoU值不能反映两个框是如何相交的。GIoU(CVPR2019)

针对IoU无法反映两个框是如何相交的问题,GIoU通过引入预测框和真实框的最小外接矩形(类似于图像处理中的闭包区域)来获取预测框、真实框在闭包区域中的比重。这样子,GIoU不仅可以关注重叠区域,还可以关注其他非重合区域,能比较好的反映两个框在闭包区域中的相交情况。

从公式上来看,GIoU是一种IoU的下界,取值范围[-1,1]。在两者重合的时候取最大值1,在两者无交集且无限远的时候取最小值-1。因此,与IoU相比,GIoU是一个比较好的距离度量指标。

DIoU(AAAI2020)

虽然GIoU通过引入闭包区域缓解了预测框与真实框相交位置的衡量问题,但其实际上仍存在两个问题:

对每个预测框与真实框均要去计算最小外接矩形,计算及收敛速度受到限制当预测框在真实框内部时,GIoU退化为IoU,也无法区分相对位置关系

因此,考虑到GIoU的缺点,DIoU在IoU的基础上直接回归两个框中心点的欧式距离,加速了收敛速度。DIoU的惩罚项是基于中心点的距离和对角线距离的比值。这样就避免了GIoU在两框距离较远时产生较大闭包时所造成的Loss值较大而难以优化的情况。

CIoU(AAAI2020)

虽然DIoU Loss通过中心点回归缓解了两框距离较远时难优化的问题,但DIoU Loss仍存在两框中心点重合,但宽高比不同时,DIoU Loss退化为IoU Loss的问题。因此,为了得到更加精准的预测框,CIoU在DIoU的基础上增加了一个影响因子,即增加了预测框与真实框之间长宽比的一致性的考量。

比如上面三种情况,目标框包裹预测框,本来DIoU可以起作用。

但预测框的中心点的位置都是一样的,因此按照DIoU的计算公式,三者的值都是相同的。

《一文搞懂IoU发展历程》GIoU、DIoU、CIoU、EIoU、αIoU、SIoU

CIoU Loss虽然考虑了边界框回归的重叠面积、中心点距离及长宽比。但是其公式中的v反映的时长宽比的差异,而不是宽高分别与其置信度的真实差异,所以有时会阻碍模型有效的优化。

EIoU(arXiv2021)

EIoU在CIoU的基础上将长宽比拆开,明确地衡量了三个几何因素的差异,即重叠区域、中心点和边长,同时引入Fcoal loss解决了难易样本不平衡的问题。

αIoU(NeurlPS2021)

αIoU将现有的基于IoU 的损失进行了一个推广

使得αIoU可以显着超越现有的基于 IoU 的损失,通过调节α,使探测器更灵活地实现不同水平的bbox回归精度,并且αIoU对小数据集和噪声的鲁棒性更强

SIoU(arXiv2022)

传统的目标检测损失函数依赖于边界框回归指标的聚合,例如预测框和真实框(即 GIoU、CIoU、ICIoU 等)的距离、重叠区域和纵横比。然而,迄今为止提出和使用的方法都没有考虑期望的真实框和预测框之间不匹配的方向。这种不足导致收敛速度较慢且效率较低,因为预测框在训练过程中可能会“四处游荡”,最终会产生一个更差的模型。

SIoU提出了一种新的损失函数,重新定义了惩罚度量,考虑了期望回归之间的向量夹角。

SIoU损失函数由4个成本函数组成

Angle cost

Distance cost

Shape cost

IoU cost

将 SIoU 应用于 COCO-train/COCO-val 与其他损失函数相比,提高了 +2.4% (mAP@0.5:0.95) 和 +3.6%(mAP@0.5)

各IoU源代IoUimport numpy as npdef Iou(box1, box2, wh=False): if wh == False:xmin1, ymin1, xmax1, ymax1 = box1xmin2, ymin2, xmax2, ymax2 = box2 else:xmin1, ymin1 = int(box1[0]-box1[2]/2.0), int(box1[1]-box1[3]/2.0)xmax1, ymax1 = int(box1[0]+box1[2]/2.0), int(box1[1]+box1[3]/2.0)xmin2, ymin2 = int(box2[0]-box2[2]/2.0), int(box2[1]-box2[3]/2.0)xmax2, ymax2 = int(box2[0]+box2[2]/2.0), int(box2[1]+box2[3]/2.0) # 获取矩形框交集对应的左上角和右下角的坐标(intersection) xx1 = np.max([xmin1, xmin2]) yy1 = np.max([ymin1, ymin2]) xx2 = np.min([xmax1, xmax2]) yy2 = np.min([ymax1, ymax2]) # 计算两个矩形框面积 area1 = (xmax1-xmin1) * (ymax1-ymin1) area2 = (xmax2-xmin2) * (ymax2-ymin2) inter_area = (np.max([0, xx2-xx1])) * (np.max([0, yy2-yy1])) #计算交集面积 iou = inter_area / (area1+area2-inter_area+1e-6)  #计算交并比 return iouGIoUdef Giou(rec1,rec2): #分别是第一个矩形左右上下的坐标 x1,x2,y1,y2 = rec1 x3,x4,y3,y4 = rec2 iou = Iou(rec1,rec2) area_C = (max(x1,x2,x3,x4)-min(x1,x2,x3,x4))*(max(y1,y2,y3,y4)-min(y1,y2,y3,y4)) area_1 = (x2-x1)*(y1-y2) area_2 = (x4-x3)*(y3-y4) sum_area = area_1 + area_2 w1 = x2 - x1 #第一个矩形的宽 w2 = x4 - x3 #第二个矩形的宽 h1 = y1 - y2 h2 = y3 - y4 W = min(x1,x2,x3,x4)+w1+w2-max(x1,x2,x3,x4) #交叉部分的宽 H = min(y1,y2,y3,y4)+h1+h2-max(y1,y2,y3,y4) #交叉部分的高 Area = W*H #交叉的面积 add_area = sum_area - Area #两矩形并集的面积 end_area = (area_C - add_area)/area_C #闭包区域中不属于两个框的区域占闭包区域的比重 giou = iou - end_area return giouDIoUdef Diou(bboxes1, bboxes2): rows = bboxes1.shape[0] cols = bboxes2.shape[0] dious = torch.zeros((rows, cols)) if rows * cols == 0:# return dious exchange = False if bboxes1.shape[0] > bboxes2.shape[0]: bboxes1, bboxes2 = bboxes2, bboxes1 dious = torch.zeros((cols, rows)) exchange = True # #xmin,ymin,xmax,ymax->[:,0],[:,1],[:,2],[:,3] w1 = bboxes1[:, 2] - bboxes1[:, 0] h1 = bboxes1[:, 3] - bboxes1[:, 1] w2 = bboxes2[:, 2] - bboxes2[:, 0] h2 = bboxes2[:, 3] - bboxes2[:, 1] area1 = w1 * h1 area2 = w2 * h2 center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2 center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2 center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2 center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2 inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:]) inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2]) out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:]) out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2]) inter = torch.clamp((inter_max_xy - inter_min_xy), min=0) inter_area = inter[:, 0] * inter[:, 1] inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2 outer = torch.clamp((out_max_xy - out_min_xy), min=0) outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2) union = area1+area2-inter_area dious = inter_area / union - (inter_diag) / outer_diag dious = torch.clamp(dious,min=-1.0,max = 1.0) if exchange: dious = dious.T return diousCIoUdef bbox_overlaps_ciou(bboxes1, bboxes2): rows = bboxes1.shape[0] cols = bboxes2.shape[0] cious = torch.zeros((rows, cols)) if rows * cols == 0: return cious exchange = False if bboxes1.shape[0] > bboxes2.shape[0]: bboxes1, bboxes2 = bboxes2, bboxes1 cious = torch.zeros((cols, rows)) exchange = True w1 = bboxes1[:, 2] - bboxes1[:, 0] h1 = bboxes1[:, 3] - bboxes1[:, 1] w2 = bboxes2[:, 2] - bboxes2[:, 0] h2 = bboxes2[:, 3] - bboxes2[:, 1] area1 = w1 * h1 area2 = w2 * h2 center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2 center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2 center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2 center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2 inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:]) inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2]) out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:]) out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2]) inter = torch.clamp((inter_max_xy - inter_min_xy), min=0) inter_area = inter[:, 0] * inter[:, 1] inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2 outer = torch.clamp((out_max_xy - out_min_xy), min=0) outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2) union = area1+area2-inter_area u = (inter_diag) / outer_diag iou = inter_area / union with torch.no_grad(): arctan = torch.atan(w2 / h2) - torch.atan(w1 / h1) v = (4 / (math.pi ** 2)) * torch.pow((torch.atan(w2 / h2) - torch.atan(w1 / h1)), 2) S = 1 - iou alpha = v / (S + v) w_temp = 2 * w1 ar = (8 / (math.pi ** 2)) * arctan * ((w1 - w_temp) * h1) cious = iou - (u + alpha * ar) cious = torch.clamp(cious,min=-1.0,max = 1.0) if exchange: cious = cious.T return cious

参考文献

https://mp.weixin.qq.com/s/jLnde0Xms-99g4z16OE9VQ

DIoU、CIoU、GIoU、IoU再理解结合代码

IoU:《UnitBox: An Advanced Object Detection Network》

GIoU:《Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression》

D/C IoU:《Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression》

EIoU:《Focal and Efficient IOU Loss for Accurate Bounding Box Regression》

αIoU:《Alpha-IoU: A Family of Power Intersection over Union Losses for Bounding Box Regression》

SIoU:《SIoU Loss: More Powerful Learning for Bounding Box Regression》

本文链接地址:https://www.jiuchutong.com/zhishi/299593.html 转载请保留说明!

上一篇:关于HTML中常用选择器(html用语)

下一篇:基于stm32的太空人温湿度时钟项目——DHT11(HAL库)(基于stm32的飞行器)

  • 微信视频聊天美颜怎么设置(微信视频聊天美颜功能)

    微信视频聊天美颜怎么设置(微信视频聊天美颜功能)

  • 华为手机快充模式在哪里调(华为手机快充模块多少钱)

    华为手机快充模式在哪里调(华为手机快充模块多少钱)

  • 华为nova5怎么卸载不用的应用(华为nova5怎么卸载自带软件)

    华为nova5怎么卸载不用的应用(华为nova5怎么卸载自带软件)

  • 手机换了新电池要注意什么(手机换了新电池发烫怎么回事)

    手机换了新电池要注意什么(手机换了新电池发烫怎么回事)

  • 目前微机中广泛采用的电子元器件是(目前微机中广泛采用的电子元器)

    目前微机中广泛采用的电子元器件是(目前微机中广泛采用的电子元器)

  • 芒果tv点播视频是什么意思

    芒果tv点播视频是什么意思

  • 拉黑后进不了直播间吗(拉黑了不能拉入群聊)

    拉黑后进不了直播间吗(拉黑了不能拉入群聊)

  • 手机手电筒能开一夜吗(手机手电筒)

    手机手电筒能开一夜吗(手机手电筒)

  • 3千瓦热水器2点5的线行吗(3千瓦热水器2点5米多少钱)

    3千瓦热水器2点5的线行吗(3千瓦热水器2点5米多少钱)

  • 苹果按键失灵(苹果按键失灵修一下得多少钱)

    苹果按键失灵(苹果按键失灵修一下得多少钱)

  • 苹果11侧边关不了机(苹果11侧边开关)

    苹果11侧边关不了机(苹果11侧边开关)

  • 小度在家1c能充电吗(小度在家1c充电口旁边的接口处可以充电吗)

    小度在家1c能充电吗(小度在家1c充电口旁边的接口处可以充电吗)

  • 声卡的主要性能指标有哪些(声卡的主要性能参数)

    声卡的主要性能指标有哪些(声卡的主要性能参数)

  • 爱奇艺快进三倍怎么弄(爱奇艺快进三倍怎么变得两倍)

    爱奇艺快进三倍怎么弄(爱奇艺快进三倍怎么变得两倍)

  • 微信新消息怎么不显示在手机屏幕上(微信新消息怎么设置不显示内容)

    微信新消息怎么不显示在手机屏幕上(微信新消息怎么设置不显示内容)

  • 手机查qq空间相册容量(手机查qq空间相册容量剩多少)

    手机查qq空间相册容量(手机查qq空间相册容量剩多少)

  • 小米7屏幕尺寸(小米7屏幕尺寸多大)

    小米7屏幕尺寸(小米7屏幕尺寸多大)

  • 物联卡需要注销吗(物联卡注销了还能恢复吗)

    物联卡需要注销吗(物联卡注销了还能恢复吗)

  • ios12怎么关闭降频(ios12 关闭降频)

    ios12怎么关闭降频(ios12 关闭降频)

  • airpods暂停按哪里(airpods暂停之后怎么继续播放)

    airpods暂停按哪里(airpods暂停之后怎么继续播放)

  • win7设置两道密码(win7设置两道开机密码)

    win7设置两道密码(win7设置两道开机密码)

  • 苹果airpods盒子怎么关机(苹果Airpods盒子丢了)

    苹果airpods盒子怎么关机(苹果Airpods盒子丢了)

  • 百度经验如何更换头像(百度如何更换)

    百度经验如何更换头像(百度如何更换)

  • win11专业版打开此电脑后白屏怎么办 此电脑什么都没有的解决方法(win11专业版打开或关闭系统图标)

    win11专业版打开此电脑后白屏怎么办 此电脑什么都没有的解决方法(win11专业版打开或关闭系统图标)

  • colrm命令  过滤指定列(cmd 过滤命令)

    colrm命令 过滤指定列(cmd 过滤命令)

  • pwconv命令  开启用户的投影密码(pwcorr_a命令)

    pwconv命令 开启用户的投影密码(pwcorr_a命令)

  • 公司租的住宅和商品房
  • 外贸企业税务处理方式
  • 金税盘年费能全额抵扣吗
  • 预收账款可以开票吗
  • 权责发生制根据产品的生产特点和管理要求结转成本
  • 金税开票系统怎么导出发票明细
  • 计税依据的定义
  • 个人独资企业法人可以变更吗?
  • 小企业会计准则适用于哪些企业
  • 发生销货退回增值税专用发票如何处理
  • 材料税款抵扣
  • 确认主营业务成本的依据是什么单据
  • 企业计提福利费时,贷记应付职工薪酬
  • 发票已缴销什么意思
  • 所得税汇算调增调减是什么意思
  • 商品销售税金及附加科目现在改了吗
  • 企业职工补助
  • 支付给业主的赔偿金
  • 红字发票做进项税额转出是做借方红字吗
  • 报表总收入
  • 主办会计工作注意什么
  • 如何设定电脑开机密码锁
  • PHP随手笔记整理之PHP脚本和JAVA连接mysql数据库
  • php删除用户
  • 销售返利计入什么费用
  • PHP:oci_client_version()的用法_Oracle函数
  • 消防工程改造方案
  • cuda torch
  • php curl_init
  • 汇算清缴应补税额小于400
  • 项目辅材计入什么科目
  • 企业研发费用加计扣除是什么意思
  • php fgetcsv
  • 增值税退税要准备什么资料
  • stable Diffusion安装教程
  • 学习率设置
  • 分割sw
  • 技术研发费用包括哪些
  • 小规模增值税结转账务处理
  • 资产负债表和现金流量表之间的勾稽关系
  • 织梦使用手册
  • 安装织梦数据库连接不上
  • 2021增值税发票怎么开步骤
  • 印花税技术服务合同包括哪些
  • 科目余额表科目
  • 销售原材料的差价怎么算
  • 我国消费现状分析
  • 跨境电商怎么交流
  • 职工基本医疗保险怎么用
  • 如何冲销应付账款
  • 用友软件冲销之前凭证怎么操作
  • 公交卡充值发票怎么开
  • 外经证核销反馈表写错了怎么办
  • 房地产企业增值税计算
  • 配置零部件
  • 加盟费交税
  • win8屏幕显示时间
  • winxp更新到win10
  • centos7installation怎么配
  • linux的进程管理命令
  • win8系统怎么创建局域网
  • xp系统怎么卸载程序
  • mac不同账户如何共享文件
  • Win7旗舰版系统镜像文件
  • linux查看使用率命令
  • Tutorial 6:Translation Transformation
  • JS写XSS cookie stealer来窃取密码的步骤详解
  • jquery的使用
  • opengl入门教程
  • Android通过HttpURLConnection获取JSON并进行UI更新
  • js获取选中的checkbox
  • Android事件处理模型
  • 置顶聊天的人怎么不见了
  • javascript对象的常用方法
  • python 遍历数组
  • 考察后多久公示公务员
  • 核准类和备案类项目
  • 济南税务局投诉电话多少
  • 广州2021社保费
  • 混凝土搅拌站如何结转成本
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设