位置: IT常识 - 正文

分割网络损失函数总结!交叉熵,Focal loss,Dice,iou,TverskyLoss!(网络分割算法)

编辑:rootadmin
分割网络损失函数总结!交叉熵,Focal loss,Dice,iou,TverskyLoss! 文章目录前言一、交叉熵loss二、Focal loss一、Dice损失函数一、IOU损失一、TverskyLoss总结前言

推荐整理分享分割网络损失函数总结!交叉熵,Focal loss,Dice,iou,TverskyLoss!(网络分割算法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:gan网络损失函数,网络分割算法,分割网络有哪些,分类网络损失函数,分割网络有哪些,网络分割算法,分类网络损失函数,分割网络损失函怎么写,内容如对您有帮助,希望把文章链接给更多的朋友!

在实际训练分割网络任务过程中,损失函数的选择尤为重要。对于语义分割而言,极有可能存在着正负样本不均衡,或者说类别不平衡的问题,因此选择一个合适的损失函数对于模型收敛以及准确预测有着至关重要的作用。

一、交叉熵loss

M为类别数; yic为示性函数,指出该元素属于哪个类别; pic为预测概率,观测样本属于类别c的预测概率,预测概率需要事先估计计算;

缺点: 交叉熵Loss可以用在大多数语义分割场景中,但它有一个明显的缺点,那就是对于只用分割前景和背景的时候,当前景像素的数量远远小于背景像素的数量时,即背景元素的数量远大于前景元素的数量,背景元素损失函数中的成分就会占据主导,使得模型严重偏向背景,导致模型训练预测效果不好。

分割网络损失函数总结!交叉熵,Focal loss,Dice,iou,TverskyLoss!(网络分割算法)

同理BCEloss同样面临着这个问题,BCEloss如下。 对所有N个类别都做一次二分类损失计算。

#二值交叉熵,这里输入要经过sigmoid处理import torchimport torch.nn as nnimport torch.nn.functional as Fnn.BCELoss(F.sigmoid(input), target)#多分类交叉熵, 用这个 loss 前面不需要加 Softmax 层nn.CrossEntropyLoss(input, target)二、Focal loss

何凯明团队在RetinaNet论文中引入了Focal Loss来解决难易样本数量不平衡,我们来回顾一下。 对样本数和置信度做惩罚,认为大样本的损失权重和高置信度样本损失权重较低。

class FocalLoss(nn.Module): """ copy from: https://github.com/Hsuxu/Loss_ToolBox-PyTorch/blob/master/FocalLoss/FocalLoss.py This is a implementation of Focal Loss with smooth label cross entropy supported which is proposed in 'Focal Loss for Dense Object Detection. (https://arxiv.org/abs/1708.02002)' Focal_Loss= -1*alpha*(1-pt)*log(pt) :param num_class: :param alpha: (tensor) 3D or 4D the scalar factor for this criterion :param gamma: (float,double) gamma > 0 reduces the relative loss for well-classified examples (p>0.5) putting more focus on hard misclassified example :param smooth: (float,double) smooth value when cross entropy :param balance_index: (int) balance class index, should be specific when alpha is float :param size_average: (bool, optional) By default, the losses are averaged over each loss element in the batch. """ def __init__(self, apply_nonlin=None, alpha=None, gamma=2, balance_index=0, smooth=1e-5, size_average=True): super(FocalLoss, self).__init__() self.apply_nonlin = apply_nonlin self.alpha = alpha self.gamma = gamma self.balance_index = balance_index self.smooth = smooth self.size_average = size_average if self.smooth is not None: if self.smooth < 0 or self.smooth > 1.0: raise ValueError('smooth value should be in [0,1]') def forward(self, logit, target): if self.apply_nonlin is not None: logit = self.apply_nonlin(logit) num_class = logit.shape[1] if logit.dim() > 2: # N,C,d1,d2 -> N,C,m (m=d1*d2*...) logit = logit.view(logit.size(0), logit.size(1), -1) logit = logit.permute(0, 2, 1).contiguous() logit = logit.view(-1, logit.size(-1)) target = torch.squeeze(target, 1) target = target.view(-1, 1) # print(logit.shape, target.shape) # alpha = self.alpha if alpha is None: alpha = torch.ones(num_class, 1) elif isinstance(alpha, (list, np.ndarray)): assert len(alpha) == num_class alpha = torch.FloatTensor(alpha).view(num_class, 1) alpha = alpha / alpha.sum() elif isinstance(alpha, float): alpha = torch.ones(num_class, 1) alpha = alpha * (1 - self.alpha) alpha[self.balance_index] = self.alpha else: raise TypeError('Not support alpha type') if alpha.device != logit.device: alpha = alpha.to(logit.device) idx = target.cpu().long() one_hot_key = torch.FloatTensor(target.size(0), num_class).zero_() one_hot_key = one_hot_key.scatter_(1, idx, 1) if one_hot_key.device != logit.device: one_hot_key = one_hot_key.to(logit.device) if self.smooth: one_hot_key = torch.clamp( one_hot_key, self.smooth/(num_class-1), 1.0 - self.smooth) pt = (one_hot_key * logit).sum(1) + self.smooth logpt = pt.log() gamma = self.gamma alpha = alpha[idx] alpha = torch.squeeze(alpha) loss = -1 * alpha * torch.pow((1 - pt), gamma) * logpt if self.size_average: loss = loss.mean() else: loss = loss.sum() return loss一、Dice损失函数

集合相似度度量函数。通常用于计算两个样本的相似度,属于metric learning。X为真实目标mask,Y为预测目标mask,我们总是希望X和Y交集尽可能大,占比尽可能大,但是loss需要逐渐变小,所以在比值前面添加负号。 可以缓解样本中前景背景(面积)不平衡带来的消极影响,前景背景不平衡也就是说图像中大部分区域是不包含目标的,只有一小部分区域包含目标。Dice Loss训练更关注对前景区域的挖掘,即保证有较低的FN,但会存在损失饱和问题,而CE Loss是平等地计算每个像素点的损失。因此单独使用Dice Loss往往并不能取得较好的结果,需要进行组合使用,比如Dice Loss+CE Loss或者Dice Loss+Focal Loss等。

该处说明原文链接:https://blog.csdn.net/Mike_honor/article/details/125871091

def dice_loss(prediction, target): """Calculating the dice loss Args: prediction = predicted image target = Targeted image Output: dice_loss""" smooth = 1.0 i_flat = prediction.view(-1) t_flat = target.view(-1) intersection = (i_flat * t_flat).sum() return 1 - ((2. * intersection + smooth) / (i_flat.sum() + t_flat.sum() + smooth))def calc_loss(prediction, target, bce_weight=0.5): """Calculating the loss and metrics Args: prediction = predicted image target = Targeted image metrics = Metrics printed bce_weight = 0.5 (default) Output: loss : dice loss of the epoch """ bce = F.binary_cross_entropy_with_logits(prediction, target) prediction = F.sigmoid(prediction) dice = dice_loss(prediction, target) loss = bce * bce_weight + dice * (1 - bce_weight) return loss一、IOU损失

该损失函数与Dice损失函数类似,都是metric learning衡量,在实验中都可以尝试,在小目标分割收敛中有奇效!

def SoftIoULoss( pred, target): # Old One pred = torch.sigmoid(pred) smooth = 1 # print("pred.shape: ", pred.shape) # print("target.shape: ", target.shape) intersection = pred * target loss = (intersection.sum() + smooth) / (pred.sum() + target.sum() -intersection.sum() + smooth) # loss = (intersection.sum(axis=(1, 2, 3)) + smooth) / \ # (pred.sum(axis=(1, 2, 3)) + target.sum(axis=(1, 2, 3)) # - intersection.sum(axis=(1, 2, 3)) + smooth) loss = 1 - loss.mean() # loss = (1 - loss).mean() return loss一、TverskyLoss

分割任务也有不同侧重点,如医学分割更加关注召回率(高灵敏度),即真实mask尽可能都被预测出来,不太关注预测mask有没有多预测。B为真实mask,A为预测mask。|A-B|为假阳,|B-A|为假阴,alpha和beta可以控制假阳和假阴之间的权衡。若我们更加关注召回,则放大|B-A|的影响。 其中alpha和beta可以影响找回率和准确率,若想目标有较高的召回率,那么我们可以选择较高的beta。

class TverskyLoss(nn.Module): def __init__(self, apply_nonlin=None, batch_dice=False, do_bg=True, smooth=1., square=False): """ paper: https://arxiv.org/pdf/1706.05721.pdf """ super(TverskyLoss, self).__init__() self.square = square self.do_bg = do_bg self.batch_dice = batch_dice self.apply_nonlin = apply_nonlin self.smooth = smooth self.alpha = 0.3 self.beta = 0.7 def forward(self, x, y, loss_mask=None): shp_x = x.shape if self.batch_dice: axes = [0] + list(range(2, len(shp_x))) else: axes = list(range(2, len(shp_x))) if self.apply_nonlin is not None: x = self.apply_nonlin(x) tp, fp, fn = get_tp_fp_fn(x, y, axes, loss_mask, self.square) tversky = (tp + self.smooth) / (tp + self.alpha*fp + self.beta*fn + self.smooth) if not self.do_bg: if self.batch_dice: tversky = tversky[1:] else: tversky = tversky[:, 1:] tversky = tversky.mean() return -tversky总结

在经过一系列实验后,发现后四种损失函数更加适合小目标分割网络训练。但是每个任务都有差异,如果时间很充裕的话,可以挨个尝试一下。

本文链接地址:https://www.jiuchutong.com/zhishi/298409.html 转载请保留说明!

上一篇:vue3生命周期及setup介绍(vue3生命周期及使用)

下一篇:Cifar-10图像分类/Pytorch/LeNet/AlexNet(cifar10图像分类实验报告)

  • 微信可以设置特别关心吗(微信可以设置特别关心提示音吗)

    微信可以设置特别关心吗(微信可以设置特别关心提示音吗)

  • word 病毒主要感染并隐藏在word文件中(word文档病毒 症状)

    word 病毒主要感染并隐藏在word文件中(word文档病毒 症状)

  • 一加7t对比oppoace(一加7t对比一加7pro参数)

    一加7t对比oppoace(一加7t对比一加7pro参数)

  • 腾讯会议直播可以回放吗(腾讯会议直播可以看到观看时长吗)

    腾讯会议直播可以回放吗(腾讯会议直播可以看到观看时长吗)

  • 硬盘大小有什么区别(硬盘大小有什么影响)

    硬盘大小有什么区别(硬盘大小有什么影响)

  • 拼多多无门槛优惠券是什么意思(拼多多无门槛优惠券退款后还有吗)

    拼多多无门槛优惠券是什么意思(拼多多无门槛优惠券退款后还有吗)

  • 知乎邀请回答是随机的吗(知乎邀请回答是谁邀请的)

    知乎邀请回答是随机的吗(知乎邀请回答是谁邀请的)

  • 快手双击有什么用(快手上的双击可以挣钱吗?)

    快手双击有什么用(快手上的双击可以挣钱吗?)

  • ipad死机怎么强制重启(苹果ipad卡住了怎么强制关机)

    ipad死机怎么强制重启(苹果ipad卡住了怎么强制关机)

  • 微信在线编辑表格怎么弄(微信在线编辑表格怎么制作)

    微信在线编辑表格怎么弄(微信在线编辑表格怎么制作)

  • 苹果手机充满电瞬间就没电(苹果手机充满电后会自动断电吗)

    苹果手机充满电瞬间就没电(苹果手机充满电后会自动断电吗)

  • 微信复制怎么显示全文(微信复制怎么显示文字)

    微信复制怎么显示全文(微信复制怎么显示文字)

  • 华为畅享10plus带不带nfc(华为畅享10plus带框换屏教程)

    华为畅享10plus带不带nfc(华为畅享10plus带框换屏教程)

  • 手机咋样能看电视节目(手机怎么样可以看电视频道)

    手机咋样能看电视节目(手机怎么样可以看电视频道)

  • 手机只能接不能打是怎么回事(手机只能接不能打怎么办?)

    手机只能接不能打是怎么回事(手机只能接不能打怎么办?)

  • 魅族16T可以升5G吗(魅族16t支不支持5g)

    魅族16T可以升5G吗(魅族16t支不支持5g)

  • 抖音短视频怎么玩换装(抖音短视频怎么变现赚钱)

    抖音短视频怎么玩换装(抖音短视频怎么变现赚钱)

  • 苹果11为什么发烫(苹果11为什么发烫这么严重)

    苹果11为什么发烫(苹果11为什么发烫这么严重)

  • 淘宝宝贝显示已种草是什么意思(淘宝显示宝贝已失效)

    淘宝宝贝显示已种草是什么意思(淘宝显示宝贝已失效)

  • iphone xr支持nfc吗(xr支持nfc功能吗)

    iphone xr支持nfc吗(xr支持nfc功能吗)

  • pr如何给视频加特效(pr如何给视频加水印)

    pr如何给视频加特效(pr如何给视频加水印)

  • 清晰度5mp是什么意思(清晰度5mp高还是2k高)

    清晰度5mp是什么意思(清晰度5mp高还是2k高)

  • 怎么查询自己的航班信息(怎么查询自己的车保险信息)

    怎么查询自己的航班信息(怎么查询自己的车保险信息)

  • 华为t2281怎么和蓝牙耳机配对(华为ter-b29s怎么连接手机)

    华为t2281怎么和蓝牙耳机配对(华为ter-b29s怎么连接手机)

  • cpqa1000.exe是安全进程吗 cpqa1000进程有什么作用

    cpqa1000.exe是安全进程吗 cpqa1000进程有什么作用

  • 培训费的其他费用是什么
  • 邮局可以开发票吗 税点多少
  • 购入免征车船税吗
  • 进口设备在海关处保存2年出售时 计算税怎么算
  • 蓝字发票作废流程视频
  • 收到应收的货款的会计分录
  • 永续债的利息会计处理
  • 事业单位其他应付款贷方余额表示什么
  • 建筑企业升资质主管单位
  • 发票验证系统费用多少钱?
  • 现金支付和个人自费
  • 开办期间的税控设备怎么入账?
  • 管理费用纳税调增账务处理
  • 什么情况下要交增值税
  • 开发成本开发间接费用是哪类账户
  • 怎样知道自己是否贫血
  • 资产负债表的编制方法
  • 公司固定资产出售给个人
  • 小微企业一般纳税人
  • 苹果手机把旧手机的照片传到新手机
  • 经销商计提折扣怎么算
  • linux tr
  • 发生销售折让怎么办
  • 出售短期债券投资发生的净损失计入哪里
  • 1.exe是什么文件
  • 房产税缴纳标准是多少
  • 长期股权投资初始投资成本和入账价值
  • 跨年可以预提费用吗
  • 购买货物收到发票财务报表怎么提现
  • vue打包成一个文件
  • 火车票抵扣进项税怎么申报填写
  • 今日清明节的下一句是什么
  • laravel 5.1下php artisan migrate的使用注意事项总结
  • 公司与公司的往来款清帐需要交税吗
  • php函数的定义和调用
  • php array_slice
  • 深度学习|论文中常用的注意力模块合集(下)
  • 如何搭建python
  • cuppath
  • 收到工程款怎么做凭证
  • 其他科技推广服务业可以加计扣除吗
  • 成品油电子普通发票如何入账
  • Vue 拖拽排序
  • 抽烟罚款会计分录
  • mongodb reference
  • 核定征收企业注册
  • 劳务分包的三种形式
  • 广告制作费属于广告服务吗
  • 报销连号发票的合理解释
  • 使用银行汇票的结算方式
  • 发票复核人一定要填吗
  • 房租收入应如何纳税
  • 销售费用的会计科目
  • 资金股东占股比例
  • 开给个人的普通增值税
  • mysql关联语句
  • sql存储过程什么意思
  • sqlserver存储过程在哪里
  • win7怎么调整
  • Windows Server 2008域环境下组策略两例应用
  • linux中sed详细用法
  • linux安装atop
  • adguard安全性
  • jsclass选择器
  • 使用jquery实现的项目
  • node.js gui
  • linux中的shell编程
  • opengl渲染流程图
  • js中转换成string类型的方法
  • dos判断变量是否为空
  • vue-resource + json-server模拟数据的方法
  • Unity3D之Profile
  • JavaScript中的数据类型分哪为两大类?
  • 轮廓理论
  • css弹性布局是什么
  • 上海自贸区税务大厅地址
  • 在江西税务网交医保流程
  • 国家产业政策是什么
  • 伊朗开心果进口价格
  • 为什么消费税是价内税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设