位置: IT常识 - 正文

【目标检测】YOLOv5遇上知识蒸馏(目标检测如何入门)

编辑:rootadmin
【目标检测】YOLOv5遇上知识蒸馏 前言

推荐整理分享【目标检测】YOLOv5遇上知识蒸馏(目标检测如何入门),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:目标检测tricks,目标检测如何入门,目标检测教程,目标检测yolo,目标检测怎么入门,目标检测yolov5,目标检测怎么入门,目标检测yolov5,内容如对您有帮助,希望把文章链接给更多的朋友!

模型压缩方法主要4种:

网络剪枝(Network pruning)稀疏表示(Sparse representation)模型量化(Model quantification)知识蒸馏(Konwledge distillation)

本文主要来研究知识蒸馏的相关知识,并尝试用知识蒸馏的方法对YOLOv5进行改进。

知识蒸馏理论简介概述

知识蒸馏(Knowledge Distillation)由深度学习三巨头Hinton在2015年提出。

论文标题:Distilling the knowledge in a neural network 论文地址:https://arxiv.org/pdf/1503.02531.pdf

“蒸馏”是个化工学科中的术语,本身指的是将液体混合物加热沸腾,使其中沸点较低的组分首先变成蒸气,再冷凝成液体,用来分离混合物。而知识蒸馏的含义和蒸馏本身相似但并不完全相同,知识蒸馏指的是同时训练两个网络,一个较复杂的网络作为教师网络,另一个较简单的网络作为学生网络,将教师网络训练得到的结果提炼出来,用来引导学生网络的结果,从而让学生网络学习得更好。

一个公认前提是小模型相比于大模型更容易陷入局部最优,下图[1]中,中间绿色的椭圆表示小网络模型的收敛空间,红色的椭圆表示大网络模型的收敛空间;如果不用知识蒸馏,直接训练小网络,它只会在绿色椭圆区域收敛,而使用知识蒸馏之后,小网络可以收敛到橙色椭圆区域,收敛到更小的最优点。

软标签

有了上面的概念,自然而然想到的一个问题就是,教师模型如何引导学生模型进行学习。这就涉及到论文中提及的一个概念——软标签(Soft target)

如上图[1]所示,以手写数字识别为例,这是一个10分类任务,左边这幅图是采用硬标签(Hard target),输出独热向量,概率最高的类别为1,其它类别为0;右边这幅图采用的是软标签(Soft target),通过softmax层输出的各类别概率,这样的输出具有更高的信息熵,即包含更多信息量。 教师模型输出软标签,从而指导学生模型学习。

softmax的原始公式是这样:

qi=exp⁡(zi)∑jexp⁡(zj)q_{i}=\frac{\exp \left(z_{i}\right)}{\sum_{j} \exp \left(z_{j}\right)}qi​=∑j​exp(zj​)exp(zi​)​

在论文中,作者对这个公式又加以改进,引入了一个新的温度变量T,公式如下:

qi=exp⁡(zi/T)∑jexp⁡(zj/T)q_{i}=\frac{\exp \left(z_{i} / T\right)}{\sum_{j} \exp \left(z_{j} / T\right)}qi​=∑j​exp(zj​/T)exp(zi​/T)​

加入这个变量,能使各类别之间的输出更均衡,如下图[2]所示,T=1为softmax,但是当T过大时,会发现输出向量会趋于一条直线,因此,T通常取中间较小值。

蒸馏温度

上面引入了一个新的变量温度T,这个T也可以称为蒸馏温度,原论文中给出了关于T的进一步讨论,随着T的增加,信息熵会越来越大,如下图[1]所示:

实际上,温度的高低改变的是Student模型训练过程中对负标签的关注程度。当温度较低时,对负标签的关注,尤其是那些显著低于平均值的负标签的关注较少;而温度较高时,负标签相关的值会相对增大,Student模型会相对更多地关注到负标签[1]。

因此,T的取值可以遵循如下策略:

当想从负标签中学到一些信息量的时候,温度T应调高一些当想减少负标签的干扰的时候,温度T应调低一些

需要注意的是,这个T只作用于教师网络和学生网络的蒸馏过程,学生网络正常输出仍使用softmax,即T取值为1,就像蒸馏过程一样,需要先进行升温,将知识蒸馏出来,然后输出的时候要冷却降温(T=1)

知识蒸馏过程

从原理上来讲,知识蒸馏没有想象中那么复杂,其流程如下图[1]所示:

【目标检测】YOLOv5遇上知识蒸馏(目标检测如何入门)

在T下,训练教师网络得到 soft targets1在T下,训练学生网络得到 soft targets2通过 soft targets1 和 soft targets2 得到 distillation loss在温度1下,训练学生网络得到 soft targets3通过 soft targets3 和 ground truth 得到 student loss

通过这五个步骤,就得到了两个损失值 distillation loss 和 student loss,那么训练的整体损失,就是这两个损失值的加权和,公式[2]如下:

注:

这里的蒸馏损失系数乘了一个T2T^2T2 这是由于soft targets产生的梯度大小按照1/T21/T^21/T2进行了缩放,这里需要补充回来α\alphaα应远小于β\betaβ 即需要让知识蒸馏损失权重大一些,否则没有蒸馏效果

后面,论文作者分别做了手写数字识别和声音识别实验,这里主要来看作者在MNIST数据集上的实验结果,结果如下表所示:

10xEnsemble是10个教师模型的平均值,Distilled Single model是Baseline模型经过蒸馏之后的结果,可以看到蒸馏出来的准确率提升了1.9%.

YOLOv5加上知识蒸馏

下面就将知识蒸馏融入到YOLOv5目标检测任务中,使用的是YOLOv5-6.0版本。 相关代码参考自:https://github.com/Adlik/yolov5

代码修改

其实知识蒸馏的想法很简单,在仓库作者的代码版本中,修改的内容也并不多,主要是模型加载和损失计算部分。

下面按照顺序来解读一下修改内容。

首先是train_distillation.py这个文件,通过修改train.py得到。

新增四个参数:

parser.add_argument('--t_weights', type=str, default='./weights/yolov5s.pt', help='initial teacher model weights path')parser.add_argument('--t_cfg', type=str, default='models/yolov5s.yaml', help='teacher model.yaml path')parser.add_argument('--d_output', action='store_true', default=False, help='if true, only distill outputs')parser.add_argument('--d_feature', action='store_true', default=False, help='if true, distill both feature and output layers')

t_weights 教师模型权重,和学生模型加载类似

t_cfg 教师模型配置,和学生模型配置类似

d_output 这个参数写在这里但不起作用,应该是作者调试时用到的参数,默认是只蒸馏结果

d_feature 这个参数默认是关闭,如果开启,蒸馏损失计算将不仅仅是计算两个模型输出的结果,并且中间特征层也会参与计算(不过这个作者没写完整,可能写到一半弃坑了)

模型加载: 这部分需要多加载一个教师模型,相关代码如下:

# Modelcheck_suffix(weights, '.pt') # check weightspretrained = weights.endswith('.pt')if pretrained: with torch_distributed_zero_first(LOCAL_RANK): weights = attempt_download(weights) # download if not found locally ckpt = torch.load(weights, map_location=device) # load checkpoint model = Model(cfg or ckpt['model'].yaml, ch=3, nc=nc, anchors=hyp.get('anchors')).to(device) # create exclude = ['anchor'] if (cfg or hyp.get('anchors')) and not resume else [] # exclude keys csd = ckpt['model'].float().state_dict() # checkpoint state_dict as FP32 csd = intersect_dicts(csd, model.state_dict(), exclude=exclude) # intersect model.load_state_dict(csd, strict=False) # load LOGGER.info(f'Transferred {len(csd)}/{len(model.state_dict())} items from {weights}') # report# 这里添加加载教师模型 # Teacher model LOGGER.info(f'Loaded teacher model {t_cfg}') # report t_ckpt = torch.load(t_weights, map_location=device) # load checkpoint t_model = Model(t_cfg or t_ckpt['model'].yaml, ch=3, nc=nc, anchors=hyp.get('anchors')).to(device) exclude = ['anchor'] if (t_cfg or hyp.get('anchors')) and not resume else [] # exclude keys csd = t_ckpt['model'].float().state_dict() # checkpoint state_dict as FP32 csd = intersect_dicts(csd, t_model.state_dict(), exclude=exclude) # intersect t_model.load_state_dict(csd, strict=False) # load

损失计算: 这里多了一个d_outputs_loss,也就是计算蒸馏损失

s_loss, loss_items = compute_loss(pred, targets.to(device)) # loss scaled by batch_sized_outputs_loss = compute_distillation_output_loss(pred, t_pred, model, d_weight=10)loss = d_outputs_loss + s_loss

蒸馏损失在loss.py中进行定义:

def compute_distillation_output_loss(p, t_p, model, d_weight=1): t_ft = torch.cuda.FloatTensor if t_p[0].is_cuda else torch.Tensor t_lcls, t_lbox, t_lobj = t_ft([0]), t_ft([0]), t_ft([0]) h = model.hyp # hyperparameters red = 'mean' # Loss reduction (sum or mean) if red != "mean": raise NotImplementedError("reduction must be mean in distillation mode!") DboxLoss = nn.MSELoss(reduction="none") DclsLoss = nn.MSELoss(reduction="none") DobjLoss = nn.MSELoss(reduction="none") # per output for i, pi in enumerate(p): # layer index, layer predictions t_pi = t_p[i] t_obj_scale = t_pi[..., 4].sigmoid() # BBox b_obj_scale = t_obj_scale.unsqueeze(-1).repeat(1, 1, 1, 1, 4) t_lbox += torch.mean(DboxLoss(pi[..., :4], t_pi[..., :4]) * b_obj_scale) # Class if model.nc > 1: # cls loss (only if multiple classes) c_obj_scale = t_obj_scale.unsqueeze(-1).repeat(1, 1, 1, 1, model.nc) # t_lcls += torch.mean(c_obj_scale * (pi[..., 5:] - t_pi[..., 5:]) ** 2) t_lcls += torch.mean(DclsLoss(pi[..., 5:], t_pi[..., 5:]) * c_obj_scale) # t_lobj += torch.mean(t_obj_scale * (pi[..., 4] - t_pi[..., 4]) ** 2) t_lobj += torch.mean(DobjLoss(pi[..., 4], t_pi[..., 4]) * t_obj_scale) t_lbox *= h['box'] t_lobj *= h['obj'] t_lcls *= h['cls'] # bs = p[0].shape[0] # batch size loss = (t_lobj + t_lbox + t_lcls) * d_weight return loss

因为目标检测和原论文中的分类问题有所区别,并不能直接简单套用原论文提出的soft-target,那么这里的处理方式就是将三个损失(位置损失、目标损失、类别损失)简单粗暴地用MSELoss进行计算,然后蒸馏损失就是这三部分之和。

值得注意的是,理论部分我们提到过,蒸馏损失需要比学生损失的权重更大,因此,这里在计算蒸馏损失中,加入了一个权重d_weight,权重计算时取10.

下面是代码作者给出的一个实验结果:

ModelCompressionstrategyInput size [h, w]mAPval0.5:0.95Pretrain weightyolov5sbaseline[640, 640]37.2pth | onnxyolov5sdistillation[640, 640]39.3pth | onnxyolov5squantization[640, 640]36.5xml | binyolov5sdistillation + quantization[640, 640]38.6xml | bin

他采用的是coco数据集,用yolov5m作为教师模型,yolov5s作为学生模型,表格第二行展示了蒸馏之后的效果,mAP提升了2.1.

实验验证

为了验证蒸馏是否有效,我在VisDrone数据集上进行了实验,训练了100epoch,实验结果如下表所示:

Student ModelTeacher ModelInput size [h, w]mAPtest0.5mAPtest0.5:0.95yolov5m-[640, 640]0.320.181yolov5myolov5m[640, 640]0.3050.163yolov5myolov5x[640, 640]0.3020.161yolov5m-[1280, 1280]0.4480.261yolov5myolov5x[1280, 1280]0.4010.23

结果挺意外的,使用蒸馏训练之后,mAP反而下降了,严重怀疑蒸馏出来的是糟粕😵

结论

知识蒸馏理论上并不复杂,但经过实验,基本判断这玩意理论价值大于应用价值,用来讲故事可以,实际上提升效果非常有限。当然这是我做了有限实验得出的初步结论,如果读者有更好的思路,可以在评论区留言和我讨论。

参考

[1]【论文泛读】 知识蒸馏:Distilling the knowledge in a neural network:https://www.bilibili.com/read/cv16841475 [2]【论文精讲|无废话版】知识蒸馏:https://www.bilibili.com/video/BV1h8411t7SA

本文链接地址:https://www.jiuchutong.com/zhishi/288835.html 转载请保留说明!

上一篇:潘塔纳尔湿地的风信子金刚鹦鹉,巴西 (© David Pattyn/Minden Pictures)(潘塔纳尔湿地的主要成因)

下一篇:最新大麦网抢票脚本-Python实战(最新大麦抢票脚本)

  • beats怎么连接电脑(beats怎么连接电脑麦克风)

    beats怎么连接电脑(beats怎么连接电脑麦克风)

  • 爱奇艺会员电视和手机能一起用吗(爱奇艺会员电视能用吗)

    爱奇艺会员电视和手机能一起用吗(爱奇艺会员电视能用吗)

  • 淘宝红包签到怎么没有(淘宝红包签到怎么关闭)

    淘宝红包签到怎么没有(淘宝红包签到怎么关闭)

  • 电脑开机一直加载圆圈(电脑开机一直加载进不去系统)

    电脑开机一直加载圆圈(电脑开机一直加载进不去系统)

  • 注销qq空间后自己还可以看吗(注销qq空间后自己能看到吗)

    注销qq空间后自己还可以看吗(注销qq空间后自己能看到吗)

  • 不同机器测眼轴长度有误差吗(不同机器测眼轴会不会有误差)

    不同机器测眼轴长度有误差吗(不同机器测眼轴会不会有误差)

  • 闲鱼拍卖成功了。卖家不卖了	,可以吗(闲鱼拍卖成功了,保证金会退吗)

    闲鱼拍卖成功了。卖家不卖了 ,可以吗(闲鱼拍卖成功了,保证金会退吗)

  • 小米短信蓝色和绿色的区别(小米短信蓝色和绿色没显示送达)

    小米短信蓝色和绿色的区别(小米短信蓝色和绿色没显示送达)

  • 笔记本i5和i7的区别(笔记本i5和i7的哪个好)

    笔记本i5和i7的区别(笔记本i5和i7的哪个好)

  • 不是管理员怎么@所有人(不是管理员怎么把人移出群)

    不是管理员怎么@所有人(不是管理员怎么把人移出群)

  • 华为官换机怎么辨别(华为官换机怎么买)

    华为官换机怎么辨别(华为官换机怎么买)

  • 听音乐耗流量多吗(听音乐耗费多少流量)

    听音乐耗流量多吗(听音乐耗费多少流量)

  • 支付宝扣费设置在哪里(支付宝扣费设置在哪里关闭)

    支付宝扣费设置在哪里(支付宝扣费设置在哪里关闭)

  • 华为进网试用是什么意思(华为新机后面的进网试用是什么意思)

    华为进网试用是什么意思(华为新机后面的进网试用是什么意思)

  • 小度nv2101和nv6101的区别(小度nv2101和nv6101哪个贵)

    小度nv2101和nv6101的区别(小度nv2101和nv6101哪个贵)

  • 华为畅玩5x支持电信卡吗(华为畅玩5x支持OTG转接头吗)

    华为畅玩5x支持电信卡吗(华为畅玩5x支持OTG转接头吗)

  • iphone电池最大容量99能恢复吗(iPhone电池最大容量多少需要更换)

    iphone电池最大容量99能恢复吗(iPhone电池最大容量多少需要更换)

  • ipad绑定微信支付系统繁忙(ipad绑定微信支付)

    ipad绑定微信支付系统繁忙(ipad绑定微信支付)

  • iphone11慢充需要多久(苹果11慢充耐用么)

    iphone11慢充需要多久(苹果11慢充耐用么)

  • 手机chm文件怎么打开(手机上chm文件怎么打开)

    手机chm文件怎么打开(手机上chm文件怎么打开)

  • 支付宝盒子怎么连蓝牙(支付宝盒子怎么换电池)

    支付宝盒子怎么连蓝牙(支付宝盒子怎么换电池)

  • 苹果a1784什么版本(a1784是什么版本)

    苹果a1784什么版本(a1784是什么版本)

  • 华为nova和p系列区别(华为nova和p系列哪个好)

    华为nova和p系列区别(华为nova和p系列哪个好)

  • mac清理日志解决终端启动慢的问题(mac清理垃圾怎么清理)

    mac清理日志解决终端启动慢的问题(mac清理垃圾怎么清理)

  • 增值税专用发票抵扣期限
  • 食品类发票明细有哪些面包方便面
  • 租赁费属于酌量收入吗
  • 所购税控盘减免税款
  • 代开运输发票会不会造成重复征税
  • 预缴增值税怎么填表
  • 非货币交易例子
  • 工厂采购原材料销售给外贸公司
  • 电子商务平台支付的区别
  • 学校方面的增值税的问题
  • 个体纳税申报核定销售额填不填
  • 创新券兑付怎么操作
  • 投标财务状况报告怎么提供
  • 企业短期投资交增值税吗
  • 收到银行本票的会计分录怎么写
  • 其他应付款下的固定资产怎么报废
  • 新手会计怎么入门做账
  • 新公司第一年
  • win10任务栏不显示最近
  • 电脑开wifi给手机用好吗
  • 留底税额怎么分录
  • 季度所得税如何更正申报
  • 小规模纳税人的专票可以抵税吗
  • 长期债权投资收回的利息 现金流量表
  • 小规模固定资产会计科目
  • 修改注册表限制cpu速度
  • 股东撤资属于什么科目
  • 代扣代缴个人所得税怎么算
  • 小程序在线反编译网页版
  • 用人单位未为劳动者缴纳社会保险费
  • 天然气票据
  • CNN卷积神经网络/手写数字识别[VHDL][MATLAB]带源码
  • vue-axios详细介绍
  • 企业资产损失税前扣除管理办法最新
  • 管家婆实收资本显示负数什么原因
  • 主营业务收入的t型账户怎么写
  • 进项税和销项税月末怎么结转
  • php 多进程
  • 公司对其他公司的投资怎么做账
  • 财政总预算会计的特点
  • 差旅费包括哪些费用
  • 上年结转库存现金会计分录
  • 增值税发票丢失怎么补开
  • 商誉需要交税吗
  • Windows2003 SQL2005添加系统用户修改系统登录密码
  • mysql数据库维护
  • 什么情况下企业亏损但继续生产
  • 固定资产盘点盘什么
  • 固定资产盘亏盘盈
  • 应付账款多好还是少好
  • 其他应付款如何清零
  • 高速过路费发票图片
  • 机关单位工会经费提取比例
  • 研发支出的定义
  • 会计证异地可以考吗
  • 平均增长率计算公式怎么算
  • 服务费税额部分计算公式
  • Sql Server 2000 行转列的实现(横排)
  • 当你感觉到你的win2000运行速度明显减慢
  • windows不兼容
  • xp怎么安装framework
  • bios如何进去
  • win7系统删除文件夹怎么恢复
  • win7用户账户控制设置电脑重启后恢复
  • win8怎么安装不了win10
  • win7系统清理c盘空间不足
  • win8系统谷歌浏览器打不开
  • kmswin7激活步骤
  • cocos2dx 2.2.2
  • centos7如何分区
  • jquery中的事件
  • js的实现原理
  • javascript定律
  • js怎么学扎实
  • 美国税务制度
  • 国家审计署查民营企业
  • sp海淘3档到国内什么快递
  • 新疆税务干部学校招聘
  • 德阳契税收费标准2022
  • 福建税务网址
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设