位置: IT常识 - 正文

鲁棒性的含义以及如何提高模型的鲁棒性(鲁棒性分析方法)

编辑:rootadmin
鲁棒性的含义以及如何提高模型的鲁棒性 1、含义

推荐整理分享鲁棒性的含义以及如何提高模型的鲁棒性(鲁棒性分析方法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:鲁棒性原理,鲁棒性原则的含义,鲁棒性原则的含义,鲁棒性原理,鲁棒性算法,鲁棒性原理,鲁棒性主成分分析,鲁棒性主成分分析,内容如对您有帮助,希望把文章链接给更多的朋友!

鲁棒是Robust的音译,也就是健壮和强壮的意思。它也是在异常和危险情况下系统生存的能力。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,也是指控制系统在一定(结构,大小)的参数摄动下,维持其它某些性能的特性。根据对性能的不同定义,可分为稳定鲁棒性和性能鲁棒性。以闭环系统的鲁棒性作为目标设计得到的固定控制器称为鲁棒控制器。

鲁棒性包括稳定鲁棒性和品质鲁棒性。一个控制系统是否具有鲁棒性,是它能否真正实际应用的关键。因此,现代控制系统的设计已将鲁棒性作为一种最重要的设计指标。

AI模型的鲁棒可以理解为模型对数据变化的容忍度。假设数据出现较小偏差,只对模型输出产生较小的影响,则称模型是鲁棒的。 Huber从稳健统计的角度给出了鲁棒性的3个要求:

模型具有较高的精度或有效性。对于模型假设出现的较小偏差(noise),只能对算法性能产生较小的影响。对于模型假设出现的较大偏差(outlier),不能对算法性能产生“灾难性”的影响。

2、鲁棒性和稳定性的区别

鲁棒性即稳健性,外延和内涵不一样;稳定性只做本身特性的描述。鲁棒性指一个具体的控制器,如果对一个模型族中的每个对象都能保证反馈系统内稳定,那么就称其为鲁棒稳定的。稳定性指的是系统在某个稳定状态下受到较小的扰动后仍能回到原状态或另一个稳定状态。

3、鲁棒性和泛化性的区别

鲁棒性是控制论中的词语,主要指在某些参数略微改变或控制量稍微偏离最优值时系统仍然保持稳定性和有效性。泛化能力指根据有限样本得到的网络模型对其他变量域也有良好的预测能力。根据泛化能力好的网络设计的神经网络控制器的鲁棒性也会有所改善。鲁棒性指自己主动去改变网络中的相关参数,细微地修改(破坏)模型,也能得到理想的效果;而泛化能力是指,在不主动修改(破坏)模型的前提下,被动接受不同的外界输入,都能得到相应的理想的效果。

4、如何提升模型鲁棒性研究方向

为了提升模型的鲁棒性, 现在主流的研究大致分为三个方向: 1、修改模型输入数据, 包括在训练阶段修改训练数据以及在测试阶段修改输入的样本数据。 2、修改网络结构, 比如添加更多的网络层数,改变损失函数或激活函数等方法。 3、添加外部模块作为原有网络模型的附加插件, 提升网络模型的鲁棒性。

常用的方法1、Dropout

解决的问题:co-adaptation(在神经网络中,隐藏层单元之间有很高的相关性)。Dropout可以看作一个噪声 [公式] 和全连接矩阵 [公式] 作乘积,随机导致一部分连接权重为0。Dropout能够有效缓解神经元之间的co-adaptation(之前一起发挥作用的神经元现在可能单独出现了)。训练时,每次dropout都会得到一个新的子网络。预测时,所有的神经元都会发生作用,可以看作多个子网络的平均。因此dropout类似于bagging和 [公式] 正则,不同之处在于dropout的多个子网络之间共享参数,同时神经元是被随机丢弃的。

2、Batch/Layer Normalization鲁棒性的含义以及如何提高模型的鲁棒性(鲁棒性分析方法)

Normalization将激活层的输入标准化,使得标准化后的输入能够落在激活函数的非饱和区。

3、Label Smoothing

label smoothing就是把原来的one-hot表示,在每一维上都添加了一个随机噪音。这是一种简单粗暴,但又十分有效的方法,目前已经使用在很多的图像分类模型中了。 Label Smoothing 优势:

1、一定程度上,可以缓解模型过于武断的问题,也有一定的抗噪能力 弥补了简单分类中监督信号不足(信息熵比较少)的问题,增加了信息量; 2、提供了训练数据中类别之间的关系(数据增强); 3、可能增强了模型泛化能力 4、降低feature norm (feature normalization)从而让每个类别的样本聚拢的效果(文章[10]提及) 5、产生更好的校准网络,从而更好地泛化,最终对不可见的生产数据产生更准确的预测。(文章[11]提及)

Label Smoothing 劣势:

1、单纯地添加随机噪音,也无法反映标签之间的关系,因此对模型的提升有限,甚至有欠拟合的风险。 2、它对构建将来作为教师的网络没有用处,hard 目标训练将产生一个更好的教师神经网络。(文章[11]提及)

4、Mixup

mixup是一种非常规的数据增强方法,一个和数据无关的简单数据增强原则,其以线性插值的方式来构建新的训练样本和标签。最终对标签的处理如下公式所示,这很简单但对于增强策略来说又很不一般。

(xi,yi)\left ( x_{i},y_{i} \right )(xi​,yi​),(xj,yj)\left ( x_{j},y_{j} \right )(xj​,yj​)两个数据对是原始数据集中的训练样本对(训练样本和其对应的标签)。其中λ\lambdaλ是一个服从B分布的参数,λ∼Beta(α,α)\lambda\sim Beta\left ( \alpha ,\alpha \right )λ∼Beta(α,α) 。Beta分布的概率密度函数如下图所示,其中α∈[,+∞]\alpha \in \left [ 0,+\infty \right ]α∈[0,+∞]

因此α\alphaα是一个超参数,随着α\alphaα的增大,网络的训练误差就会增加,而其泛化能力会随之增强。而当α→∞\alpha \rightarrow \inftyα→∞时,模型就会退化成最原始的训练策略。参考:https://www.jianshu.com/p/d22fcd86f36d

5、半监督学习,利用伪标签增加模型的泛化性6、Focal Loss

Focal loss 主要是为了解决目标检测中正负样本比例严重失衡的问题,并不是通常的正则化化方法。该损失函数降低了大量简单样本在训练中所占的权重,让模型更加关注困难、错分的样本。

上面的几种方式,是我常用的几种方法,更多的可以参考: https://zhuanlan.zhihu.com/p/434106564

本文链接地址:https://www.jiuchutong.com/zhishi/298899.html 转载请保留说明!

上一篇:视觉SLAM总结——SuperPoint / SuperGlue(视觉slam ba)

下一篇:基于MATLAB的随机森林分类(基于matlab的随机森林回归和交叉验证)

  • 品牌宣传你需要专注品牌自身的三个原因(品牌需要宣传推广)

    品牌宣传你需要专注品牌自身的三个原因(品牌需要宣传推广)

  • 荣耀手机505g网络怎么开(荣耀50网速太慢怎么回事)

    荣耀手机505g网络怎么开(荣耀50网速太慢怎么回事)

  • 微信转错账怎么追回(微信转错账怎么联系对方)

    微信转错账怎么追回(微信转错账怎么联系对方)

  • 华为手机怎么开通畅连通话(华为手机怎么开空调)

    华为手机怎么开通畅连通话(华为手机怎么开空调)

  • 文件太大怎么变小(文件太大怎么变小一点)

    文件太大怎么变小(文件太大怎么变小一点)

  • iphone开勿扰闹钟响吗(iphone开勿扰闹钟就响吗)

    iphone开勿扰闹钟响吗(iphone开勿扰闹钟就响吗)

  • 华为手机微信可以登录两个账号吗(华为手机微信可以隐藏吗)

    华为手机微信可以登录两个账号吗(华为手机微信可以隐藏吗)

  • 网络4ghd是什么意思(4g网络上的hd是什么意思)

    网络4ghd是什么意思(4g网络上的hd是什么意思)

  • 三星s10乱码(三星手机出现乱码)

    三星s10乱码(三星手机出现乱码)

  • 钉钉电脑版可以看见密聊是谁吗(钉钉电脑版可以看到工资条吗)

    钉钉电脑版可以看见密聊是谁吗(钉钉电脑版可以看到工资条吗)

  • 淘宝直播可以放录好的视频吗(淘宝直播可以放微信二维码吗)

    淘宝直播可以放录好的视频吗(淘宝直播可以放微信二维码吗)

  • 手机换卡了微信还在吗(手机换卡了微信密码忘了怎么找回)

    手机换卡了微信还在吗(手机换卡了微信密码忘了怎么找回)

  • 笔记本电脑和ipad有什么区别(笔记本电脑和ipad可以带上飞机吗)

    笔记本电脑和ipad有什么区别(笔记本电脑和ipad可以带上飞机吗)

  • opporeno怎么调分辨率(opporeno怎么分屏操作方法)

    opporeno怎么调分辨率(opporeno怎么分屏操作方法)

  • 1tb256g固态什么意思(256固态跟1tb 哪个好)

    1tb256g固态什么意思(256固态跟1tb 哪个好)

  • ie8及以上的浏览器有哪些(ie8以上的浏览器那些设置)

    ie8及以上的浏览器有哪些(ie8以上的浏览器那些设置)

  • 快手作品审核需要多久(快手作品审核时间长的原因)

    快手作品审核需要多久(快手作品审核时间长的原因)

  • arserver作用(arr服务)

    arserver作用(arr服务)

  • 怎么找回抖音账号(怎么找回抖音账写)

    怎么找回抖音账号(怎么找回抖音账写)

  • iphone11pro信号基带(iphone11pro手机信号)

    iphone11pro信号基带(iphone11pro手机信号)

  • 淘宝88会员有什么用(淘宝88会员有什么音乐会员)

    淘宝88会员有什么用(淘宝88会员有什么音乐会员)

  • 电话号注销了微信还能用吗(电话号注销了微信密码忘了怎么办)

    电话号注销了微信还能用吗(电话号注销了微信密码忘了怎么办)

  • 网站只让看10分钟视频怎么办(网页就可以看的网站)

    网站只让看10分钟视频怎么办(网页就可以看的网站)

  • airpods开关键什么用(ipod airpods开关)

    airpods开关键什么用(ipod airpods开关)

  • 办税员的工作职责
  • 其他应付款转实收资本有风险吗
  • 贸易公司成本核算不准确的后果
  • 工程预付款需要什么资料
  • 收到的返利需要交增值税么
  • 应付账款暂估会计处理
  • 公交补贴收入账务处理怎么做?
  • 报销发票会计怎么处理
  • 员工工资的扣点
  • 样品不收钱怎么做会计分录
  • 小规模纳税人变成一般纳税人的条件
  • 小型连锁药店需要报国税吗?
  • 投资收益所得税税前扣除
  • 开票商品税收分录怎么写
  • 酒店产权式经营业主取得的收入按股利红利所得
  • 融资租赁和融资性售后回租的区别
  • 会计成本核算的三种基本方法
  • 残疾人保障金工资总额包括社保吗
  • 拍卖抵债资产的缴税责任
  • 打英文字母突然没声音了
  • 资产处置收益与固定资产清理
  • sentstrt.exe - sentstrt进程是什么文件 有什么用
  • Mother cheetah and her cub in the Maasai Mara nature reserve, Kenya (© gudkovandrey/Adobe Stock)
  • 软件入无形资产还是长期待摊费用了
  • vue docx-preview实现docx文件在线预览
  • 进项发票过期了怎么办
  • 资产减值损失和存货跌价准备有什么区别
  • 携程首页
  • 雪花算法时钟回拨
  • linux 常用命令大全及其详解
  • es6 promise是什么
  • cynefin框架
  • 增值税进项税额能不能抵扣
  • 怎么在网上增加办税人员
  • 在建工程怎么做账务处理
  • 小规模纳税人销售货物税率是多少
  • 可转债可以不卖吗
  • 费用票必须是公司发票吗
  • 注册资金认缴和实缴的法律风险
  • 没有参加会计继续教育会怎样
  • 出口单证不全如何申报退税
  • 增值税普票没有发票章可以吗
  • 进口关税的会计处理方法
  • 发明专利权限的期限是多少年
  • 确认应付职工薪酬如何计算
  • 银行代扣水费分录
  • 两笔不同业务能转账吗
  • 个体户做账流程新手必看
  • 零申报必须会计吗?自己可以操作吗
  • 本月增值税申报截止日
  • 哪些固定资产不计提折旧
  • 什么叫建账
  • sql 复合语句
  • mysql安装包和免安装的区别
  • macos怎么切换桌面
  • win8桌面图标不显示
  • windrv.exe
  • linux scp命令的用法详解
  • scrtkfg.exe - scrtkfg是什么进程 有什么用
  • linux备份的文件bak如何恢复
  • win10不停的自动重启
  • py常用函数
  • 从零开始咋样
  • linux的关闭命令
  • cocos2d游戏源码
  • shell字符串操作
  • Python中MySQLdb和torndb模块对MySQL的断连问题处理
  • android4.4iso
  • css 相对定位
  • shell脚本中判断grep的结果
  • js制作网页制作步骤
  • javascript中的splice
  • 使用jquery实现的项目
  • python入门小程序编写
  • unity2018.4破解
  • android:thumb
  • js判断iframe是否加载完成
  • jquery图片轮播插件slick不动
  • 电子发票未验真是假发票吗
  • 四川医保增员网上怎么操作流程图
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设