位置: IT常识 - 正文

机器学习中的数学原理——过拟合、正则化与惩罚函数

编辑:rootadmin
机器学习中的数学原理——过拟合、正则化与惩罚函数

推荐整理分享机器学习中的数学原理——过拟合、正则化与惩罚函数,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

通过这篇博客,你将清晰的明白什么是过拟合、正则化、惩罚函数。这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在 机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下《 白话机器学习中的数学——过拟合、正则化与惩罚函数》

文章目录一、过拟合二、正则化2.1 正则化的方法2.2 正则化的效果三、惩罚函数一、过拟合机器学习中的数学原理——过拟合、正则化与惩罚函数

之前我们提到过的模型只能拟合训练数据的状态被称为过拟合,英文是 overfitting。记得在学习回归的时候,过度增加函数 fθ(x)的次数会导致过拟合。过拟合不止在回归时出现,在分类时也经常发生,我们要时常留意它。 避免过拟合有以下方法:

增加全部训练数据的数量使用简单的模型正则化

首先,重要的是增加全部训练数据的数量。之前我也讲过,机器学习是从数据中学习的,所以数据最重要。另外,使用更简单的模型也有助于防止过拟合。

二、正则化2.1 正则化的方法

还记得我们在讲解回归的时候提到的目标函数吗? 我们要向这个目标函数增加下面这样的正则化项: 那么现在的E(θ)E(\boldsymbol{\theta})E(θ)就变为: 我们要对这个新的目标函数进行最小化,这种方法就称为正则化。 m 是参数的个数,不过一般来说不对 θ0 应用正则化。所以仔细看会发现 j 的取值是从 1 开始的。也就是说,假如预测函数的表达式为 fθ(x) = θ0 + θ1x + θ2x2,那么 m = 2 就意味着正则化的对象参数为 θ1 和 θ2,θ0 这种只有参数的项称为偏置项,一般不对它进行正则化。λ 是决定正则化项影响程度的正的常数。这个值需要我们自己来定。

2.2 正则化的效果

光看表达式可能不容易理解。我们结合图来想象一下吧:首先把目标函数分成两个部分。 C(θ) 是本来就有的目标函数项,R(θ) 是正则化项。 C(θ) 和 R(θ) 相加之后就是新的目标函数,所以我们实际地把这两个函数的图形画出来,加起来看看。不过参数太多就画不出图来了,所以这里我们只关注 θ1。而且为了更加易懂,先不考虑 λ。 我们先从C(θ) 开始画起,不用太在意形状是否精确。在讲回归的时候,我们说过这个目 标函数开口向上,还记得吗?所以,我们假设它的形状是这样的:

从图中马上就可以看出最小值在哪里,是在θ1 = 4.5 附近。 从这个目标函数在没有正则化项时的形状来看,θ1 = 4.5 附近是最小值。接下来是 R(θ),它就相当于12θ12\frac{1}{2} \theta_1^221​θ12​所以是过原点的简单二次函数。 实际的目标函数是这两个函数之和E(θ) = C(θ) + R(θ),我们来画一下它的图形。顺便考虑一下最小值在哪里。把 θ1 各点上的 C(θ) 和 R(θ) 的高相加,然后用线把它们相连就好: 从图中我们可以看出来最小值是 θ1 = 0.9,与加正则化项之前相比,θ1 更接近 0 了。本来是在 θ1 = 4.5 处最小,现在是在 θ1 = 0.9 处最小,的确更接近 0 了。这就是正则化的效果。它可以防止参数变得过大,有助于参数接近较小的值。虽然我们只考虑了 θ1,但其他 θj 参数的情况也是类似的。 参数的值变小,意味着该参数的影响也会相应地变小。比如,有这样的一个预测函数 fθ(x):fθ(x)=θ+θ1x+θ2x2f_{\boldsymbol{\theta}}(\boldsymbol{x})=\theta_0+\theta_1 x+\theta_2 x^2fθ​(x)=θ0​+θ1​x+θ2​x2 极端一点,假设 θ2 = 0,这个表达式就从二次变为一次了,这就意味着本来是曲线的预测函数变为直线了: 这正是通过减小不需要的参数的影响,将复杂模型替换为简单模型来防止过拟合的方式。

三、惩罚函数

为了防止参数的影响过大,在训练时要对参数施加一些惩罚。比如上面提到的 λ,可以控制正则化惩罚的强度。C(θ)=12∑i=1n(y(i)−fθ(x(i)))2R(θ)=λ2∑j=1mθj2\begin{aligned} & C(\boldsymbol{\theta})=\frac{1}{2} \sum_{i=1}^n\left(y^{(i)}-f_{\boldsymbol{\theta}}\left(\boldsymbol{x}^{(i)}\right)\right)^2 \\ & R(\boldsymbol{\theta})=\frac{\lambda}{2} \sum_{j=1}^m \theta_j^2 \end{aligned}​C(θ)=21​i=1∑n​(y(i)−fθ​(x(i)))2R(θ)=2λ​j=1∑m​θj2​​ 比如令 λ = 0,那就相当于不使用正则化 λ 越大,正则化的惩罚也就越严厉:

本文链接地址:https://www.jiuchutong.com/zhishi/299255.html 转载请保留说明!

上一篇:Web 攻防之业务安全:密码找回安全案例总结.(web攻防之业务安全实战指南在线阅读)

下一篇:Content Security Policy (CSP) 介绍(content security policy blob)

  • 微信退群后消息还在吗(微信退群后消息记录还会显示群昵称吗)

    微信退群后消息还在吗(微信退群后消息记录还会显示群昵称吗)

  • 通用里面没有辅助功能(通用没有辅助功能怎么办)

    通用里面没有辅助功能(通用没有辅助功能怎么办)

  • mhow2ch/a是什么型号(mhow2ch/a是哪款ipad)

    mhow2ch/a是什么型号(mhow2ch/a是哪款ipad)

  • 不是access查询对象特点的是(不是access的对象)

    不是access查询对象特点的是(不是access的对象)

  • 苹果不在通讯录的号码打不进来怎么设置(苹果不在通讯录的短信怎么查看)

    苹果不在通讯录的号码打不进来怎么设置(苹果不在通讯录的短信怎么查看)

  • cpu中控制器的功能是什么(cpu中控制器的基本功能是什么)

    cpu中控制器的功能是什么(cpu中控制器的基本功能是什么)

  • 路由器不通电怎么回事(路由器不通电怎么办)

    路由器不通电怎么回事(路由器不通电怎么办)

  • 怎么把三个视频放在一个画面(怎么把三个视频合成一个视频)

    怎么把三个视频放在一个画面(怎么把三个视频合成一个视频)

  • 苹果7p微信消息不会弹窗提醒(苹果7p微信消息延迟)

    苹果7p微信消息不会弹窗提醒(苹果7p微信消息延迟)

  • 无损音乐刻录成CD有意义吗(无损音乐刻录成CD和U盘有区别吗)

    无损音乐刻录成CD有意义吗(无损音乐刻录成CD和U盘有区别吗)

  • 荣耀8怎么扩展机身内存(荣耀8怎么扩展储存空间)

    荣耀8怎么扩展机身内存(荣耀8怎么扩展储存空间)

  • 苹果耳机有杂音滋滋怎么办(苹果耳机有杂音怎么修)

    苹果耳机有杂音滋滋怎么办(苹果耳机有杂音怎么修)

  • cpu内存是什么意思啊(cpu内存是内存条吗)

    cpu内存是什么意思啊(cpu内存是内存条吗)

  • oracle数据库默认用户名(oracle数据库默认口令)

    oracle数据库默认用户名(oracle数据库默认口令)

  • 单片机用什么软件编程(单片机用什么软件写程序)

    单片机用什么软件编程(单片机用什么软件写程序)

  • 红米k20pro电池不耐用(红米k20pro电池充电)

    红米k20pro电池不耐用(红米k20pro电池充电)

  • 京东待评价如何清空(京东的待评价是到货了吗)

    京东待评价如何清空(京东的待评价是到货了吗)

  • 手机系统更新怎么关闭(手机系统更新怎么找不到)

    手机系统更新怎么关闭(手机系统更新怎么找不到)

  • 怎么调抖音评论背景(怎么调抖音评论时间长短)

    怎么调抖音评论背景(怎么调抖音评论时间长短)

  • 惠普2622墨盒清零步骤(惠普2622墨盒清零图解视频)

    惠普2622墨盒清零步骤(惠普2622墨盒清零图解视频)

  • 怎么关闭美团会员自动续费(怎么关闭美团会员自动续费微信)

    怎么关闭美团会员自动续费(怎么关闭美团会员自动续费微信)

  • 抖音广告怎么投放联系(抖音广告怎么投放教程)

    抖音广告怎么投放联系(抖音广告怎么投放教程)

  • Mybatis+Servlet+Mysql 整合的一个小项目:对初学者非常友好,有助于初学者很快的上手Java Web

    Mybatis+Servlet+Mysql 整合的一个小项目:对初学者非常友好,有助于初学者很快的上手Java Web

  • 【Node.js实战】一文带你开发博客项目(API 对接 MySQL)(node.js教程详细)

    【Node.js实战】一文带你开发博客项目(API 对接 MySQL)(node.js教程详细)

  • Vue中使用Datav 完成大屏基本布局(vue :data=

    Vue中使用Datav 完成大屏基本布局(vue :data="data")

  • 按份共同保证和连带共同保证
  • 资金过桥怎么操作
  • 开户以后不用要钱吗
  • 税费的计提和缴纳
  • 不动产租赁发票怎么开
  • 租赁合同印花税率
  • 个税专项扣除如何迁移
  • 接受现金捐赠怎么写分录
  • 对方预付给我们项目款怎么做账?
  • 临时工人工资原始凭证怎么做及会计分录解析?
  • 税控盘锁死还能报税吗
  • 免征增值税和附加税区别
  • 长期股权投资撤股怎么处理
  • 公司注册资金未实缴可以申请破产吗
  • 发票没用完可以领发票吗
  • 企业债务追诉期几年
  • 个人独资企业收款码
  • 防洪保安基金应用范围
  • 业务招待费有增值税吗
  • 库存商品在贷方怎么调回借方
  • 企业所得税汇算清缴补缴税款分录
  • php写json
  • 腾达路由器默认网关
  • 销售房产营业税怎么算
  • 社保缴纳基数相差多少
  • vue如何学
  • 损益类科目怎么结转
  • 前端实现微信联系人二维码
  • CSS: overflow-anchor 固定滚动到底部,随着页面内容增多滚动条自己滚动展示最新的内容
  • 差额征税收到雇主责任险进项发票能抵扣吗
  • 润滑脂开票属于成品油吗
  • linux运行c++程序
  • node express安装
  • 前端cgi
  • php页面跳转可以用header
  • 哈希表散列函数
  • php怎么装
  • 试用产品的账务处理分录
  • MicrosoftSQLserver2014可以卸载吗
  • 工资薪金税务缴纳
  • 交强险还要交车船税?
  • 实收资本一定要到账吗
  • 以前年度多交增值税账务处理
  • 出差补助是否计入工资总额
  • 冲减以前年度管理费用需要更正报表吗
  • 个体户该怎么交公积金
  • 销售方销售返利单独开具
  • 特许权使用费计入无形资产吗
  • 融资租赁后期收入怎么算
  • 建安行业外地预审要多久
  • 一般纳税人出现以下哪些情况时,其进项税额不得抵扣( )
  • 二手设备进口报关流程
  • 其他应收款押金的现金流量
  • 兼职会计如何做账报税
  • 银行存款日记账怎么记账
  • 什么是累计预扣预缴应纳税所得额
  • 员工差旅费会计分录
  • 冲减以前年度未开票收入开票如何申报小规模纳税人
  • 怎样填制记账凭证表
  • sql语句递归
  • centos7搜索
  • 如何架设ftp
  • dwm22.exe病毒
  • windows注册账号
  • windows设备管理器在哪里打开
  • 搭建android开发环境需要用到哪些工具
  • cocos2d-x起点之程序的入口
  • quick cocos UIListView之isItemInViewRect方法修正
  • [置顶] 关于UNITY5.0和高通AR4.2.3在手机上白屏的问题
  • 批处理setlocal
  • css div高度填满父容器剩余空间
  • unity协程的工作原理
  • jQuery xml字符串的解析、读取及查找方法
  • python写出来的程序怎么用
  • js获取
  • 网上申报成功怎么查询
  • 申报期一般是什么时候
  • 增值税借方有余额怎么调整
  • 江苏电子税务局官网登录入口
  • 四川社保每年几月份交费
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设