位置: IT常识 - 正文

机器学习中的数学原理——过拟合、正则化与惩罚函数

编辑:rootadmin
机器学习中的数学原理——过拟合、正则化与惩罚函数

推荐整理分享机器学习中的数学原理——过拟合、正则化与惩罚函数,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

通过这篇博客,你将清晰的明白什么是过拟合、正则化、惩罚函数。这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在 机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下《 白话机器学习中的数学——过拟合、正则化与惩罚函数》

文章目录一、过拟合二、正则化2.1 正则化的方法2.2 正则化的效果三、惩罚函数一、过拟合机器学习中的数学原理——过拟合、正则化与惩罚函数

之前我们提到过的模型只能拟合训练数据的状态被称为过拟合,英文是 overfitting。记得在学习回归的时候,过度增加函数 fθ(x)的次数会导致过拟合。过拟合不止在回归时出现,在分类时也经常发生,我们要时常留意它。 避免过拟合有以下方法:

增加全部训练数据的数量使用简单的模型正则化

首先,重要的是增加全部训练数据的数量。之前我也讲过,机器学习是从数据中学习的,所以数据最重要。另外,使用更简单的模型也有助于防止过拟合。

二、正则化2.1 正则化的方法

还记得我们在讲解回归的时候提到的目标函数吗? 我们要向这个目标函数增加下面这样的正则化项: 那么现在的E(θ)E(\boldsymbol{\theta})E(θ)就变为: 我们要对这个新的目标函数进行最小化,这种方法就称为正则化。 m 是参数的个数,不过一般来说不对 θ0 应用正则化。所以仔细看会发现 j 的取值是从 1 开始的。也就是说,假如预测函数的表达式为 fθ(x) = θ0 + θ1x + θ2x2,那么 m = 2 就意味着正则化的对象参数为 θ1 和 θ2,θ0 这种只有参数的项称为偏置项,一般不对它进行正则化。λ 是决定正则化项影响程度的正的常数。这个值需要我们自己来定。

2.2 正则化的效果

光看表达式可能不容易理解。我们结合图来想象一下吧:首先把目标函数分成两个部分。 C(θ) 是本来就有的目标函数项,R(θ) 是正则化项。 C(θ) 和 R(θ) 相加之后就是新的目标函数,所以我们实际地把这两个函数的图形画出来,加起来看看。不过参数太多就画不出图来了,所以这里我们只关注 θ1。而且为了更加易懂,先不考虑 λ。 我们先从C(θ) 开始画起,不用太在意形状是否精确。在讲回归的时候,我们说过这个目 标函数开口向上,还记得吗?所以,我们假设它的形状是这样的:

从图中马上就可以看出最小值在哪里,是在θ1 = 4.5 附近。 从这个目标函数在没有正则化项时的形状来看,θ1 = 4.5 附近是最小值。接下来是 R(θ),它就相当于12θ12\frac{1}{2} \theta_1^221​θ12​所以是过原点的简单二次函数。 实际的目标函数是这两个函数之和E(θ) = C(θ) + R(θ),我们来画一下它的图形。顺便考虑一下最小值在哪里。把 θ1 各点上的 C(θ) 和 R(θ) 的高相加,然后用线把它们相连就好: 从图中我们可以看出来最小值是 θ1 = 0.9,与加正则化项之前相比,θ1 更接近 0 了。本来是在 θ1 = 4.5 处最小,现在是在 θ1 = 0.9 处最小,的确更接近 0 了。这就是正则化的效果。它可以防止参数变得过大,有助于参数接近较小的值。虽然我们只考虑了 θ1,但其他 θj 参数的情况也是类似的。 参数的值变小,意味着该参数的影响也会相应地变小。比如,有这样的一个预测函数 fθ(x):fθ(x)=θ+θ1x+θ2x2f_{\boldsymbol{\theta}}(\boldsymbol{x})=\theta_0+\theta_1 x+\theta_2 x^2fθ​(x)=θ0​+θ1​x+θ2​x2 极端一点,假设 θ2 = 0,这个表达式就从二次变为一次了,这就意味着本来是曲线的预测函数变为直线了: 这正是通过减小不需要的参数的影响,将复杂模型替换为简单模型来防止过拟合的方式。

三、惩罚函数

为了防止参数的影响过大,在训练时要对参数施加一些惩罚。比如上面提到的 λ,可以控制正则化惩罚的强度。C(θ)=12∑i=1n(y(i)−fθ(x(i)))2R(θ)=λ2∑j=1mθj2\begin{aligned} & C(\boldsymbol{\theta})=\frac{1}{2} \sum_{i=1}^n\left(y^{(i)}-f_{\boldsymbol{\theta}}\left(\boldsymbol{x}^{(i)}\right)\right)^2 \\ & R(\boldsymbol{\theta})=\frac{\lambda}{2} \sum_{j=1}^m \theta_j^2 \end{aligned}​C(θ)=21​i=1∑n​(y(i)−fθ​(x(i)))2R(θ)=2λ​j=1∑m​θj2​​ 比如令 λ = 0,那就相当于不使用正则化 λ 越大,正则化的惩罚也就越严厉:

本文链接地址:https://www.jiuchutong.com/zhishi/299255.html 转载请保留说明!

上一篇:Web 攻防之业务安全:密码找回安全案例总结.(web攻防之业务安全实战指南在线阅读)

下一篇:Content Security Policy (CSP) 介绍(content security policy blob)

  • iphone屏幕放大了怎么还原(iphone屏幕放大了无法解锁)

    iphone屏幕放大了怎么还原(iphone屏幕放大了无法解锁)

  • 一直播可以倍速吗(一直播加速播放)

    一直播可以倍速吗(一直播加速播放)

  • 钉钉直播观看时长怎么计算(钉钉直播观看时长)

    钉钉直播观看时长怎么计算(钉钉直播观看时长)

  • qq电话为什么关不了扬声器(qq如何关闭qq电话)

    qq电话为什么关不了扬声器(qq如何关闭qq电话)

  • 斐讯psg1218是千兆口吗(斐讯psg1208)

    斐讯psg1218是千兆口吗(斐讯psg1208)

  • 你好您拨打的电话暂时无法接通(你好您拨打的电话正在通话中)

    你好您拨打的电话暂时无法接通(你好您拨打的电话正在通话中)

  • 华为手机密码忘记怎么办(华为手机密码忘了怎么办?)

    华为手机密码忘记怎么办(华为手机密码忘了怎么办?)

  • 微信健康码可以取消重新申请吗(微信健康码可以做核酸检测吗)

    微信健康码可以取消重新申请吗(微信健康码可以做核酸检测吗)

  • 苹果11怎么喊siri(苹果11怎么喊sisr清理灰尘)

    苹果11怎么喊siri(苹果11怎么喊sisr清理灰尘)

  • word文档显示比例怎么设置(word文档显示比例的选择)

    word文档显示比例怎么设置(word文档显示比例的选择)

  • 小米6home键失灵修复方法(小米6home键失灵重启下又好了)

    小米6home键失灵修复方法(小米6home键失灵重启下又好了)

  • 快手涉及广告一般封多久(快手涉及广告的情况有哪些)

    快手涉及广告一般封多久(快手涉及广告的情况有哪些)

  • 手机里照片太多了内存不足怎么办(手机里照片太多占内存怎么办)

    手机里照片太多了内存不足怎么办(手机里照片太多占内存怎么办)

  • 苹果手机怎么设置下载需要密码(苹果手机怎么设置门禁卡NFC)

    苹果手机怎么设置下载需要密码(苹果手机怎么设置门禁卡NFC)

  • 华为荣耀10有没有屏幕指纹解锁(华为荣耀10有没有NFC功能)

    华为荣耀10有没有屏幕指纹解锁(华为荣耀10有没有NFC功能)

  • 抖音怎么添加拼多多链接(抖音怎么添加拼团链接)

    抖音怎么添加拼多多链接(抖音怎么添加拼团链接)

  • 手机卡怎么装进手机里(手机卡怎么装进去)

    手机卡怎么装进手机里(手机卡怎么装进去)

  • 苹果x立体声在哪设置(苹果xs立体声)

    苹果x立体声在哪设置(苹果xs立体声)

  • 怎么关闭airpods(怎么关闭airpodspro语音播报)

    怎么关闭airpods(怎么关闭airpodspro语音播报)

  • 华为p30拍照怎么调(华为P30拍照怎么显示时间和日期)

    华为p30拍照怎么调(华为P30拍照怎么显示时间和日期)

  • 华为手机p30pro照相功能有哪些(华为手机p30pro照相技巧)

    华为手机p30pro照相功能有哪些(华为手机p30pro照相技巧)

  • xr有3d touch吗

    xr有3d touch吗

  • 处理器u和h的区别(处理器u和h的区别在哪)

    处理器u和h的区别(处理器u和h的区别在哪)

  • [激光器原理与应用-5]:激光二极管LD (Laser Diode)与激光二极管驱动器(LD驱动器)(激光器原理及应用)

    [激光器原理与应用-5]:激光二极管LD (Laser Diode)与激光二极管驱动器(LD驱动器)(激光器原理及应用)

  • 1000套web前端期末大作业 HTML+CSS+JavaScript网页设计实例 企业网站制作【建议收藏】(web前端视频教程全套)

    1000套web前端期末大作业 HTML+CSS+JavaScript网页设计实例 企业网站制作【建议收藏】(web前端视频教程全套)

  • 企业所得税视同销售的会计处理是?
  • 小规模收入超过多少必须转一般纳税人
  • 小规模纳税人季度多少免税
  • 个人所得税申报操作流程
  • 固定资产报废清理净损失属于什么费用
  • 开票没有网络可以开票吗
  • 增值税专用发票抵扣联
  • 新公司接手之前公司的固定资产
  • 符合营改增应税服务规定的有
  • 代扣代缴企业所得税账务处理
  • 国家要收回房屋土地怎么补偿
  • 发票上折扣怎么记账
  • 福利企业的增值税是多少
  • 购买展场会计分录
  • 辅助生产费用的归集
  • 本年利润每个月都要结转吗
  • 城建税印花税教育附加税各是多少
  • 固定资产注资后怎么做账
  • mac只能读不能写
  • 净资产利润比率计算公式
  • 电脑文件启用宏是什么意思
  • 赡养人 被赡养人
  • 分公司与总公司的关系
  • 在php中,字符串有哪些表示形式
  • PHP:session_is_registered()的用法_Session函数
  • 公司水费怎么算
  • 微信小程序完美修真攻略
  • 利用php判断是否为素数
  • 债权投资利息调整属于什么科目?
  • ChatGLM-6B:颠覆聊天AI的全新模型
  • php构造函数重载
  • 购买货物对方代付怎么办
  • 报表中库存商品怎么填
  • 对公帐户进出帐要交税吗
  • 总分公司企业所得税如何申报缴纳
  • 商业会计与财务会计的相同
  • 进项税额的作用
  • 零税率与免税有关系吗
  • 商品流通企业存货计价方法
  • sql server 18486
  • 普票红冲要不要去收回发票联?
  • 小规模纳税人免税怎么做账
  • 撤回或减少投资所得税处理
  • 登记账簿遇到的问题及解决
  • 超市的进场费怎么入会计科目
  • 发票线上申领线下配送
  • 企业收到稳岗补贴需要交企业所得税吗
  • 会计做账的凭据怎么写
  • 滴滴出行怎么开纸质发票
  • 一个真正的企业应该具备哪些特征
  • 备查账包括哪些
  • linux的安装
  • window英语
  • Win10系统中怎么用vba控制鼠标
  • Centos 6.4 64位版命令行下设置无线网卡教程
  • linux在服务器领域的应用状况
  • cocos2dx drawcall优化
  • opengl中文教程
  • jQuery+PHP+MySQL二级联动下拉菜单实例讲解
  • android系统架构图
  • java程序员练手项目
  • 都是惹得祸
  • python中列表删除
  • python在web上的应用
  • UNITY开发工程师
  • 什么是自然数
  • 创建nodejs项目的步骤
  • shell脚本mysql
  • 全部删除文件快捷键
  • js经典实例
  • vue移动端app开发流程
  • 编写一个c#
  • linearlayout布局怎么设置
  • javascript playground
  • 如何用u盘重装电脑系统
  • 全面解析皮炎
  • 经信委和科技局的区别
  • 纳税申报期限2023
  • 如何查询公司的营业执照
  • 国家税务总局上海税务局(个人)
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设