位置: IT常识 - 正文

机器学习中的数学原理——过拟合、正则化与惩罚函数

编辑:rootadmin
机器学习中的数学原理——过拟合、正则化与惩罚函数

推荐整理分享机器学习中的数学原理——过拟合、正则化与惩罚函数,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

通过这篇博客,你将清晰的明白什么是过拟合、正则化、惩罚函数。这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在 机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下《 白话机器学习中的数学——过拟合、正则化与惩罚函数》

文章目录一、过拟合二、正则化2.1 正则化的方法2.2 正则化的效果三、惩罚函数一、过拟合机器学习中的数学原理——过拟合、正则化与惩罚函数

之前我们提到过的模型只能拟合训练数据的状态被称为过拟合,英文是 overfitting。记得在学习回归的时候,过度增加函数 fθ(x)的次数会导致过拟合。过拟合不止在回归时出现,在分类时也经常发生,我们要时常留意它。 避免过拟合有以下方法:

增加全部训练数据的数量使用简单的模型正则化

首先,重要的是增加全部训练数据的数量。之前我也讲过,机器学习是从数据中学习的,所以数据最重要。另外,使用更简单的模型也有助于防止过拟合。

二、正则化2.1 正则化的方法

还记得我们在讲解回归的时候提到的目标函数吗? 我们要向这个目标函数增加下面这样的正则化项: 那么现在的E(θ)E(\boldsymbol{\theta})E(θ)就变为: 我们要对这个新的目标函数进行最小化,这种方法就称为正则化。 m 是参数的个数,不过一般来说不对 θ0 应用正则化。所以仔细看会发现 j 的取值是从 1 开始的。也就是说,假如预测函数的表达式为 fθ(x) = θ0 + θ1x + θ2x2,那么 m = 2 就意味着正则化的对象参数为 θ1 和 θ2,θ0 这种只有参数的项称为偏置项,一般不对它进行正则化。λ 是决定正则化项影响程度的正的常数。这个值需要我们自己来定。

2.2 正则化的效果

光看表达式可能不容易理解。我们结合图来想象一下吧:首先把目标函数分成两个部分。 C(θ) 是本来就有的目标函数项,R(θ) 是正则化项。 C(θ) 和 R(θ) 相加之后就是新的目标函数,所以我们实际地把这两个函数的图形画出来,加起来看看。不过参数太多就画不出图来了,所以这里我们只关注 θ1。而且为了更加易懂,先不考虑 λ。 我们先从C(θ) 开始画起,不用太在意形状是否精确。在讲回归的时候,我们说过这个目 标函数开口向上,还记得吗?所以,我们假设它的形状是这样的:

从图中马上就可以看出最小值在哪里,是在θ1 = 4.5 附近。 从这个目标函数在没有正则化项时的形状来看,θ1 = 4.5 附近是最小值。接下来是 R(θ),它就相当于12θ12\frac{1}{2} \theta_1^221​θ12​所以是过原点的简单二次函数。 实际的目标函数是这两个函数之和E(θ) = C(θ) + R(θ),我们来画一下它的图形。顺便考虑一下最小值在哪里。把 θ1 各点上的 C(θ) 和 R(θ) 的高相加,然后用线把它们相连就好: 从图中我们可以看出来最小值是 θ1 = 0.9,与加正则化项之前相比,θ1 更接近 0 了。本来是在 θ1 = 4.5 处最小,现在是在 θ1 = 0.9 处最小,的确更接近 0 了。这就是正则化的效果。它可以防止参数变得过大,有助于参数接近较小的值。虽然我们只考虑了 θ1,但其他 θj 参数的情况也是类似的。 参数的值变小,意味着该参数的影响也会相应地变小。比如,有这样的一个预测函数 fθ(x):fθ(x)=θ+θ1x+θ2x2f_{\boldsymbol{\theta}}(\boldsymbol{x})=\theta_0+\theta_1 x+\theta_2 x^2fθ​(x)=θ0​+θ1​x+θ2​x2 极端一点,假设 θ2 = 0,这个表达式就从二次变为一次了,这就意味着本来是曲线的预测函数变为直线了: 这正是通过减小不需要的参数的影响,将复杂模型替换为简单模型来防止过拟合的方式。

三、惩罚函数

为了防止参数的影响过大,在训练时要对参数施加一些惩罚。比如上面提到的 λ,可以控制正则化惩罚的强度。C(θ)=12∑i=1n(y(i)−fθ(x(i)))2R(θ)=λ2∑j=1mθj2\begin{aligned} & C(\boldsymbol{\theta})=\frac{1}{2} \sum_{i=1}^n\left(y^{(i)}-f_{\boldsymbol{\theta}}\left(\boldsymbol{x}^{(i)}\right)\right)^2 \\ & R(\boldsymbol{\theta})=\frac{\lambda}{2} \sum_{j=1}^m \theta_j^2 \end{aligned}​C(θ)=21​i=1∑n​(y(i)−fθ​(x(i)))2R(θ)=2λ​j=1∑m​θj2​​ 比如令 λ = 0,那就相当于不使用正则化 λ 越大,正则化的惩罚也就越严厉:

本文链接地址:https://www.jiuchutong.com/zhishi/299255.html 转载请保留说明!

上一篇:Web 攻防之业务安全:密码找回安全案例总结.(web攻防之业务安全实战指南在线阅读)

下一篇:Content Security Policy (CSP) 介绍(content security policy blob)

  • 为什么qq精选照片上传失败(为什么qq精选照片不是九宫格)

    为什么qq精选照片上传失败(为什么qq精选照片不是九宫格)

  • vivo手机突然黑屏怎么开都开不了怎么办(vivo手机突然黑屏怎么按都没反应)

    vivo手机突然黑屏怎么开都开不了怎么办(vivo手机突然黑屏怎么按都没反应)

  • 手机什么软件可以剪辑视频(手机什么软件可以买彩票)

    手机什么软件可以剪辑视频(手机什么软件可以买彩票)

  • 扩容盘和u盘有什么区别(扩容u盘是假的吗)

    扩容盘和u盘有什么区别(扩容u盘是假的吗)

  • iphonex支持无线充电吗(iphonex支持无线充电多少瓦)

    iphonex支持无线充电吗(iphonex支持无线充电多少瓦)

  • 华为手机背面的标签可以撕吗(华为手机背面的玻璃外壳碎了)

    华为手机背面的标签可以撕吗(华为手机背面的玻璃外壳碎了)

  • win系统是什么意思啊

    win系统是什么意思啊

  • 投影仪侧投是什么意思(投影仪侧投会影响画质吗)

    投影仪侧投是什么意思(投影仪侧投会影响画质吗)

  • 腾讯会议怎么才能看到所有人(腾讯会议怎么才能没有声音)

    腾讯会议怎么才能看到所有人(腾讯会议怎么才能没有声音)

  • 闲鱼会自动确认收货吗(闲鱼自动发货虚拟商品)

    闲鱼会自动确认收货吗(闲鱼自动发货虚拟商品)

  • 微型运算器主要功能是进行(微型计算机运算器)

    微型运算器主要功能是进行(微型计算机运算器)

  • 苹果手机自动变暗怎么关闭(苹果手机自动变暗怎么解决)

    苹果手机自动变暗怎么关闭(苹果手机自动变暗怎么解决)

  • word数字怎么竖排版(word数字怎么竖版)

    word数字怎么竖排版(word数字怎么竖版)

  • 手机固件什么意思(手机固件有什么用)

    手机固件什么意思(手机固件有什么用)

  • 酷狗歌词怎么显示全部(酷狗歌词怎么显示在电脑屏幕)

    酷狗歌词怎么显示全部(酷狗歌词怎么显示在电脑屏幕)

  • 智能手环怎么开不了机(智能手环怎么开机)

    智能手环怎么开不了机(智能手环怎么开机)

  • 苹果11怎么改微信提示音(苹果11怎么改微信图标)

    苹果11怎么改微信提示音(苹果11怎么改微信图标)

  • 怎样换输入法(怎样换输入法界面)

    怎样换输入法(怎样换输入法界面)

  • realmex是什么系统(realmex是什么型号手机)

    realmex是什么系统(realmex是什么型号手机)

  • 电脑360安全卫士怎么退出(电脑360安全卫士有必要装吗)

    电脑360安全卫士怎么退出(电脑360安全卫士有必要装吗)

  • 怎么删除下载的软件(怎么删除下载的电视剧)

    怎么删除下载的软件(怎么删除下载的电视剧)

  • 闪烁保护烧屏吗(闪烁保护烧屏吗怎么关)

    闪烁保护烧屏吗(闪烁保护烧屏吗怎么关)

  • 网络电话显示的是什么号码(网络电话显示的地址是真的吗?)

    网络电话显示的是什么号码(网络电话显示的地址是真的吗?)

  • 电脑问题的自我检测方法有哪些?(电脑自我诊断)

    电脑问题的自我检测方法有哪些?(电脑自我诊断)

  • 在windows下安装nnUnet,并制作数据集以及运行(让隔壁奶奶也能学会的教程)(在windows中安装应用程序的途径)

    在windows下安装nnUnet,并制作数据集以及运行(让隔壁奶奶也能学会的教程)(在windows中安装应用程序的途径)

  • 微信小程序 | 人脸识别的最终解决方案(微信小程序人民法院审核通过多久立案)

    微信小程序 | 人脸识别的最终解决方案(微信小程序人民法院审核通过多久立案)

  • 税务行政诉讼是由税务机关进行审理并作出裁决
  • 税务局三师有什么用
  • 有营业额有成本怎么算成本占比
  • 承兑汇票可以当现金用吗
  • 苗木种植发票免增值税吗
  • 对外投资企业利润回国意愿的政策建议
  • 进口货物需要交哪些税
  • 进口报关手续费
  • 收到客户用房抵货款怎么办
  • 股东转入的钱算什么
  • 股权转让的溢价要交什么税
  • 预收账款发货
  • 软件著作权如何入账
  • 增值税普通发票税率
  • 个人所得税0申报操作流程
  • 进项税是在抵扣吗
  • 劳务费税率公式是什么
  • 小规模纳税人金额
  • 收到银联客户备注短信
  • 哪些违约金可以退回
  • 公司变更监事需要换营业执照吗?
  • 走物流的货物如何收费
  • 航天金税服务费280怎么缴费
  • 企业固定资产清单表格
  • 怎么分配工业企业材料费用?
  • 固定资产转入清理记账凭证
  • u盘中装系统
  • 个贷系统平帐专户A贷
  • php多线程怎么实现
  • 企业购买银行理财
  • 无偿赠送的货物需要缴纳印花税吗
  • 一般纳税人购进税控收款机抵扣
  • 企业出租房屋怎样报税
  • 应交所得税和所得税费用的区别计算公式
  • php转word
  • 合伙企业股东个人所得税费用扣除标准
  • php中false的作用
  • 水培吊兰的养殖周期
  • laravel添加数据
  • gridviewcolumn
  • 七月份收入
  • 阿里云主机php版本
  • 《推荐一个好地方》图书馆
  • gcn时间序列
  • 后浪是什么意思网络用语
  • 收到客户付款多久到账
  • mysql union or
  • 购买银行短期理财产品的会计处理
  • 单位产品税金计算公式
  • 有关预收款的说法
  • 学历教育服务增值税
  • 确认收入时,也必须确认资产或债务
  • 车辆抵押贷款影响以后卖车吗
  • 长期借款计提利息会计分录怎么做
  • 预付账款属于哪一类账户
  • 生产成本一般采用
  • 盈利赢利营利手机文章
  • 劳务外包账务
  • 损益平准金是什么会计科目
  • 利润总额和未分成比例
  • mysql怎么修改列的类型
  • wmpdmc.exe是什么意思
  • linux系统中QQ的使用和配置
  • windows 8 build
  • Nodejs+express+html5 实现拖拽上传
  • 安卓骰子游戏
  • cocos2dx官方教程
  • 神奇宝贝
  • 四种参数传递方式
  • 浅谈编码,解码的意义
  • 自动寻路小说
  • 发票打印怎么调整尺寸
  • 医院要交税吗
  • 怎么查票据真伪
  • 广东省地方税务局征收社会保险费欠费管理暂行办法
  • 水上公安分局
  • 现在买车是不是免购置税
  • 农村复耕复产
  • 精准扶贫的实践与探索经验
  • 长沙市税收排名
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设