位置: IT常识 - 正文

机器学习中的数学原理——过拟合、正则化与惩罚函数

编辑:rootadmin
机器学习中的数学原理——过拟合、正则化与惩罚函数

推荐整理分享机器学习中的数学原理——过拟合、正则化与惩罚函数,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

通过这篇博客,你将清晰的明白什么是过拟合、正则化、惩罚函数。这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在 机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下《 白话机器学习中的数学——过拟合、正则化与惩罚函数》

文章目录一、过拟合二、正则化2.1 正则化的方法2.2 正则化的效果三、惩罚函数一、过拟合机器学习中的数学原理——过拟合、正则化与惩罚函数

之前我们提到过的模型只能拟合训练数据的状态被称为过拟合,英文是 overfitting。记得在学习回归的时候,过度增加函数 fθ(x)的次数会导致过拟合。过拟合不止在回归时出现,在分类时也经常发生,我们要时常留意它。 避免过拟合有以下方法:

增加全部训练数据的数量使用简单的模型正则化

首先,重要的是增加全部训练数据的数量。之前我也讲过,机器学习是从数据中学习的,所以数据最重要。另外,使用更简单的模型也有助于防止过拟合。

二、正则化2.1 正则化的方法

还记得我们在讲解回归的时候提到的目标函数吗? 我们要向这个目标函数增加下面这样的正则化项: 那么现在的E(θ)E(\boldsymbol{\theta})E(θ)就变为: 我们要对这个新的目标函数进行最小化,这种方法就称为正则化。 m 是参数的个数,不过一般来说不对 θ0 应用正则化。所以仔细看会发现 j 的取值是从 1 开始的。也就是说,假如预测函数的表达式为 fθ(x) = θ0 + θ1x + θ2x2,那么 m = 2 就意味着正则化的对象参数为 θ1 和 θ2,θ0 这种只有参数的项称为偏置项,一般不对它进行正则化。λ 是决定正则化项影响程度的正的常数。这个值需要我们自己来定。

2.2 正则化的效果

光看表达式可能不容易理解。我们结合图来想象一下吧:首先把目标函数分成两个部分。 C(θ) 是本来就有的目标函数项,R(θ) 是正则化项。 C(θ) 和 R(θ) 相加之后就是新的目标函数,所以我们实际地把这两个函数的图形画出来,加起来看看。不过参数太多就画不出图来了,所以这里我们只关注 θ1。而且为了更加易懂,先不考虑 λ。 我们先从C(θ) 开始画起,不用太在意形状是否精确。在讲回归的时候,我们说过这个目 标函数开口向上,还记得吗?所以,我们假设它的形状是这样的:

从图中马上就可以看出最小值在哪里,是在θ1 = 4.5 附近。 从这个目标函数在没有正则化项时的形状来看,θ1 = 4.5 附近是最小值。接下来是 R(θ),它就相当于12θ12\frac{1}{2} \theta_1^221​θ12​所以是过原点的简单二次函数。 实际的目标函数是这两个函数之和E(θ) = C(θ) + R(θ),我们来画一下它的图形。顺便考虑一下最小值在哪里。把 θ1 各点上的 C(θ) 和 R(θ) 的高相加,然后用线把它们相连就好: 从图中我们可以看出来最小值是 θ1 = 0.9,与加正则化项之前相比,θ1 更接近 0 了。本来是在 θ1 = 4.5 处最小,现在是在 θ1 = 0.9 处最小,的确更接近 0 了。这就是正则化的效果。它可以防止参数变得过大,有助于参数接近较小的值。虽然我们只考虑了 θ1,但其他 θj 参数的情况也是类似的。 参数的值变小,意味着该参数的影响也会相应地变小。比如,有这样的一个预测函数 fθ(x):fθ(x)=θ+θ1x+θ2x2f_{\boldsymbol{\theta}}(\boldsymbol{x})=\theta_0+\theta_1 x+\theta_2 x^2fθ​(x)=θ0​+θ1​x+θ2​x2 极端一点,假设 θ2 = 0,这个表达式就从二次变为一次了,这就意味着本来是曲线的预测函数变为直线了: 这正是通过减小不需要的参数的影响,将复杂模型替换为简单模型来防止过拟合的方式。

三、惩罚函数

为了防止参数的影响过大,在训练时要对参数施加一些惩罚。比如上面提到的 λ,可以控制正则化惩罚的强度。C(θ)=12∑i=1n(y(i)−fθ(x(i)))2R(θ)=λ2∑j=1mθj2\begin{aligned} & C(\boldsymbol{\theta})=\frac{1}{2} \sum_{i=1}^n\left(y^{(i)}-f_{\boldsymbol{\theta}}\left(\boldsymbol{x}^{(i)}\right)\right)^2 \\ & R(\boldsymbol{\theta})=\frac{\lambda}{2} \sum_{j=1}^m \theta_j^2 \end{aligned}​C(θ)=21​i=1∑n​(y(i)−fθ​(x(i)))2R(θ)=2λ​j=1∑m​θj2​​ 比如令 λ = 0,那就相当于不使用正则化 λ 越大,正则化的惩罚也就越严厉:

本文链接地址:https://www.jiuchutong.com/zhishi/299255.html 转载请保留说明!

上一篇:Web 攻防之业务安全:密码找回安全案例总结.(web攻防之业务安全实战指南在线阅读)

下一篇:Content Security Policy (CSP) 介绍(content security policy blob)

  • 职工福利费计税税率
  • 印花税计提缴纳的会计分录
  • 企业按照行业分类为
  • 预缴增值税如何计提
  • 成本 费用区别
  • 纳税申报 财务报表利润表
  • 商业企业购入商品会计分录
  • 电影剧本稿费代扣代缴个人所得税如何处理?
  • 在途物资材料采购的区别
  • 出售固定资产取得的收入
  • 出口发票金额和备注了差了1分钱
  • 现金折扣后退回账户
  • 短期投资所得收入需要交税吗?
  • 跨年度发票退回如何记账
  • 个人所得税0申报操作流程
  • 个人劳务报酬所得税计算方法2020
  • 一次性收取的租金怎么纳税
  • 正回购和逆回购的区别
  • 发票金额大于实际支付金额如何报账
  • 如何修复电脑上qq对话过期视频
  • 政府补助具有哪些特点?
  • 怎么给员工购买保险
  • 收到的进项发票要在多久前认证
  • win10打印机驱动在电脑哪里找
  • 电脑没有声音问题
  • 向分公司借款
  • 跨年冲减无发票怎么入账
  • 借方为什么要转账
  • 微信用不升级
  • php和mysql的结合是目前web开发中的黄金组合
  • PHP:imagescale()的用法_GD库图像处理函数
  • 企业财务管理的对象是什么
  • 爱丁堡几点天黑
  • framework core
  • 小规模报税系统登录
  • 提交表单后重定向
  • nodejs搭建http服务器接收请求
  • php读取文件内容的方法和函数
  • 采购国产设备退税公告
  • 开票软件的证书口令是多少
  • 应付未付货款会计分录
  • 工会经费申报的依据
  • 企业通讯费报销要求
  • 发票勾选后什么时候开票
  • 个人所得税应补退税额怎么查
  • SqlServer 2005 T-SQL Query 学习笔记(4)
  • MySQL读写分离中间件
  • 固定资产清理往报表哪列示
  • 水电费计提是什么意思
  • 收到采购发票如何录入系统
  • 免抵退不得抵扣税额什么意思
  • 息税前利润的计算公式中的利息费用
  • 税盘连接服务器失败
  • 银行贷款每个银行一样吗
  • 亏损做t计算方法
  • 开出咨询费发票应该注册什么企业?
  • 车辆购置税退税申请表
  • 投资性房地产递延所得税其他综合收益
  • 残保金逾期怎么办
  • 外包会计注意事项
  • 设备上的配件计入什么费用
  • 劳务公司的工资表怎么做账
  • win8.1安装失败
  • windowsserver2008r2密码重置
  • 双系统计算机怎么开机
  • winmgm32.exe - winmgm32 是什么进程
  • 修改centos的ip
  • linux命令删除指定目录
  • win7电脑关机后自动开机怎么回事
  • jQuery插件能输出到控制台
  • 【ExpandableListView】ExpandableListView互斥展开效果
  • vue数组里面添加数组
  • linux的syslog配置
  • unity3d Human skin real time rendering with blood and water drop effect真实模拟人皮实时渲染之血液和水珠掉落效果
  • jquery detach
  • 江苏国税电子税务局网上申报流程
  • 税务人的形象
  • 房产税从价计征税率
  • 冻结银行账户属于什么
  • 计财科科长是什么级别
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设