位置: IT常识 - 正文

机器学习中的数学原理——模型评估与交叉验证

编辑:rootadmin
机器学习中的数学原理——模型评估与交叉验证

推荐整理分享机器学习中的数学原理——模型评估与交叉验证,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

惭愧惭愧!机器学习中的数学原理这个专栏已经很久没有更新了!前段时间一直在学习深度学习,paddlepaddle,刷题专栏跟新了,这个专栏就被打入冷宫了。这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在 机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下《 白话机器学习中的数学——模型评估与交叉验证》!

文章目录一、什么是模型评估二、交叉验证2.1回归问题的交叉验证2.2分类问题的验证一、什么是模型评估

简单的讲,模型评估就是评估训练好的模型的好坏。

在进行回归和分类时,为了进行预测,我们定义了函数 fθ(x),然后根据训练数据求出了函数的参数 θ。也就是对目标函数进行微分,然后求出参数更新表达式的操作,当时我们求出参数更新表达式之后就结束了。 但是,其实我们真正想要的是通过预测函数得到预测值。以回归的那个例子来说,就是关于投入的广告费能带来多少点击量的预测值。所以我们希望 fθ(x)对未知数据 x 输出的预测值尽可能正确。那我们如何测量预测函数 fθ(x)的正确性,也就是精度呢?对于一个变量的问题,我可以用图直观的表示出来:

像多重回归这样的问题,变量增加后就不能在图上展示了,而且特意去画图也很麻烦。所以我们需要能够定量地表示机器学习模型的精度。接下来我们就要考虑评估模型的方法。

二、交叉验证

验证是指的在机器学习模型训练时对模型好坏程度的衡量。交叉验证就是一种常用的模型选择方法,使用部分数据集进行验证模型的有效性。

2.1回归问题的交叉验证

把获取的全部训练数据分成两份:一份用于测试,一份用于训练。然后用前者来评估模型。也就是说假如有 10 个训练数据,那么实际上会按照 5 个测试数据、5 个训练数据来分配它们,但是比起 5 : 5,大多数情况会采用 3 : 7 或者 2 : 8 这种训练数据更多的比例。 我们接下来用3 个用于测试、7 个用于训练。也就是说,关于点击量预测的回归问题,我们现在有 10 个数据,其中测试数据和训练数据是这样分配的:

机器学习中的数学原理——模型评估与交叉验证

右侧的 3 个是测试数据、左侧的 7 个是训练数据。首先,我们来考虑使用左侧这 7 个数据来训练参数的情况。用一次函数

fθ(x)=θ+θ1x∗f_{\boldsymbol{\theta}}(\boldsymbol{x})=\theta_0+\theta_1 x^*fθ​(x)=θ0​+θ1​x∗表示即可。先从一次函数开始考虑比较好。先不去管测试数据,只看那7个训练数据。一次拟合函数大概如下:

再考虑二次函数:

如果 fθ(x)是二次函数,那它基本上就是这个形状。但是这个函数“只有对训练数据才是正确的”,对于测试集的预测效果很差。也就是说如果只看训练数据,那么二次函数比一次函数拟合得更好。

但是,如果将测试数据也考虑进来,那么二次函数就完全不行了。要把测试数据当作未知数据来考虑。即使模型相同,如果训练数据过少,这种现象也会发生。那么在训练结束之后,我们还得像这样检查一下测试数据是否也拟合,但是如果变量增加,就不能画图了。就算能画图,也会很麻烦。 对于回归的情况,只要在训练好的模型上计算测试数据的误差的平方,再取其平均值就可以了。假设测试数据有 n 个,那么可以这样计算。

1n∑i=1n(y(i)−fθ(x(i)))2\frac{1}{n} \sum_{i=1}^n\left(y^{(i)}-f_{\boldsymbol{\theta}}\left(\boldsymbol{x}^{(i)}\right)\right)^2n1​∑i=1n​(y(i)−fθ​(x(i)))2 对于预测点击量的回归问题来说,y(i) 就是点击量,而 x(i) 是广告费或广告版面的大小,这个值被称为均方误差或者 MSE,全称 Mean Square Error。这个误差越小,精度就越高,模型也就越好。

回归的目标函数也是误差函数,这与为了让误差函数的值变小而更新参数时所做的事情是一样的!

2.2分类问题的验证

与回归的时候一样,我们先考虑数据的分配。 数据的分配方法不要太极端其实会更好”这一点与回归的时候也是一样的。假设在逻辑回归的情况下,θTx 是简单的一次函数,那么只根据训练数据进行训练后,决策边界应该是这样的: 但是假如θTx 更加复杂,可能就会像这样紧贴着训练数据进行分类: 可以看到可以对训练数据完美地进行分类,却完全忽视了测试数据。对于分类有别的指标。由于回归是连续值,所以可以从误差入手,但是在分类中我们必须要考虑分类的类别是否正确。在回归中要考虑的是答案不完全一致时的误差,而分类中要考虑的是答案是否正确。 我们对图像是横向的还是纵向的进行了分类,我们是根据图像为横向的概率来分类的。关于分类是否成功就会有下面 4 种情况:

图像是横向的,被正确分类了图像被分类为横向,但实际上不是横向的图像不是横向的,被正确分类了图像被分类为非横向,但实际上是横向的

把它整理到这样的表里: 设横向的情况为正、非横向的情况为负,那么一般来说,二分类的结果可以用这张表来表示: 分类结果为正的情况是 Positive、为负的情况是 Negative。分类成功为 True、分类失败为 False。我们可以使用表里的 4 个记号来计算分类的精度。精度的英文是 Accuracy,它的计算表达式是这样的: 它表示的是在整个数据集中,被正确分类的数据 TP 和 TN 所占的比例。假如 100 个数据中 80 个被正确地分类了,那么精度就是这样的: 用测试数据来计算这个值,值越高精度越高,也就意味着模型越好!

本文链接地址:https://www.jiuchutong.com/zhishi/299735.html 转载请保留说明!

上一篇:毕业设计-基于深度学习的交通标识识别-opencv(毕业设计基于Linux系统的NFS服务器搭建)

下一篇:【自动驾驶】模型预测控制(MPC)实现轨迹跟踪(自动驾驶 模块)

  • 公司替员工承担个税怎么入账
  • 所得税汇算资产总额怎么算
  • 企业中秋晚会活动方案
  • 进项税转出大于进项税,加计抵减怎么计算
  • 关税是价内税还是税外税
  • 境外代扣代缴增值税
  • 没有上市的公司怎么看财务报表
  • 个人所得税申报操作流程
  • 物业管理水电费税率
  • 对外销售产品
  • 应收账款核销后收回
  • 白条入账的会计分录
  • 企业购进材料的会计分录
  • 报关单有多个合同协议号
  • 工资不到3500用交个税吗
  • 工程改造合同印花税
  • 在产品,产成品和库存商品的区别
  • 大中小型企业标准划分表
  • 含税销售额的计算公式是什么意思
  • 待处理财产损益计入资产负债表哪里
  • 税务没有核定印花税
  • 如何接收银行承兑
  • 结转净利润到利润分配
  • 月末计提固定资产折旧时,应借记
  • 桌面图标删不掉怎么回事
  • 出租固定资产取得的净收益计入什么科目
  • msxct.exe - msxct是什么进程 有什么用
  • wordpress采集教程
  • 员工内部罚款有没有上限和下限
  • 同业代付融资
  • php访问数据库的方式
  • 个税专项扣除中赡养老人
  • php文件上传用什么请求方法
  • vue导入动图
  • yolov1 实现
  • js防抖节流的区别和使用场景
  • 凭证过账后发现了错误,如何处理
  • 发放股票股利的账务处理
  • python中删除字典里的空项目
  • 预提的费用当年必须冲掉吗
  • 个人所得税隔月交么
  • 无偿调入资产如何做账
  • sql删除表中的某一行
  • 员工福利开的专票怎么做分录
  • 代开运输发票会不会造成重复征税?
  • 销售折扣的账务处理有详细的计算过程
  • 速动比率和流动比率的关系
  • 长期股权投资在现金流量表哪里体现
  • 研发支出计入产品成本吗
  • 分包管理费取费标准
  • 会计处理的相关知识点
  • 不动产经营租赁会计分录
  • 银行存款利息计算器在线计算器
  • 小规模纳税人哪里可以查
  • 车费属于什么会计科目类
  • 商业折扣入账
  • 什么是权责发生会计处理基础
  • 外帐和内帐区别
  • linux中的rm是什么意思
  • 两种方法解决一半模型的问题
  • thinkpad 8高配版
  • windows xp玩lol
  • win7系统禁止更新
  • win7文件夹怎么显示大小
  • win8隐藏任务栏怎么恢复
  • linux 磁带机
  • win8鼠标指针不见了
  • linux diy
  • 安卓作业仿银行
  • python matplotlab
  • shell echo 特殊字符
  • 一个进程cpu占用率长时间为90%以上
  • linux bash命令详解
  • [置顶]从lv2开始开挂的原勇者候悠闲的异世界生活
  • vue瀑布流实现
  • jQuery height()、innerHeight()、outerHeight()函数的区别详解
  • 山东增值税普通发票查询
  • 2021河南省中考英语听力音频
  • 佛山退休办理
  • 个体户国税地税怎么交
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设