位置: IT常识 - 正文

【机器学习】KNN算法及K值的选取

编辑:rootadmin
【机器学习】KNN算法及K值的选取

推荐整理分享【机器学习】KNN算法及K值的选取,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

KNN算法是有监督学习中的分类算法,它看起来和另一个机器学习算法K-means有点像(K-means是无监督学习算法),但却是有本质区别的。

KNN的原理就是:当预测一个新的值x的时候,根据它距离最近的K个点是什么类别,来判断x属于哪个类别。

图中绿色的点就是我们要预测的那个点,假设K=3。那么KNN算法就会找到与它距离最近的三个点(这里用圆圈把它圈起来了),看看哪种类别多一些,比如这个例子中是蓝色三角形多一些,新来的绿色点就归类到蓝三角了。

但是,当K=5的时候,判定就变成不一样了。这次变成红圆多一些,所以新来的绿点被归类成红圆。从这个例子中,我们就能看得出K的取值是很重要的。

KNN的两个核心点:K值的选取和点之间距离的计算方式

【机器学习】KNN算法及K值的选取

距离计算公式就不多说了,是欧氏距离:d(x,y):=∑i=1n(xi−yi)2d(x,y):=\sqrt{\sum_{i=1}^n(x_i-y_i)^2}d(x,y):=∑i=1n​(xi​−yi​)2​

(对于高维特征,曼哈顿距离(即p更低)更能避免维度灾难的影响,效果更优。欧几里得距离(次数更高)更能关注大差异较大的特征的情况)

最简单粗暴的就是将预测点与所有点距离进行计算,然后保存并排序,选出前面K个值看看哪些类别比较多。但其实也可以通过一些数据结构来辅助,比如最大堆

如何确定K值?答案是通过网格搜索,交叉验证(将样本数据按照一定比例,拆分出训练用的数据和验证用的数据,比如6:4拆分出部分训练数据和验证数据),从选取一个较小的K值开始,不断增加K的值,然后计算验证集合的方差,最终找到一个比较合适的K值。

有个反直觉的现象,K取值较小时,模型复杂度(容量)高,训练误差会减小,泛化能力减弱;K取值较大时,模型复杂度低,训练误差会增大,泛化能力有一定的提高。原因是K取值小的时候(如k=1),仅用较小的领域中的训练样本进行预测,模型拟合能力比较强,决策就是只要紧跟着最近的训练样本(邻居)的结果。但是,当训练集包含”噪声样本“时,模型也很容易受这些噪声样本的影响(如图 过拟合情况,噪声样本在哪个位置,决策边界就会画到哪),这样会增大"学习"的方差,也就是容易过拟合。这时,多听听其他邻居训练样本的观点就能尽量减少这些噪声的影响。K值取值太大时,情况相反,容易欠拟合。

KNN是一种非参的,惰性的算法模型:

非参的意思并不是说这个算法不需要参数,而是意味着这个模型不会对数据做出任何的假设,与之相对的是线性回归(我们总会假设线性回归是一条直线)。也就是说KNN建立的模型结构是根据数据来决定的,这也比较符合现实的情况,毕竟在现实中的情况往往与理论上的假设是不相符的。

此处的非参数似乎不太正确

惰性又是什么意思呢?想想看,同样是分类算法,逻辑回归需要先对数据进行大量训练,最后才会得到一个算法模型。而KNN算法却不需要,它没有明确的训练数据的过程,或者说这个过程很快。

KNN算法优点

算法简单直观,易于应用于回归及多分类任务对数据没有假设,准确度高,对异常点较不敏感由于KNN方法主要靠周围有限的邻近的样本,而不是靠判别类域的方法来确定所属类别的,因此适用于类域的交叉或非线性可分的样本集。

KNN算法缺点

计算量大,尤其是样本量、特征数非常多的时候。另外KD树、球树之类的模型建立也需要大量的内存只与少量的k相邻样本有关,样本不平衡的时候,对稀有类别的预测准确率低使用懒散学习方法,导致预测时速度比起逻辑回归之类的算法慢。当要预测时,就临时进行 计算处理。需要计算待分样本与训练样本库中每一个样本的相似度,才能求得与 其最近的K个样本进行决策。与决策树等方法相比,KNN考虑不到不同的特征重要性,各个归一化的特征的影响都是相同的。相比决策树、逻辑回归模型,KNN模型可解释性弱一些差异性小,不太适合KNN集成进一步提高性能。
本文链接地址:https://www.jiuchutong.com/zhishi/298415.html 转载请保留说明!

上一篇:vue路由的安装和使用(vue的路由器)

下一篇:Vue生命周期钩子剖析(共12个钩子)(vue生命周期钩子函数)

  • 工会经费和工会会员会费
  • 车险 保险金额
  • 土地增值税扣除项目金额怎么算
  • 会计账本需要装订的有哪些
  • 成本费用总额占营业收入比重
  • 居间费用超过3%剩余的怎样能拿到手
  • 企业财务发工资流程
  • 过桥过闸通行费会计分录
  • 持有至到期投资是什么意思
  • 对赌协议补偿款计入哪个科目
  • 小企业无形资产有
  • 库存商品低价销售违法吗
  • 收到去年未计提折旧费
  • 增值税征收比例和征收方式
  • 工程完工进项税税务局不给退,走那个科目销毁
  • 销售百分比法计算步骤
  • 没有车船税证明可以年检吗
  • 供应商的账怎么记
  • 哪些费用可以税前扣除
  • windows hello用不了怎么办
  • WIN10显示缩略图
  • 为什么路由器经常断网
  • 期初摊余成本是初始入账价值吗
  • 国家信用信息公司系公示
  • 官网下载的iso怎么用u盘安装
  • 对公账户信息补录
  • 投资收益怎么做不影响利润
  • 工资结算单什么时候签
  • 一般贸易和进料加工贸易的区别
  • 如何开增值税专用发票步骤图解
  • 网络层IP协议的配套协议有哪些
  • php发送post请求api
  • php mysql_real_escape_string addslashes及mysql绑定参数防SQL注入攻击
  • python绘制一条直线
  • 注册资本增加了怎么做账
  • 余热发电前景
  • 什么是临时雇佣
  • js正数转负数
  • 银行不良资产核销后怎么处理
  • 织梦会员系统
  • mysql使用指南
  • 工程开票金额大于结算金额怎么处理
  • 购买商标入账
  • 银行贷款可以置换险资吗
  • sql中order by 1
  • sql中判断函数
  • sqlserver2005创建表
  • 工程服务费会计怎么做账
  • 期货风险准备金计提比例
  • 零税率发票有法律效力吗
  • 转账手续费没有发票能税前扣除吗
  • 房屋租赁费可以抵扣吗
  • 公章变更需要到哪里办理
  • 取暖费用摊销吗
  • mysql@变量
  • sqlserver 查看表
  • 远程查看微信聊天记录软件
  • ubuntu20设置
  • linux配置ftp服务
  • win10系统预览版
  • win7文件夹选项在哪里打开
  • centos搭建服务器
  • win10虚拟机不能使用
  • perl 删除文件
  • unity拖进模型什么也看不到
  • css一个页面跳转到另一页面
  • eval()函数python
  • node.js使用的v8引擎是由哪个公司开发的
  • 用注册表更改用户名后无法登陆
  • css开发环境
  • 视觉观点
  • javascript教程完整版
  • jquery设置宽高
  • ug怎么加载制图模板
  • 国税局发票查验平台查询不到
  • 国家税务总局千户集团
  • 浦东经济开发区官网
  • 电子税务局如何查询财务报表
  • 投资损失属于所得税吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设