以Python代码实例展示kNN算法的实际运用(利用python进行)

编辑：rootadmin

推荐整理分享以Python代码实例展示kNN算法的实际运用(利用python进行)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:python代码举例,python代码举例,python代码举例,用python编写,运用python编写程序,运用python编写程序,python代码案例详解,python代码举例,内容如对您有帮助，希望把文章链接给更多的朋友！

邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

上图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 KNN方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值(weight)，如权值与距离成反比。

用 kNN 算法预测豆瓣电影用户的性别摘要

本文认为不同性别的人偏好的电影类型会有所不同，因此进行了此实验。利用较为活跃的位豆瓣用户最近观看的部电影，对其类型进行统计，以得到的种电影类型作为属性特征，以用户性别作为标签构建样本集。使用kNN算法构建豆瓣电影用户性别分类器，使用样本中的%作为训练样本，%作为测试样本，准确率可以达到.%。

实验数据

本次实验所用数据为豆瓣用户标记的看过的电影，选取了位豆瓣用户最近看过的部电影。对每个用户的电影类型进行统计。本次实验所用数据中共有个电影类型，因此将这个类型作为用户的属性特征，各特征的值即为用户部电影中该类型电影的数量。用户的标签为其性别，由于豆瓣没有用户性别信息，因此均为人工标注。

数据格式如下所示：

示例：

像这样的数据一共有行，表示个样本。每一个的前个数据是该样本的个特征值，最后一个数据为标签，即性别：0表示男性，1表示女性。

在此次试验中取样本的前%作为测试样本，其余作为训练样本。

首先对所有数据归一化。对矩阵中的每一列求取最大值（max_j）、最小值（min_j)，对矩阵中的数据X_j，X_j=(X_j-min_j)/(max_j-min_j) 。

然后对于每一条测试样本，计算其与所有训练样本的欧氏距离。测试样本i与训练样本j之间的距离为：distance_i_j=sqrt((Xi,1-Xj,1)^2+(Xi,2-Xj,2)^2+……+(Xi,-Xj,)^2) ，对样本i的所有距离从小到大排序，在前k个中选择出现次数最多的标签，即为样本i的预测值。

实验结果

首先选择一个合适的k值。对于k=1,3,5,7，均使用同一个测试样本和训练样本，测试其正确率，结果如下表所示。

选取不同k值的正确率表

由上述结果可知，在k=3时，测试的平均正确率最高，为.%，最高可以达到.%。

上述不同的测试集均来自同一样本集中，为随机选取所得。

Python代码

这段代码并非原创，来自《机器学习实战》（Peter Harrington，），并有所改动。

JavaScript编程中window的location与history对象详解 WindowLocationwindow.location对象用于获得当前页面的地址(URL)，并把浏览器重定向到新的页面。window.location对象在编写时可不使用window这个前缀。一些例子：

js基础知识（公有方法、私有方法、特权方法）本文涉及的主题虽然很基础，在许多人看来属于小伎俩，但在JavaScript基础知识中属于一个综合性的话题。这里会涉及到对象属性的封装、原型、构造函

window.location.hash知识汇总 location是javascript里边管理地址栏的内置对象，比如location.href就管理页面的url，用location.href=url就可以直接将页面重定向url。而location.hash则可以用来获取

标签: 利用python进行

本文链接地址:https://www.jiuchutong.com/biancheng/369942.html 转载请保留说明！