KNN算法

it2022-05-05  192

初识KNN算法

源于某学术论文。

wiki介绍:在模式识别领域中,最近邻居法(KNN算法,又译K-近邻算法)是一种用于分类和回归的无母数统计方法。这两种情况下,输入包含特征空间中的k个最接近的训练样本。

KNN分类中,输出是一行分类族群,一个对象的分类由其邻居的"多数表决"确定。KNN回归中,输出是该对象的属性值。该值是其k个最近邻居的平均值。

KNN采用向量空间模型来分类,可借计算与已知类别案列之相似度,评估未知类别案例可能的分类。

衡量邻居的权重,使较近邻居权重比较远邻居权重大。加权方案:给每个邻居权重赋值1 / d(d邻居的距离)

如图:测试样本(绿色圆形)应归入要么是第一类的蓝色方形或是第二类的红色三角形。如果k=3(实线圆圈)它被分配给第二类,因为有2个三角形和只有1个正方形在内侧圆圈之内。如果k=5(虚线圆圈)它被分配到第一类(3个正方形与2个三角形在外侧圆圈之内)


最新回复(0)