王正杰,杨伟丽,王 喆,侯玉珊,郭银景

(山东科技大学电子通信与物理学院,山东 青岛 266590)

0 引 言

分类算法是人工智能、模式识别和数据挖掘领域中重要的数据处理方法，其目的是通过样本数据建立分类模型或函数，将实体属性值分类到给定的数据类别中，常用的分类算法可以分为参数化模型和非参数化模型[1]。当使用参数化模型时，需要通过训练数据估计参数，然后对数据进行分类操作，典型的包括感知机、逻辑斯谛回归和线性支持向量机。非参数化模型无法通过一组固定参数进行表征，而且参数数量也会随着训练数据增加而递增，典型的包括决策树(含随机森林)、采用核函数的支持向量机和K近邻。进行数据分类时，数据特征空间维数、数据噪声以及分类算法参数设置都会影响分类精度[2]。同时，算法的参数选择在实际应用中也有很广泛的需求[3-4],对算法参数寻优是算法应用的重要基础[5-6]。本文选择2类模型中的代表算法，通过建立不同类型数据集并设置不同算法参数，分析多种算法分类效果，对了解不同算法分类精度及适用数据类型具有重要的指导意义。

1 算法基本原理

1.1 KNN

KNN是最近邻法的推广，KNN算法通过搜索模式空间，找出待分类样本的k个邻近数据。具体地说，对未知(待分类)样本xt分类时，在训练样本集中寻找与待分类样本xt距离最近的k个样本，若这k个样本大多数属于某一类别，则判定该测试样本属于该类[7]。因此，KNN算法的2个重要因素是距离最近的样本数k和“距离”度量公式。……