魏碧剑

(温州大学数学与信息科学学院，浙江温州 325035)

基于KL散度的无监督特征选择方法

魏碧剑

(温州大学数学与信息科学学院，浙江温州 325035)

提出一种新的无监督的特征选择方法，该方法首先通过计算数据样本在图上的测地距离来定义两个样本点之间的联合概率密度，该联合概率可用于描述这两样本之间的相似程度，然后把特征基于相关性矩阵进行预分组，使得在投影到低维空间中时能尽量满足组内特征稀疏，最后通过极小化KL散度、投影矩阵的L2,1范数以及最后的特征优化式子来优化目标，从而达到维数降低的目的．

测地距离；特征分组；KL散度；投影矩阵

随着科技的进步，特征选择在近几年得到了很好的发展．日常生活中我们经常会遇到各种不同的数据，并且需要对这些数据进行分类．大多数情况下，碰到的数据都是高维的，随着数据维数的增长，对数据的认识和判别难度也会增加，这样就促进了特征选择方法的发展．现存的特征选择方法大体可以分为三类：有监督、半监督、无监督的特征选择方法．进行计算时把所有样本的类别标签都考虑在内，则称这种方法是有监督的特征选择[1]；若在计算时只是运用了原始数据中一部分样本的类别标签，而对于其它的样本不考虑其类别信息，则称这种为半监督的特征选择方法；若进行特征选择时没有考虑任何一个样本的类别标签，则称这种特征选择方法为无监督的特征……