基于费希尔信息度量的随机近邻嵌入算法
2016-09-05张亚红李玉鑑
张亚红,李玉鑑
基于费希尔信息度量的随机近邻嵌入算法
张亚红,李玉鑑
(北京工业大学计算机学院,北京100124)
为提高文本分类的准确率,提出了费希尔信息度量随机近邻嵌入算法(Fisher information metric based on stochastic neighbor embedding,FIMSNE).首先,把文本的词频向量看作统计流形上的概率密度样本点,利用费希尔信息度量计算样本点之间的距离;然后,从信息几何的观点出发,对t分布随机近邻嵌入(t-stochastic neighbor embedding,t-SNE)进行改进,实现了新算法.真实文本数据集上的二维嵌入和分类实验的结果表明:FIMSNE的性能在总体上优于t-SNE、费希尔信息非参数嵌入(Fisher information nonparametric embedding,FINE)和主成分分析(principal components analysis,PCA).
文本分类;统计流形;信息几何;费希尔信息度量;t分布随机近邻嵌入
文本处理是机器学习的一个重要领域,其主要任务有文本分类和聚类[1-2]、信息抽取[3]、情感分析[4]等.其中文本分类在自然语言处理与理解、信息组织与管理、内容信息过滤等领域都有着广泛的应用.在文本分类中,每个文档通常用一组词来表示,而文档间的相似度通过词频向量的欧式度量描述.由于词表的规模一般较大,大多上万,因此文本处理所涉及的词频向量具有高维特性,往往需要降维.常用的降维方法是主成分分析(principal components analysis,PCA),但PCA是一种线性降维方法,对非线性数据的降维效果不理想.
t分布随机近邻嵌入(t-stochastic neighborembedding,t-SNE)[5]作为一种非线性数据降维方法,能够把数据嵌入到维数更低的空间.其基本思想是在高维样本空间把2个样本的相似度通过高斯核函数定义为它们的联合概率,在低维空间把其嵌……
