APP下载

一种新的维吾尔文文本分类特征选择方法

2016-05-05哈力旦阿布都热依木阿丽亚艾尔肯吴冰冰

何 燕,哈力旦·阿布都热依木,阿丽亚·艾尔肯,吴冰冰

(新疆大学 电气工程学院,新疆 乌鲁木齐 830047)



一种新的维吾尔文文本分类特征选择方法

何燕,哈力旦·阿布都热依木,阿丽亚·艾尔肯,吴冰冰

(新疆大学 电气工程学院,新疆 乌鲁木齐 830047)

摘要:针对传统卡方统计量方法对特征项的频数和类别分布考虑不足的缺陷,提出了一种结合余弦相似度的卡方统计量特征选择方法。该方法首先使用均值词频-逆文档频率表示特征项,通过引入一个调整公式来平衡类间选取的特征项数,从而对传统卡方统计量方法进行修正,然后结合余弦相似度进一步消除噪声文本。在收集的维吾尔文数据集上进行实验论证。实验结果表明:改进的卡方统计量方法具有较好的鲁棒性,且分类性能优于传统的卡方统计量方法。

关键词:维吾尔文;卡方统计量;余弦相似度;特征选择

0引言

文本分类是从一系列数字文档中找到相关和及时信息的关键技术。随着新疆地区信息化建设的飞速发展,网络上包括维吾尔文等少数民族语种的大量数字化信息呈现指数级增长趋势。如何有效管理和利用这些纷繁杂芜的海量信息,并对大量少数民族语种文本数据进行自动归类,是当前重要的研究课题之一[1]。

特征选择是将能够有效表达文本内容的特征挑选出来建立学习样本,保留重要的信息,去除冗余信息,以降低特征空间维度的过程。一个好的学习样本是训练分类器的关键,样本中是否含有不相关或冗余信息直接影响着分类器的分类精度和泛化性能[2]。……

登录APP查看全文