李鹏鹏,范会敏

(西安工业大学计算机科学与工程学院,陕西 西安 710021)

0 引 言

作为互联网的主要信息载体，文本、图像和声音具有显著的特点。其中，文本是主要的信息载体，自然语言处理在当今仍然是研究的热门和重点方向。文本分类是自然语言处理中的重要研究课题，特征权重算法在文本分类中起到了至关重要的作用。目前文本分类中常用的特征权重算法TF-IDF是一种基于词频的特征权重算法，该方法容易实现、思想简单，兼顾效率的同时往往能取得较满意的效果从而被广泛使用。但该算法没有体现特征词在文档类之间和类内的分布信息，无法适应不平衡数据集，分类准确性不高。目前主要的改进包括以下几种：在传统算法基础上，增加特征权重所蕴含的信息；利用特征选择算法对传统算法TF或IDF部分进行替换，或对二者结合，使其携带新的分类信息[1-2]；此外，还有文献通过加入类别相关度平衡因子对互信息公式进行改进，同时将其应用于特征加权算法；利用跨不同类文本的细粒度术语分布信息，特征权重计算利用文本集特征全集而非本类特征集合；利用剔除近义词方法优化文本向量中的特征项，提出贡献率因子的概念，提高了文本分类准确率[3-7]。以上多种改进算法均在一定程度上提升了分类准确率，但并未完全兼顾文档分布信息与算法在倾斜数据集上的表现。鉴于传统TF-IDF算法的不足，本文提出一种文本分类中改进的特征权重TF-IDF-dist算法。……