杨 彬，韩庆文，雷 敏，张亚鹏，刘向国，杨亚强，马雪峰

（1.重庆大学通信工程学院，重庆400044；2.重庆阿尔法碳索科技有限公司，重庆400000）

基于改进的TF-IDF权重的短文本分类算法

杨 彬1，韩庆文1，雷 敏2，张亚鹏2，刘向国2，杨亚强2，马雪峰2

（1.重庆大学通信工程学院，重庆400044；2.重庆阿尔法碳索科技有限公司，重庆400000）

短文本具有特征稀疏的特点，如采用TF-IDF权重和算法来选择短文本特征，很多具有专业领域信息特征而训练集中未出现过的特征将被忽略，从而导致待分类文本集的权值分布比较集中，区分度小，最终影响短文本信息推送。因此，一种基于改进的TF-IDF权重的短文本分类算法被提出。该算法通过同义词对分类器的关键词库进行扩展和基于特征长度对短文本权值进行加权，使得文本集的权值方差增大。与直接对短文本进行扩展的算法相比，该算法具有更快的分类速度。

短文本；TF-IDF权重；特征扩展

近年来，随着社交网络服务的逐渐兴起，产生了海量的短文本数据。短文本通常是指语义表达精炼、长度较短（不超过100个字符）的文本，如网络评论、新闻标题、微博等。短文本能反映人们对舆论事件的不同态度和看法，在搜索引擎、情感分析等领域发挥着重要的作用。如何从海量短文本中挖掘出专业领域信息成为一大挑战［1］。主流的文本分类算法均采用机器学习的方法，例如K近邻（k-nearest neighbors，KNN）［2］、朴素贝叶斯（NaÏïve Bayes）、最大熵（maximum entropy）［3］、支持向量机（support vectormachine，SVM）［4］、神经网络（neural networks）等，利用事先手工标记的具有确定类别的文本进行训练得到分类器模型，通过分类器模型预测待检测文本的类别。……