刘春磊 梁瑞斯 邸元浩

摘 要：自然语言处理是人工智能领域中的一个热门方向，而文本分类作为自然语言处理中的关键技术受到专家学者的广泛关注。随着机器学习技术的发展，决策树算法已经在文本分类中取得了较好的分类效果。本文针对短文本分类问题，利用TFIDF提取文本特征后，结合梯度提升决策树算法进行文本分类，并与朴素贝叶斯、逻辑回归和支持向量机的分类效果进行对比分析，验证了梯度提升决策树用于短文本分类的可行性。

关键词：自然语言处理;文本分类;机器学习;决策树

短文本分类是信息检索和文本数据挖掘的基础，也是当前自然语言处理领域中一个重要的研究方向，在情感分析、垃圾邮件过滤、新闻分类等领域有着广泛的应用价值。

机器学习方法的应用将文本分类任务拆分为特征工程和分类器，完成数据到信息和信息到知识的过程。[1]文本特征选择方法较多，其中TFIDF可以有效评估特定字词对于一个文本集或一个语料库中的重要程度。[2]文本分类常用的分类器有朴素贝叶斯、逻辑回归、支持向量机、决策树等算法。[3]朴素贝叶斯和逻辑回归在属性个数比较多或者属性之间相关性较大时，分类效果较差。当需要分类的样本较多时支持向量机将耗费大量的机器内存和运算时间。决策树算法中的GBDT（Gradient Boosting Decision Tree），是一种迭代的回归决策树算法，该算法由多棵决策树组成，将所有树的结论融合求解，是泛化能力较强的算法。……