刘思聪 卢甘霖 崔子良 尹建烁 西北农林科技大学信息工程学院

引言

网络论坛相关技术的发展，使其能够承载更多网络用户产生的信息。但网络评论来源的复杂性，造成了网络论坛中的评论文本质量良莠不齐。因此，对网络评论文本进行实时并且快速的分类成为了当前比较紧迫的商业需求。

但当前网络评论文本分类的有关研究还未成熟，其亟待解决的问题可总结为：文本分类的类别设置不全面；使用的分类算法性能不佳。为解决以上问题，本文建立了一套较为科学的评论文本分类标签，提出了一套基于XGBoost算法的分类系统。

1 相关技术

1.1 数据获取与预处理流程

采用网络爬虫抓取网络论坛上的评论信息，运用NLTK工具集对无关信息进行清洗，建立符合需求的评论文本数据集。

1.2 文本分词处理流程

使用Jieba进行中文分词，该工具包实现了高效的词图扫描，能找出基于词频的最佳切分方式。

1.3 基于TF-IDF的特征提取流程

通常运用TF-IDF提取文章的特征，具体如下：

2 XGBoost算法

该分类算法的基本思想是选择部分样本和特征生成一个简单模型，将其作为基本分类器。在生成新模型时，学习以前模型的残差最小化目标函数。重复执行，最终产生准确率很高的综合模型。它的目标函数 Oobj经过泰勒公式展开后，最终化简为

3 网络评论分类系统的构建

分类系统由文本获取（使用网络爬虫从网络论坛抓取文本信息）、文本整理与清洗（剔除文本中的无关信息）、文本分词（对经过预处理的文本进行分词）、特征提取（对分词后的文本建立特征矩阵）和模型训练（训练出XGboost模型）构成。……