张志强

（华北计算技术研究所，北京市　100083）

基于自学习向量空间模型文本分类算法的研究与应用

张志强

（华北计算技术研究所，北京市100083）

随着网络信息的迅猛发展，信息处理已经成为人们获取有用信息不可缺少的工具。文本自动分类是信息处理的重要研究方向。它是指在给定的分类体系下，根据文本的内容自动判别文本类别的过程。本文对文本分类中所涉及的关键技术，包括向量空间模型，特征提取，机器学习方法等进行了研究和探讨。最后，本文实现了一套基于自学习向量空间模型的文本分类系统，并基于kafka消息队列和storm流计算框架，实时地为文本进行分类。

文本分类；向量空间模型；机器学习；kafka消息队列；storm流计算

本文著录格式：张志强. 基于自学习向量空间模型文本分类算法的研究与应用[J]. 软件，2016，37（9）：118-121

1　引言

随着信息技术的不断普及，人们对信息资源的依赖性越来越大，如何实现信息的自动分类，尤其是中文文本信息的有效分类是目前中文信息处理研究的一个重要分支领域。

中文文本分类已经不是一个新的课题，但随着信息化带来的信息量急剧增长，现有的中文文本分类技术面临着新的挑战，主要表现在：

1）动态性。当今社会日新月异，知识更新存在于每一领域，内容变化迅速，信息交换变得更为频繁。分类模型如果缺乏适应性，分类质量将无法得到保障。

2）非结构化。网络文本信息来源各异，往往具有不同的形式和语法。如何对这些非结构化的数据进行有效的处理，给文本分类技术提出了新的难题。……