高知新 徐林会

(辽宁工程技术大学理学院 辽宁 阜新 123000)



基于隐马尔科夫模型与语义融合的文本分类

高知新 徐林会

(辽宁工程技术大学理学院 辽宁 阜新 123000)

提出一种融合语义的隐马尔科夫模型用于文本分类的方法。将特征词的语义作为先验知识融合到隐马尔科夫分类模型中。通过信息增益提取特征词，用word2vec提取特征词语义，将每一个类别映射成一个隐马尔科夫分类模型，模型中状态转移过程就是该类文本生成过程。将待分文本与分类模型做相似度比较，取得最大类别输出概率。该方法不仅考虑特征词、词频、文档数量先验知识，而且将特征词语义融合到隐马尔科夫分类模型中。通过实验评估，取得了比原HMM模型和朴素贝叶斯分类模型更好的分类效果。

隐马尔科夫模型 语义融合 word2vec 信息增益 文本分类

0 引 言

近年来随着Web和移动互联网的广泛使用，各种信息的增长速度越来越快，其中文本信息占有重要地位。如何快速而有效地进行文本的组织、管理以及使用是当今信息处理的一个重要课题，而这也促进了文本分类技术的发展。文本分类就是将未分类的文本根据一定的分类算法分配到正确的类别中，它广泛应用在搜索引擎、信息过滤、文本识别、数字图书馆等方面。为了快速高效的处理海量文本数据集，基于统计的分类模型被应用到文本分类中。文献[1]将文本利用向量空间模型表示成空间向量，利用TF-IDF表示文本权重，对文本进行分类；……