闫 跃,霍其润,李天昊,毛 煜

1(首都师范大学 信息工程学院,北京 100048)

2(北京理工大学 计算机学院,北京 100081)

1 引 言

近年来,文本分类任务面临着文本信息数据量的增加和文本内容复杂度提升等问题,人工进行文本信息分类的效率较低,同时很容易受到主观因素的影响,使得分类的准确程度不高.基于深度学习的文本分类方法采用深度神经网络,摒弃了人工特征提取步骤,可以从大量数据中自动提取深层文本特征,进而解决了这一问题.目前主要将文本分类任务分为文本向量化和分类模型构建两个方面,首先将文本信息转化为向量形式,再通过深度神经网络对提取到的词向量进行特征抽取,在文本分类任务中取得了较好的表现.

在文本表示方面,词向量[1]概念的首次提出为探究文本语义之间的关系开辟了一条新的思路,其核心思想是通过神经网络降维将原始的文本表示为一定长度的稠密向量,从而提高文本特征的表达能力.2013年,Mikolov[2]提出了word2vec模型,该模型基于神经网络,通过将文本转化为向量形式对特征词语的语义相似度进行距离度量.ColloBERT[3]提出了将词向量与卷积神经网络相结合,将文本分类任务分为文本表示和分类器两个模块,提升了分类效果.

在之后的分类器构建中,传统的浅层机器学习算法有着特征工程构建繁琐、难以表示复杂函数等问题,CNN和RNN等深度学习框架[4]的应用较好的解决了这些问题.然而单一的深度神经网……