顾永春,武 娇,金世举,顾兴全,尹雪婷,刘雅萱

(1.中国计量大学 理学院,浙江 杭州 310018;2.中国计量大学 标准化学院,浙江 杭州 310018)

随着互联网的发展,以文本为代表的非结构化数据增长迅速,但文本数据无法直接被计算机识别。因此,文本数据挖掘的首要问题是对文本进行结构化表示[1]。

文本(句子或文档)表示[2]是指以词向量为基础,对词向量进行组合得到可以表示文本的向量。向量空间模型[3](Vector space model,VSM)是常用的文本表示方法,可以看作是对One-Hot词语表示的加权平均,权重可以是词语的词频[4](Term frequency,TF)和词频逆文本频(Term frequency-inverse document frequency,TF-IDF)[5]等。VSM具有可解释性强、操作简单、耗时少等优点。但VSM表示的维度由文本语料控制,若文本语料较大,则文本向量稀疏且高维;此外,VSM表示无法完整融合词语的上下文位置信息,导致文本向量的语义信息缺失。

以Word2vec为代表的词嵌入(Word embedding)[6]可以将词语表示为紧凑低维的实值向量,并且能够捕捉词语的语义和句法属性。但对于文本聚类等文本级别的任务,需要将词嵌入扩展到整个文本。Le[7]等人提出的Doc2vec模型就是Word2vec从词语到文本层级的扩展。也有学者利用递归神经网络[8]、卷积神经网络[9-10]等神经网络模型训练文本向量。这些直接训练得到文本向量的方法[11]可以有效解决文本向量语义缺失的问题[12]。但也存在可解释性差,训练时间冗长等不足[13]。

词嵌入组合[14]是另一种常用的文本表示方法,这种表示方法通过对词嵌入加权平均形成文本向量。常见的加权方式有均值加权、平滑逆词频(Smooth inverse frequency,SIF)[15]加权和互信息(Mutual information,MI)[16]加权等。……