彭俊利，谷 雨，张 震，耿小航

（杭州电子科技大学通信信息传输与融合技术国防重点学科实验室，杭州 310000）

0 概述

随着深度学习技术的快速发展，文档表示方法已由基于词频信息的词袋模型（Bag-of-Word，BOW）［1-2］逐渐转向基于词嵌入（Word Embedding）的表示法。词袋模型将文档视为多个词的集合，其不考虑词的顺序和语义等信息，使用与词集合相同维度的向量来表示文档，向量中每一维所包含的数值即为该位置所表示词的权重［3-4］。虽然词袋模型在支持向量机（Support Vector Machine，SVM）、贝叶斯分类器和逻辑回归分类器中可得到较好效果，但仍存在一些问题［5-6］。当数据集较大时，采用词袋模型获得的文档向量维度会很高，从而导致维度灾难，而且文档中出现的词语数量较多，但在表示为高维向量时只有极少数的维度存在有效权重［7-8］。例如，文档中出现1 000个词，词向量维度为10万，但其中仅有1 000 个维度存在有效权重。此外，词袋模型仅考虑了词语的频次信息，没有在词语与上下文之间建立联系，导致词语的语义信息不足，从而无法区分一词多义或多词一义的情况。

以词嵌入为代表的基于深度学习的词向量表示法在词语与上下文之间建立联系，把维数为所有词语数量的高维空间嵌入到一个维数较低的连续向量空间中，每个词语都被映射为实数域上的向量，弥补了词频统计法存在的不足［9-10］。MIKOLOV 等人于2013 年构建Word2Vec 词嵌入模型［11］，其利用词语与上下文的关系将词语转化为一个低维实数向量，从而有效地区分了一词多义或多词一义的情况。……