APP下载

一种基于WSD层级记忆网络建模的文档表示方法

2020-08-07张柯文朱全银方强强马甲林成洁怡丁行硕

淮阴工学院学报 2020年3期
关键词:语义分类模型

张柯文,李 翔,朱全银,方强强,马甲林,成洁怡,丁行硕

(淮阴工学院 计算机与软件工程学院,江苏 淮安 223005)

文档层级结构关系建模可以针对文档的词句级联的上下文信息进行文档表示,也是自然语言处理领域研究的基础。在过去的研究中,研究者们通过传统的机器学习方法进行文档建模表示,Wu等[1]通过凸松弛将特征变换与SVM学习相结合,以人工标注对训练数据集进行特征提取和学习构建文档模型,实现文档分类,Chen[2]提出改进TF-IDF用于处理包含大量新闻的新闻分类。Jian[3]提出的BOLS- SVM算法对于在线预测任务特别有用,这类方法在过去取得了显著的成果,然而性能却依赖于复杂的人工规则和特征工程。为解决该问题,研究者们采用深度学习进行文档建模,笱程成等[4]使用循环神经网络(Recurrent Neural Network,RNN)预测社交消息,通过记忆获取到的语义信息,可以捕捉到更广范围的特征信息,这些深度网络模型在训练过程中关注训练目标的特征信息,较传统方法而言取得了更好的效果。Tang 等[5]改进了门控循环神经网络实现文档建模来进行情感分析,通过双层Bi-GRU实现句间内在语义编码可以较好地捕捉句间语义信息。这些方法通常以句子作为输入,通过词向量关注训练目标的特征信息。然而,这种文档分类方法忽视了文档层级结构和上下文的语义关系。

因此,本文提出的文档表示算法主要是根据词句文档组成的层次关系,针对词句级联,从词到句通过Bert模型学习词向量中的语义信息,句到文档引入记忆网络获取句子之间的语义联系,实现文档分类。……

登录APP查看全文

猜你喜欢

语义分类模型
一半模型
分类算一算
重尾非线性自回归模型自加权M-估计的渐近分布
语言与语义
教你一招:数的分类
3D打印中的模型分割与打包
“上”与“下”语义的不对称性及其认知阐释
认知范畴模糊与语义模糊
语义分析与汉俄副名组合