熊晗

（重庆工商职业学院软件教研室，重庆，400052）

1 研究背景

目前深度学习框架针对训练样本有较高的要求，常见的自然语言处理可以使用普通文本语料，比如bert可以使用预训练的词向量做fine-tune，但在一些特定领域，比如法律、公安、金融领域等等，有较多的专业名词，且标注语料通常不多，使用普通语料训练的词向量进行下游任务效果不佳，针对这些场景的自然语言处理，存在如下的一些问题：

(1)专业领域文本的内容少部分词语比较专业化，但又非常关键。使用预训练的词向量来做fine-tune，很可能没有很好的挖掘出专业词汇的信息特征，导致效果不好。

(2)针对部分短文本使用CNN、RNN这类依靠位置顺序关系的模型，可能对非连续性以及短距离的语义信息建模能力不足。

(3)文本数量巨大，针对模型训练需要大量的标注样本也是困难点之一。

近年基于图卷积神经网络在自然语言处理中的应用目前相关的研究内容主要为以下两种：①针对图卷积神经网络在自然语言处理中的综述。介绍图神经网络的核心思想，以及如何运用图结构表示语言模型，并如何将相关的自然语言处理任务场景结合起来。②基于图卷积神经网络的框架研究与改进，这部分文章，结合现实的自然语言处理实际问题，重点研究图卷积网络的构架改进以及自然语言的图表示模型。

通过研究调查，图卷积神经网络与自然语言处理结合已经有理论基础认证，并有部分实际工作。本文重点将结合图卷积神经网络的结构特点，并针对具有图结构关系的文本场景（比如社交评论，微博关注等等），提取文本之间的关系信息，提升自然语言处理任务效果。……