罗少伟

（四川大学计算机学院，成都 610065）

卷积神经网络在关系抽取中的应用研究

罗少伟

（四川大学计算机学院，成都 610065）

自2006年Hinton提出新的神经网络学习算法以来，卷积神经网络（CNN）在图像识别、语音识别等领域取得巨大成功,引发一股深度学习热潮。伴随着基于海量文本的词向量表示技术的进步，卷积神经网络逐渐在自然语言处理领域取得超越传统机器学习算法的识别效果。综述CNN在关系抽取领域的最新研究成果，介绍其发展历程、基本框架，并对CNN在该领域的发展方向进行总结和展望。

卷积神经网络；词向量；关系抽取

1 卷积神经网络模型

卷积神经网络是一种重要的前馈神经网络模型，它通过卷积操作提取输入的更高维度特征，在图像识别和语音识别领域都取得巨大成功。理解卷积神经网络的关键在于局部感知、权值共享和池化三个概念：局部感知受启发于生物学里面的视觉系统结构，视觉皮层的神经元就是局部接受信息的，我们只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。这种特征提取的过程类似自下而上的方法，一层层接收局部的输入，最后不断聚合；权值共享通过局部相邻区域使用相同权重的方法大幅减少卷积神经网络参数数量，降低了模型复杂度；池化操作通过对卷积结果的聚合统计，提取出最显著的影响因素，降低了模型复杂度，同时提高了模型的泛化能力。

从模型结构上说，一个最简单的卷积神经网络应包括四个部分：卷积层、池化层、全连接层、分类层。……