李华旭

（广西民族大学电子信息学院 广西 南宁 530000）

1 引言

人工智能[1]（artificial intelligence）起源于20世纪50年代，是计算机科学研究的重点之一。目前，人工智能已经成为计算机科学领域不可或缺的一部分，其在科技领域也受到广泛重视，如机器人控制[2]、智能图像处理、轨道卫星定位等。

深度学习（deep learning）是人工智能的深层次理论。深度学习是通过训练数据参数来达到学习训练样本的内部规律以及样本的表示层次。深度学习的神经网络由输入层、隐藏层和输出层所构成。深度学习与普通的浅层次学习最大的不同就在于其神经网络的层数更深，通过对输入特征进行逐层地变换并向更深层次传播，这样就能够将特征从原空间转换到一个新的特征空间从而使数据分析更加容易，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，所以当模型更深时理论上可以取得更好的结果。

但更深的网络层数并不一定会有更好的性能，当网络深度不断增加时，网络的准确度就会出现饱和，甚至出现下降，即过拟合，为解决这一问题，何凯明提出了著名的深度残差网络[3]（deep residual network,ResNet）。由于ResNet对减轻深层网络退化有着重要作用，ResNet这一网络结构对后来的各种网络模型的构建都有着重要的影响。目前深度学习的主要研究方向有数字图像处理（digital image processing）和自然语言处理（natural language processing,NLP）等，后文将对自然语言处理方向的技术进行综述并对NLP相关技术进行说明。

2 自然语言处理

2.1 自然语言处理定义

自然语言处理（NLP）是一门用来分析人类语言以及对相关信息进行处理的人工智能方向技术。……