何 力，郑灶贤，项凤涛，吴建宅，谭 林

（1.国防科技大学智能科学学院，长沙 410073；2.南方电网数字电网研究院有限公司，广州 510555；3.湖南天河国云科技有限公司，长沙 410073）

0 概述

文本分类技术经历了从专家系统到机器学习再到深度学习的发展过程。在20世纪80年代以前，基于规则系统的文本分类方法需要领域专家定义一系列分类规则，通过规则匹配判断文本类别。基于规则的分类方法容易理解，但该方法依赖专家知识，系统构建成本高且可移植性差。20世纪90年代，机器学习技术逐渐走向成熟，出现了许多经典的文本分类算法，如决策树［1］、朴素贝叶斯［2］、支持向量机［3］、最大熵［4］、最近邻［5］等，这些方法部分克服了上述缺点，一定程度上实现了分类器的自动生成，被广泛应用于各个领域。然而，机器学习方法在构建分类器之前通常需要繁杂的人工特征工程，这限制了其进一步发展。

2012年之后，深度学习算法引起了研究者的广泛关注。深度学习为机器学习建模提供了一种直接端到端的解决方案，可避免复杂的特征工程。GolVe［6］和word2vec［7］等词向量模型的提出，使深度学习算法成功地应用到文本处理领域，随后出现了各种基于深度神经网络（Deep Neural Network，DNN）的文本分类方法。这些方法主要采用卷积神经网络（Convolutional Neural Network，CNN）、循环神经网络（Recurrent Neural Network，RNN）和注意力机制等深度学习技术，并且取得了比传统方法更为出色的性能。近年来，图卷积网络（Graph Convolutional Network，GCN）、区域嵌入和元学习等一些新的深度学习方法也被应用于文本分类领域。

本文对……