基于BERT-BiGRU模型的文本分类研究
2021-11-10王紫音
天津理工大学学报 2021年4期
王紫音,于 青*
(天津理工大学a.天津市智能计算与网络安全重点实验室,b.计算机科学与工程学院,天津300384)
近年来互联网和数字化技术高速发展,电子文本的数量呈现爆炸式的增长。如何从海量电子文本中提取有效信息并进行文本分类是本课题主要研究的内容。
现有的文本分类方法主要有两种:基于知识工程的方法和基于机器学习的方法。基于知识工程的方法是指依靠专家经验和人工提取规则进行分类的方法。基于机器学习的方法是指通过计算机学习,自主提取规则进行分类的方法[1]。常用的机器学习的方法有支持向量机、朴素贝叶斯、最近邻法、决策树法等,这些方法在分类效果和灵活性上都取得了一定的进步,但其泛化能力较差。目前最常使用的方法为深度学习的方法。深度学习是一种使用多个非线性转换结构的高阶抽象的算法。它使用词向量的表示方式,将文本表示为连续且稠密的形式,以更好地对文本进行表征。再利用卷积神经网络(convolutional neural network,CNN)、循环神经网络(recurrent neural network,RNN)等神经网络自动获取特征表达能力。与传统的机器学习模型相比,深度学习具有更好的泛化能力和可移植性,因此也更适用于文本分类任务。
1 相关研究
当前,对于中文文本的分类已经有了许多研究。刘学敬等[2]利用支持向量机分类中各种特征和资源,结合概率输出加权,提高分类精度。KIM[3]将CNN用于文本分类,使得文本分类的准确度得到了一定程度的提高。王煜涵等[4]提出了利用CNN进行推特文本情感分析的模型。……
登录APP查看全文
