基于静态路由分组胶囊网络的文本分类模型
2021-12-29朱海景盛钟松陈贵强
四川大学学报(自然科学版) 2021年6期
朱海景, 余 谅, 盛钟松, 陈贵强, 王 争
(四川大学计算机学院, 成都 610065)
1 引 言
文本分类是自然语言处理中至关重要的一步,其目的是利用非结构化的文本数据来归纳信息[1].早期的文本分类方法是通过人工设计特征,然后用机器学习方法进行分类.但随着深度学习的深入研究,神经网络等被大量用于文本分类,并且能够自动获取文本特征,分类效果更好.
胶囊网络是一种新兴的神经网络结构,该结构的特点是能在小数据集中提升分类准确率.胶囊网络模型是2017年由Sabour等[2]在NIPS上首次提出的神经网络模型,类似于卷积神经网络,在图像领域获得了很好的效果.Ding等[3]采用分组反馈胶囊网络,利用分组胶囊获取局部信息并共享权重矩阵以减少参数,用反馈方式的网络模型预测胶囊来提高应对复杂数据环境的适应能力.Zhao等[4]将胶囊网络引入到文本分类领域,也取得了不错的性能.近年来,随着对胶囊网络研究的不断深入,其改进方法也越来越多,但主要集中在两个方面:(1) 是提升胶囊质量;(2) 是改进路由规则减少网络参数[5].本文通过对胶囊进行分组,以提取更有价值的文本信息,减少冗余信息,达到提高胶囊质量的目的;同时,利用静态路由机制[6],去除动态路由中的耦合系数[2];采用胶囊压缩[7]操作,减少了网络参数.为此我们提出了CapsNet-GSR文本分类模型.
本文的主要贡献有三个方面:(1) 将分组胶囊网络应用到文本分类中,验证了该方法在文本分类领域的有效性;……
登录APP查看全文