基于BERT-LEAM模型的食品安全法规问题多标签分类
2021-07-28郑丽敏乔振铎田立军
农业机械学报 2021年7期
郑丽敏 乔振铎 田立军 杨 璐
(1.中国农业大学信息与电气工程学院, 北京 100083; 2.食品质量与安全北京实验室, 北京 100083)
0 引言
近年来,食品安全问题频发,为了更好地维护消费者合法权益,人们越来越重视食品安全法规问题[1],因此,研究开发食品安全法规自动问答系统具有重要应用价值。然而,食品安全法规问题涉及管理对象、法规内容、法规约束以及法规管理项目等,内容丰富且复杂[2-3],所以,法规问题的有效分类成为实现法规问答系统的关键[4]。
在传统的分类方法中,每个样本示例只属于一个类别标记,即单标记学习[5]。文献[6]提出TextCNN模型,将卷积神经网络(Convolutional neural network, CNN)加入到自然语言处理任务中。随后,深度学习[7-12]的方法被广泛应用于单标签文本分类任务中,取得了非常好的效果。但国内外关于多标签文本分类问题尚处于研究阶段[13]。
在问答系统的问题分类中,文献[14-15]为深度学习在农业领域的文本分类提供了可行性的依据,但多为单标签分类,且对食品安全法规领域的研究与应用尚显不足。针对食品安全法规的相关问题,不同角度的分类往往涉及多个层次,每个层次同时包含多个类别。文献[16]提出LEAM网络模型,将文本分类的标签转换为语义标签向量,从而使分类任务转换为向量匹配任务。受该模型的启发,根据食品安全法规问题特点引入BERT[17]预训练模型,该模型以大量语料为基础,采用自监督学习方法,可以得到较好的特征表示。针对具体问题,使用BERT特征可以明确地表达该问题的词嵌入特征,因此,BERT可作为一个供其它方法迁移学习的模型,即特征提取模式。……
登录APP查看全文
