基于BERT 模型的安全生产事故多标签文本分类
2021-11-03吴德平王晓东
吴德平,时 翔,王晓东
1. 江苏安全技术职业学院网络与信息安全学院,江苏 徐州221011;2. 常州工学院计算机信息工程学院,江苏常州213002;3. 徐州市广联科技有限公司,江苏 徐州221116
安全生产管理是一项复杂而极其重要的工作,对安全生产事故全面剖析和研究十分必要。安全生产中的事故伤害可分为事故类别、伤害方式、不安全行为和不安全状况,利用自然语言处理(natural language processing,NLP)技术对安全生产事故及原因分类,为安全生产监管、事故隐患排查和分析奠定基础,对进一步强化安全生产指导具有重要意义。
以往文本分类通过利用稀疏词汇的特征来表示文本,再用线性模型进行分类。近年来,主要是采用深度学习得到文本的特征表示,如利用word2vec 模型学习文本中词向量的表示,得到文本的语义表示实现文本分类[1]。 又如利用TextRank 算法把文本分割成若干组成单元,构建节点连接图,用句子之间的相似度作为边的权重,通过迭代计算句子TextRank 值,抽取排名高的句子组成文本摘要[2]。采用长短时记忆网络(long short-term memory networks,LSTM)实现分类。
2018 年google 推出的基于转换器的双向编码表 征(bidirectional encoder representation from trandformers,BERT)模 型 在MultiNLI、SQuAD、SST-2 等11 项NLP 任务中取得卓越的效果。BERT 模型在大规模语料库或特定领域的数据集上通过自监督学习,进行预训练以获得通用的语言表示,在下游任务中进行微调完成相应的任务。BERT 模型的缺点之一是使用词向量表示文本内容时,最大维度为512。当输入文本长度小于512时,模型性能良好。BERT 是句子级别的语言模型,该模型能获得整句的单一向量表示。……
