融入BERT的企业年报命名实体识别方法
2021-03-02张靖宜贺光辉刘亚东
上海交通大学学报 2021年2期
张靖宜, 贺光辉, 代 洲, 刘亚东
(1. 上海交通大学 电子信息与电气工程学院, 上海 200240; 2. 南方电网物资有限公司, 广州 510641)
命名实体识别作为自然语言处理领域中的一项重要技术,与关系抽取[1]、事件抽取[2]、问答系统等其他自然语言处理任务的基础相关.其主要负责准确、自动识别指定语料中实体(专有名词或有价值的短语)的边界并划分实体类别.对企业年报进行命名实体识别可获得企业的基本信息和财务数据,为企业评价系统提供数据支撑,有助于企业掌握行业发展现状和趋势、规划发展方向、评估合作伙伴等.因此,准确识别企业年报中的命名实体是建立企业评价系统的重要途径.
目前,命名实体识别方法包括:基于规则和字典、统计机器学习和深度学习.其中,基于规则和字典的方法需要手动建立知识库和字典,耗时长且移植性差.基于统计机器学习的方法应用较广泛,如隐马尔科夫模型(HMM)、条件随机场(CRF)、最大熵模型(ME)等,但以上方法需要人工设定特征模板,对语料库的依赖性较大且对特征选取要求较高.与基于统计机器学习的方法相比,基于深度学习的方法能自动获取语料特征,命名实体识别的性能更好.由于命名实体的标签之间的依赖关系较强,所以Huang等[3]将双向长短时记忆网络(BiLSTM)和CRF结合,所得模型能够利用过去和将来的信息更好地挖掘上下文关系.Chiu等[4-5]将BiLSTM和卷积神经网络(CNN)结合,所得模型能够更好地利用前、后缀的字符级特征……
登录APP查看全文
