基于注意力机制的农业文本命名实体识别
2021-02-01赵鹏飞赵春江吴华瑞
农业机械学报 2021年1期
赵鹏飞 赵春江,2 吴华瑞 王 维
(1.山西农业大学工学院, 太谷 030801; 2.国家农业信息化工程技术研究中心, 北京 100097;3.北京农业信息技术研究中心, 北京 100097)
0 引言
随着农业信息化技术的快速发展,农户可通过农技服务平台进行在线问答咨询。面对海量的问题数据,快速而准确地定位关键词、挖掘深层的语义关系是农业智能问答系统亟需解决的问题[1]。农业命名实体识别作为一种智能化信息抽取方法,其主要任务是从非结构化的问答数据中识别不同类型的实体,如农作物病虫害、作物品种、农药名称等,这是构建智能问答系统的关键技术环节,是农业文本信息挖掘领域的热点研究方向。
在农业领域,许多研究者利用机器学习进行实体识别研究。文献[2]提出基于条件随机场的识别方法,通过添加词性、左右指界词等模板特征,对农作物、病虫害及农药3类实体进行识别。文献[3]采用BIO和BMES两种实体标注方式,基于CRF模型对数据集中农作物、家禽、病虫害等实体进行识别。文献[4]将农业本体概念作为子特征加入CRF模型中,对涉农商品名称进行抽取和类别标注。但是,传统的基于机器学习的方法依赖手工设计的特征模板,在提高模型性能的同时也导致整个模型的鲁棒性和泛化能力下降[5]。
农业实体构词复杂、种类众多,导致农业领域实体识别研究更具有挑战性,主要体现在:由于缺乏规范的农业词典,采用分词工具对农业语料进行分词出现分词错误的现象,影响了模型性能;……
登录APP查看全文
