一种基于深度学习的实体消歧技术
2022-01-13文万志姜文轩李喜凯吴雪斐
南通大学学报(自然科学版) 2021年4期
文万志,姜文轩,葛 威,朱 恺,李喜凯,吴雪斐
(南通大学 信息科学技术学院,江苏 南通 226019)
命名实体消歧在自然语言处理领域发挥着十分重要的作用,其目的是解决文本中实体歧义问题。一般而言,命名实体在文本信息传输过程中发挥着关键作用,但命名实体通常以简称的方式存在,这可能导致多个实体指向一个相同的实体名称,也就是所谓的实体歧义。实体消歧的任务就是将文本中的实体正确地链接到实体语义中。实体消歧作为自然语言处理领域的基础性研究,对后续的语言处理任务十分重要,相关任务包括:智能问答[1]、信息降噪[2]、人工智能翻译[3]等。
近些年,实体消歧技术在不断进步,其实用性、适用性和稳定性不断提高。目前,实体消歧技术包含了机器学习和通过维基百科构建的语料库[4]实现的大数据技术。邵发等[5]针对开放文本中中文实体关系抽取的一词多义问题,提出一种基于实体消歧的中文实体关系抽取方法。通过在知网中挖掘关系实体构建语料库,以贝叶斯分类的消歧模式构造对维基百科的映射关系,并使用模式合并的方式形成新模式的方法来获取较高的准确率。宁博等[6]提出了基于异构知识库使用分布式计算的层次聚类方法,并在维基百科中文语料库的基础上融合了百科知识库。在Hadoop 平台上用分布式计算进行层次聚类,研究人物实体特征的选取和维基百科等知识库的使用对命名实体消歧结果的影响。……
登录APP查看全文