基于词向量与可比语料库的双语词典提取研究
2018-03-06柳路芳周凌寒
计算机工程与科学 2018年2期
柳路芳,李 波,陈 鹏,周凌寒,王 兵
(1.华中师范大学计算机学院,湖北 武汉 430079;2.北京吉威时代软件股份有限公司,北京100043)
1 引言
随着世界经济一体化的持续推进,不同国家和地区的人们交流日趋频繁,跨语言交流中的语言不通问题亟待解决,而传统的语言学习、翻译方式越来越不能适应当今快节奏的生活。在这样的背景下,利用计算机技术来进行跨语言自然语言的自动处理研究变得愈发重要和有价值。在跨语言自然语言处理应用中,双语词典是一项基本资源,具有极其重要的作用。传统的人工方法或基于平行语料库构建双语词典的方法开销较大,且构建的双语词典在时效性和完整性方面不甚理想。近年来,使用计算机技术自动提取双语词典得到了许多研究人员的关注[1]。
一般而言,双语词典提取方法按照所使用的语料库类型进行划分,可以分为以下两类:
第一类为基于平行语料库的方法。该方法将平行语料库作为语料资源,利用平行语料库中的文档对齐信息来进行双语词典提取[2],平行语料库有高质量的互译信息,故在构建双语词典的过程中具有较好的提取效果。但平行语料库存在构建困难的不足,目前平行语料库仅存在于少数语种和领域中,严重影响了该方法的推广使用[3]。
第二类为基于可比语料库的方法。可比语料库中含有大量交叉却又非严格互译的信息,这些互译词语基本出现在语义相近但语言不同的上下文环境中,这也是该抽取方法的基础[4,5]。……
登录APP查看全文
