EM算法在神经机器翻译模型中的应用研究
2020-09-02杨云王全
计算机应用与软件 2020年8期
关键词:模型
杨 云 王 全
(陕西科技大学电子信息与人工智能学院 陕西 西安 710021)
0 引 言
随着机器学习技术的发展,自然语言处理的多个领域取得了重大突破。机器翻译作为该领域的核心应用,主要研究如何利用计算机实现不同语言之间的相互转换[1-2]。海量数据与深度学习技术的结合催生了神经机器翻译,其在语料丰富的语种上可以取得非常好的结果[3]。然而,性能比较好的机器翻译系统,包括统计机器翻译系统和神经机器翻译系统,都严重依赖于大量的平行语料[4]。
为了缓解数据稀缺的难题,文献[5]提出了一种基于共享语义表示的多任务学习方法来扩展源语言。文献[6]借助中间语言的思想,提出了一种多对一的翻译机制。这些方法缓解了数据稀疏问题,但同时使得模型过于复杂,训练代价过高。文献[7-8]提出了一种通过在输入端引入标签的方法来训练翻译模型,虽然提高了训练效率和翻译性能,但仍然面临数据稀缺的难题。文献[9]从有限的平行语料出发,通过优化语料的方法,额外地生成中间语,以改进机器翻译的性能,但这种方法需要具备特定的领域知识,困难较大。文献[10]提出了一种增量式自学习策略的多语言翻译模型,通过自动生成伪双语数据来缓解数据稀缺难题,但伪双语数据可能存在噪声问题,影响翻译质量。
本文针对机器翻译研究过程中,双语平行语料稀缺的难题,提出一种联合EM算法进行模型训练的方法。通过联合EM优化方……
登录APP查看全文
