APP下载

基于深度学习的双语词典构建方法研究

2021-08-19李祥祥石刚

现代计算机 2021年21期
关键词:单词语言英语

李祥祥,石刚

(新疆大学信息科学与工程学院,乌鲁木齐830046)

0 引言

随着科技的发展,特别是互联网技术的普及,人们之间的距离越来越近,真正做到了“天涯若比邻”。远隔天涯的人们可以很方便地通过互联网交谈,了解对方的近况。伴随着全球化的不断迈进,世界各国之间的政治、经济、文化交流与融合也越来越密切,各国民众对于互相交流的意愿也越来越强烈,但是语言不通是极大地障碍,怎么让说不同语言的人无障碍的交流是自然语言处理的初衷。

双语词典是一种基本的资源,其在跨语言自然语言的很多工作中都起到了非常重要的作用[1]。传统的人工构造双语词典的方法有很多弊端,如人工成本较高、时效性不好且语言和领域的覆盖度方面不理想等。随个各个国家、各个民族的交流日益密切,每种语言都在不断的出现新的词汇,一个不能实时更新的双语词典很难满足跨语言自然语言处理的任务,如何更加实时且高效地构建双语词典成为了研究人员的一个重要课题。许多研究人员开始着手研究如何利用深度学习的方法自动完成双语词典的构建。

本文基于此背景,研究出了一种基于深度学习神经网络的双语词典构建方法。通过网络爬虫技术爬取汉英双语新闻网站、汉英翻译网站的数据,作为本文所用汉英语料。将汉英语料中语句分割成一个个词语(分词处理);分别设计了汉语和英语的停用词表,用于去除汉英语料中出现频率很高但没有实际含义的功能词(介词、冠词、代词等);……

登录APP查看全文

猜你喜欢

单词语言英语
语言是刀
看图填单词
让语言描写摇曳多姿
看完这些单词的翻译,整个人都不好了
读英语
我有我语言
酷酷英语林
单词拾趣