APP下载

基于关键词共现关联关系的跨语种文本检索研究

2017-05-02尹娜高湘韩进王小花黄晓鸣

安徽文学·下半月 2017年2期
关键词:文本

尹娜++高湘++韩进+王小花+黄晓鸣

摘 要:跨语种文本检索是在不同语种文献之间实现检索。本文基于语境思想,提出了一种新的以文搜文的跨语种检索方法。本文方法将用户提交的检索文本转换成关键词共现关系的数组,再通过平行语料库的关键词共现关系映射分布模型映射成其他语种的关键词共现关系矩阵,再使用该矩阵实现其他语种文献的检索。该方法通过关键词的共现关系分布统计,有效地解决了词翻译歧义、词意模糊等问题,具有较好的检索准确率。

关键词:关联关系 跨语种 文本 检索

★基金项目:该论文为2015年江苏省省级一般大创项目结题论文,项目名称:基于语境的日文情报检索与分类技术研究,项目编号:201510300060Y

一、引言

近年来,由于互联网技术的发展,网络中开放的文本资源呈爆炸式增长,单一语种检索的局限性越来越明显。能在不同语种中检索,获取多渠道多方面的信息成为互联网时代信息获取新的需求[1]。由此,跨语种检索的研究成为文本检索研究领域中新的热点。

跨语种检索研究目前主流的方法可以分成两类,一类是基于机器翻译理论,该类方法主要是基于机器翻译研究领域理论[2]实现的,有提问式翻译、文献翻译、中间语种转换等[3];另一类是基于语料库的统计方法[4],通过对平行语料库中文献的特性进行统计来实现跨语种检索。

本文提出的方法即属于第二类,但与其他跨语种检索方法不同的是,本方法基于语境思想,认为检索的关键词应放置于一定的语境下才能突出其真实的语义,因此提出以文搜文的检索方式,也即用户提交的不是关键字组合,而是包含关键字的文本。……

登录APP查看全文

猜你喜欢

文本
重点:论述类文本阅读
重点:实用类文本阅读
初中群文阅读的文本选择及组织
作为“文本链”的元电影
在808DA上文本显示的改善
“文化传承与理解”离不开对具体文本的解读与把握
基于doc2vec和TF-IDF的相似文本识别
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
从背景出发还是从文本出发
如何快速走进文本