基于词向量的藏文词性标注方法研究
2017-04-26郑亚楠
中文信息学报 2017年1期
郑亚楠,珠 杰,2
(1.西藏大学 计算机科学与技术系,西藏 拉萨 850000;2.西南交通大学 信息科学与技术学院,四川 成都 610031)
基于词向量的藏文词性标注方法研究
郑亚楠1,珠 杰1,2
(1.西藏大学 计算机科学与技术系,西藏 拉萨 850000;2.西南交通大学 信息科学与技术学院,四川 成都 610031)
藏文词性标注是藏文信息处理的基础,在藏文文本分类、自动检索、机器翻译等领域有广泛的应用。该文针对藏文语料匮乏,人工标注费时费力等问题,提出一种基于词向量模型的词性标注方法和相应算法,该方法首先利用词向量的语义近似计算功能,扩展标注词典;其次结合语义近似计算和标注词典,完成词性标注。实验结果表明,该方法能够快速有效地扩大了标注词典规模,并能取得较好的标注结果。
词向量;藏文;词性标注
1 引言
藏文信息处理起步于20世纪80年代,经过三十多年的发展,已取得一些令人瞩目的成绩。但由于缺乏统一标准,词处理技术尚不够成熟,加上藏文语料严重匮乏,其研究一直进展缓慢。藏文词性标注作为藏文信息处理中一项重要的基础性工作,其标注效果直接制约着藏文信息处理技术的发展,并对藏文词法分析、句法分析和语义分析等研究领域有很大影响。虽然藏文信息处理研究在技术上充分利用已有的国内外先进的处理方法,但其基础语料资源相对贫乏,各研究单位公开的语料较少且多为未标注语料,应用价值非常有限。因此,针对藏文词性人工标注费时又费力的问题,本文提出了一种基于词向量模型的词性标注方法。……
登录APP查看全文
