APP下载

基于启发式规则的藏语重叠词抽取方法研究

2020-10-12才让卓玛

科学与信息化 2020年20期
关键词:规则

摘 要 文章利用网络爬虫方法对网络资源进行了归纳整合,建立了自用微型语料库。依据藏语字形特点搜集和归纳了重叠词规则,最后通过规则抽取,实现并完成藏语重叠词的抽取。抽取效果良好,具有较好的通用性。

关键词 语料库;规则;藏语;重叠词;抽取

引言

藏语重叠词作为藏语特殊的一类词,在句子中承担着重要的语法作用和语法手段。词的抽取是自然语言处理中的知识抽取的一种应用,如今被广泛运用于学术、医药学等领域。藏语文本语料的构建是藏文信息领域的一大基础性研究,语料的匮乏成了发展瓶颈。鉴于这样的背景下,本文提出了构建文本语料,规则抽取词的方法。经总结,抽取方法主要可以分为基于统计的方法[1],基于规则的方法和基于统计和规则相结合的方法,通常在实际应用中可根据面向数据源的不同选取不同的方法。

1语料库预处理

传统的语料库的语料大多来自书本、试卷等纸质文本扫描或打字,其效率较低,人工耗费巨大,随着互联网的发展,网络上海量的文本,为语料库建设提供了大量的文本资源,因此,基于网络文本的语料库应运而生。重叠词的抽取是在一定规模的语料库的基础上实现,构建语料库时除了已有语料外,网页正文的抽取也是首要选择。在对藏文网页进行大规模的网络爬虫后,为减少语料噪音和改善文本质量还对对藏语文本数据集进行预处理,初步达到预期效果。……

登录APP查看全文

猜你喜欢

规则
拼写规则歌
撑竿跳规则的制定
数独的规则和演变
依据规则的推理
善用首次销售规则
规则的正确打开方式
颠覆传统规则
让规则不规则
TPP反腐败规则对我国的启示
啦啦操2010—2013版与2013—2016版规则的对比分析