藏文问句分类及关键词提取
2020-02-03洛桑嘎登仁增多杰索南尖措才让叁智布加
电子技术与软件工程 2020年6期
洛桑嘎登 仁增多杰* 索南尖措 才让叁智 布加
(1.西藏大学信息科学技术学院 西藏自治区拉萨市 850000 2.国家电网西藏电力有限公司 西藏自治区拉萨市 850000)
藏文自然语言处理经历了几十年的发展,现在已从原来的编码研究等基础研究慢慢步入词法分析、句法分析阶段。藏文问句预处理的研究,可以应用于藏文问答系统的设计,藏文舆论热点话题的追踪、藏文文本主题挖掘等研究。文本在原有研究基础上研究了。本文在原有的研究基础上主要实现了基于知识融合的藏文分词标注,基于疑问词的藏文问句分类和基于TextRank 的藏文关键词提取研究。藏文问句的分词标注研究主要参考文献[9][10]的内容实现。关键词提取主要方法有用语料训练关键词提取模型,依据模型对需要提取的文档进行关键词提取[1][2];无监督提取无需对语料标注,通过对候选词集使用一定的算法机制将关键词按重要性排序,主流的方法包括基于词频统计TF-IDF 模型[3][4]、基于主题LDA 模型[5][6]。
1 问句分词标注
藏文词汇以音节为基本单位,自动分词就是需要将连续的藏文音节序列组合成词序。藏文的词性标注任务是为藏文文本中的每一个词都标记上一个恰当的词类标记符,确定每个词的名词、动词、形容词或其他词类属性。藏文除了自身独特的语法特点还兼具汉藏语系的孤立语言特征和蒙古语、维吾尔语等黏着语特征,因而,结合藏文语言特征开展的分词标注研究,对其他少数民族语言的分词标注研究也具有很好的参考价值。……
登录APP查看全文
