基于CRFs的哈萨克语名词短语自动获取
2016-01-19孙瑞娜a新疆财经大学a统计与信息学院社会经济统计研究中心乌鲁木齐830012
图书馆理论与实践 2015年8期
●孙瑞娜a,b(新疆财经大学a.统计与信息学院,b.社会经济统计研究中心,乌鲁木齐 830012)
基于CRFs的哈萨克语名词短语自动获取
●孙瑞娜a,b(新疆财经大学a.统计与信息学院,b.社会经济统计研究中心,乌鲁木齐830012)
[关键词]哈萨克语;名词短语;互信息;条件随机场
[摘要]基于哈萨克语文本语料特点,分析名词短语构成规则,结合互信息(MI)知识,建立了哈萨克语名词短语特征模板,利用条件随机场(CRF)模型实现哈萨克语名词短语自动获取。实验表明,哈萨克语名词短语获取正确率达到95.2%,获取性能高于基于规则、基于规则与互信息结合的抽取方法。
随着web2.0的迅速发展,互联网成为民众获取信息的重要来源,同时也是人们传播信息和表达观点的重要渠道。民众通过网络平台对国家政策或突发事件发表意见,及时对这些评论信息进行有效处理分析,可以帮助决策者了解社情民意。
网络评论文本由句子组成,表示句子语义的主要成分是主语、谓语和宾语。在进行评论文本主题识别时,主语和宾语是识别文本主题的关键因素,而主语和宾语的用词中名词和名词短语是语义表达的主题,也是评论文本主题识别研究中的一个重要特征。本文结合哈萨克语名词短语构成规则,以互信息(MI)为工具,利用规则和条件随机场(CRF)结合的方法,针对哈萨克语评论文本中名词短语的自动获取,辅助后期进行哈萨克语网络舆情分析中web评论文本主题识别的研究工作。
1 需求及技术思路
1.1研究现状……p>
登录APP查看全文
