汉语词汇分词研究
2015-05-30张慧芳
商 2015年34期
张慧芳
摘要:汉语分词是从动态的信息中检索出符合用户个性化需求的词汇理论,它能为用户提供及时、个性化的信息服务。笔者探讨了汉语词汇分词在网络信息检索中的应用,提出隐式分词词典,该词典在汉语文本输入的同时进行分词联想,更好的解决了中文信息处理中需要分词的问题。
关键词:汉语;分词;检索;隐性词典
信息技术时代,从网络中学习知识和发布相关信息的人越来越多的人,互联网信息技术发生了前所未有的爆炸式发展,这种变化在给用户带来方便的同时,也让用户陷入信息泥潭。如何更加准确、快捷地帮助用户寻找其感兴趣的信息,如何提高检索质量和检索精度,将会成为“互联网 +”时代研究人员逐渐关注的焦点。汉语分词正是用来从动态的信息流中抽取出符合用户个性化需求的信息,从而为用户提供及时、个性化的信息服务。汉语分词的准确性直接影响到搜索结果是否符合用户的目标需求。
近几十年来,分词技术取得可观的研究成果,但在用户提取信息时效果还是不尽人意。本文提出了建立隐式分词词典的设想,该词典进行中文文本输入的同时后台程序进行分词联想,并将文本以相关词串的形式储存在计算机。我们期待这种方法能很大程度上解决中文信息处理中需要分词的问题。
一、现存的分词方法及其局限性
1.现有的分词方法
自动分词作为自然语言处理的前处理阶段事关重大,它是各种汉语信息处理包括语音处理、主题词检索、词频统计、文摘生成等工作的基础工程,也一直是制约中文信息处理飞跃的“ 瓶颈” 之一。……
登录APP查看全文
