中文分词在标准信息检索中的应用
2017-04-25张广庆朱登峰岳琪佳
质量探索 2017年1期
张广庆,朱登峰,岳琪佳
(1.青岛市标准化研究院,山东 青岛 266071;2.核工业计算机应用研究所,北京 100037;3.山东省青岛第五十八中学, 山东 青岛 266100)
中文分词在标准信息检索中的应用
张广庆1,朱登峰2,岳琪佳3
(1.青岛市标准化研究院,山东 青岛 266071;2.核工业计算机应用研究所,北京 100037;3.山东省青岛第五十八中学, 山东 青岛 266100)
本文介绍如何通过建立简易标准分词词典库,然后运用基于该标准词典库的正向最大匹配法、逆向最大匹配法和双向最大匹配法对输入的检索语句进行分词,最后依据这些分词检索标准的中文名称。
信息检索;标准题录;中文分词
近年来,随着“三证合一、一照一码”、“企业标准自我声明公开”等政策的逐步落实,标准专业机构纷纷打破原有的工作模式,加大了对标准在人员、资金、科研等方面的投入,带来了全新的标准服务模式,如浙江标准化院推出综合性标准服务平台和企业版标准信息管理系统,极大地方便了标准人员的工作。在这些标准服务平台和信息管理系统中,使用最多的功能是标准题录信息的检索,涉及中文检索的内容主要有标准中文名称、摘要和全文。
1 简易标准分词词典库的建立
中文中的词语是由汉字组成的最小的有意义的语句单位,词语之间没有明显的区分标记,而英文单词之间是以空格作为自然分界符。现代中文里,双音节词语占的比重最大,也有单音节词语,如口、厂、洗、染。中文分词是将连续的汉字序列按照一定的规范重新组合成词语序列的过程[1],主要应用于智能搜索领域,如百度、搜狗等网站的搜索功能。……
登录APP查看全文
