搜索引擎日志中“N+V”和“N1+N2+V”型短语自动识别
2012-10-15赵红改吕学强施水才
中文信息学报 2012年5期
赵红改,吕学强,施水才,郑 丽
(北京信息科技大学 中文信息处理研究中心,北京100101)
1 引言
研究用户行为,挖掘用户兴趣和目的是当前各搜索引擎公司关注的热点。文献[1]利用搜狗(Sogou)2007年3月的查询日志,使用词性标注方法,对搜索引擎查询式的词性和查询句法进行了分析,得出高频词性标注结果的分布特征。发现用户在查询中以使用名词为主,动词为辅,鲜有其他词类出现在高频词性标注结果中。基于以上理论,本文利用条件随机场模型,实现对搜索引擎日志中的“N+V”和“N1+N2+V”型短语的自动识别。
基于短语的自动识别研究一般都是通过基于统计和规则的方法来实现的。文献[2]根据介词短语边界的分布特点,提出了基于词性的三元边界统计模型,又根据介词短语的远距离修饰关系加入了规则方法,对汉语介词短语进行了自动识别。文献[3]利用条件随机场使用不同的语料,基于复杂特征的特征模板和增加语言学特征的特征模板,在含有嵌套的联合结构、无嵌套联合结构和最长联合结构语料上进行了实验,实验结果表明这种方法对有标记联合结构的识别是可行的。本文在前人的研究基础上,利用条件随机场模型来识别搜索引擎日志中“N+V”和“N1+N2+V”型短语,得到了比较满意的结果,这为搜索引擎用短语词典的构建和提高搜索引擎的检索准确度提供基础研究服务。
2 条件随机场模型
条件随机场模型是一种用于标注和切分的序列化标注模型,它是Lafferty在最大熵和隐马尔科夫模型的基础上,提出的一种判别式概率无向图学习模型[4]。……
登录APP查看全文
