搜索日志中中文人名自动识别
2015-04-21吕学强
中文信息学报 2015年3期
王 玥,吕学强,李 卓,舒 燕
(1. 北京信息科技大学 网络文化与数字传播北京市重点实验室,北京 100101;2. 北京拓尔思信息技术股份有限公司,北京 100101)
搜索日志中中文人名自动识别
王 玥1,吕学强1,李 卓1,舒 燕2
(1. 北京信息科技大学 网络文化与数字传播北京市重点实验室,北京 100101;2. 北京拓尔思信息技术股份有限公司,北京 100101)
搜索日志中人名识别一直是日志挖掘中的一个重点和难点,其结果好坏直接关系搜索引擎的检索效率和准确率。由于分析了长文本中人名识别方法在搜索日志中使用存在很多困难与不足,因而该文提出了一种在搜索日志中识别中文人名的方法。该方法将搜索日志中人名内部用字的概率特征引入条件随机场,再根据搜索日志的特点计算人名可信度提取搜索日志中的中文人名。在搜狗查询日志上进行实验,正确率平均达到了81.97%、召回率平均达到了85.81%,综合指标F值平均达到了83.79%。
人名识别;搜索日志;条件随机场;可信度
1 引言
近几年,随着互联网的飞速发展,搜索引擎的地位也在不断的上升,对于搜索日志的研究也逐渐成了学术界的热点问题。搜索日志中命名实体识别一直是日志挖掘中的一个重点和难点,其结果好坏直接关系搜索引擎的检索效率和检索准确率。命名实体识别主要包括: 人名、地名、机构名等实体。从近几年Dou Shen、Javier Artiles、张磊[1-4]等人的研究来看,人名在搜索引擎的查询结果中占很大的比例,如果能从搜索日志中自动挖掘出人名实体,那么就能够获得大量具有时效性和实用性的信息。……
登录APP查看全文
