李力沛 罗颖

（1. 长江师范学院数学与计算机学院， 重庆 408100； 2. 中冶赛迪技术股份有限公司）

摘要： 为了更好地向用户提供个性化的Web检索服务，实现了一种改进的个性化词典的生成算法——IGAUPD，用于在用户浏览的大量兴趣网页中挖掘出真正符合用户兴趣的词语，以此缩小传统词库的容量，使得在用户兴趣建模时，能更快更准确地形成兴趣网页的特征描述，并更好地支持个性化检索。IGAUPD算法采用新的词权计算公式IWTUPD，以更好地描述词语在网页集中的重要性，有效排除频繁词。最后，用实验验证了由IGAUPD算法生成的个性化词典的优势。

关键词： 个性化词典； 频繁词； 用户兴趣建模； 二级向量； Web检索服务

中图分类号：TP391.3文献标志码：A 文章编号：1006-8228（2012）11-01-03

Research and implementation of personalization dictionary for web retrieval service

Li Lipei1， Luo Ying2

（1. College of Mathematics and Computer Science， Yangtze Normal University， Chongqing 408100， China； 2. CISDI）

Abstract： For the sake of providing better personalizing service of web information retrieval for users， an improved generating algorithm of user personalizing dictionary has been accomplished in the paper， which can be used for mining the terms which can tally with interests of users truly from a mass of web pages that browsed by users， resulting in narrowing the size of traditional dictionary， helping to generate the feature description of interested web pages more quickly and accurately， and supporting the personality retrieval better. The importance of words in the web pages is better described and frequently-used words are excluded more efficiently in the IGAUPD， in which a new formula about the weight of words named IWTUPD has been used. Finally， some experiments have proved the advantages of the user personalization dictionary created by IGAUPD.

Key words： user personalization dictionary； frequently-used word； double vector； user interests modeling； the service of web information retrieval

0 引言

近十几年来，因特网上的各种信息呈指数级的速度增长，使得互联网用户想要快速找到其真正所需要的信息或资料越来越困难。因此需要针对每个用户提供个性化的检索服务，以解决因特网中信息的多样化与用户需求的专一化之间的矛盾。

提供个性化的Web检索服务，首先需要掌握每个用户特有的兴趣，即对用户的兴趣进行建模，形成针对某特定用户的兴趣描述文件。网页文本的分词及特征提取在大多数用户兴趣建模系统中占有重要地位，如文献[2]采用基于遗传算法的BP神经网络系统学习用户兴趣，其学习模型包括三个模块：页面处理、兴趣提取和兴趣更新，其中页面处理模块就包括了中文分词。文献[3]提出一种基于主成份支持向量机的网页自动分类方法进行建模，首先还是对网页进行分词及特征提取。……