宋莹，沈奇威，王晶

（1 北京邮电大学网络与交换技术国家重点实验室，北京 100876；2 东信北邮信息技术有限公司，北京 100191）

1 引言

随着Internet的迅猛发展，Web上的信息急剧膨胀，而其中蕴含的信息未能得到充分的挖掘和利用。因此，Web数据挖掘成为数据挖掘技术研究的热点。Web数据挖掘主要分为3类：Web内容挖掘（Web Content Mining），Web结构挖掘（Web Structure Mining）和Web日志挖掘（Web Usage Mining）[1]。

Web日志挖掘就是对用户访问Web时的访问记录进行数据挖掘。通过分析和研究日志的规律, 实现聚类、分类、关联规则、序列分析等Web日志挖掘算法[2]。

Web日志挖掘过程一般分为3个阶段[3]：预处理阶段、挖掘算法实施阶段、分析阶段。数据预处理的目的就是将原始日志经过处理形成用户的会话文件，为挖掘算法实施阶段作好数据准备。作为整个挖掘过程的基础和实施有效挖掘算法的前提，数据预处理环节非常关键。

Web日志包含了丰富和动态Web页面的访问和使用信息，这为Web日志挖掘提供了丰富的资源。但是如何对Web日志进行高效可靠的数据预处理具有极大的挑战性[4]。

Hadoop是Apache下的一个开源分布式计算平台，它提供简单的编程模型，对大量数据进行分布式处理。Hadoop一般运行在由大量普通计算机组成的集群上。Hadoop框架的核心是分布式文件系统HDFS和Map/Reduce。HDFS创建数据块的多个副本，并将其分布存储在集群的数据节点（Data Node）上，实现可靠而快速的计算。Map/Reduce是一个用于大数据量并行计算的编程模型，同时也是一种高效的任务调度模型，它将一个计算任务分成很多细粒度的子任务，并在空闲的处理节点（Task Tracker）之间进行调度，使处理速度快的节点处理更多的任务[5]。……