胡宏智 王华

安徽工业大学计算机学院 安徽 243032

0 前言

随着Web站点规模的扩大和复杂程度的提高，访问者对Web站点的要求也越来越高，要求它具有个性化，智能性。因此，简单的统计访问者所在的地区，统计站点的访问次数已经不能满足。Web日志挖掘是对用户在访问网站时留下的访问记录进行数据挖掘，利用数据挖掘的方法可以在海量的日志数据中自动快速的发现用户的访问模式，其结果可以用于改善网站的拓扑结构，发现相似客户群体，开展个性化的信息服务和有针对性的电子商务活动。

1 数据预处理

从Web服务器收集到的日志不能直接用于数据挖掘，还必须进行预处理。数据预处理一般分为数据清理、用户识别、回话识别、路径补充这几个过程。

1.1 数据清理

数据清理的目的是清除从服务器得到的日志中的不相关的数据，缩小被挖掘的数据对象的范围。本文使用的日志数据集与以往的日志数据集有所有不同，如图1所示，数据集中的字段都是挖掘所需要的，但是每一个记录都含有若干条记录，其中是以“|||”分割的，利用SQL语句可以把这些记录分离开，从而形成一条一条的记录，得到的数据集就可以用于下一步的数据挖掘。如图2所示。

图1 日志数据集1

图2 日志数据集2

数据清理的核心SQL语句：

select rowNum,d*,d2.* from cont c,table(str2list(c.ip,c.time,'|||')) d,table(str2list(c.page,c.lailu,'|||')) d2 where d.id = d2.id and d.str is not null

1.2 用户识别

如果数据挖掘的目的是进行用户访问模式的挖掘或对用户进行聚类分析，那么用户识别这一步骤相当重要。通常我们用一下的方式来识别用户：不同的IP地址代表不同的用户；……