赵 鑫

（辽宁行政学院人事处，辽宁 沈阳 110161）

1 数据仓库和Web

互联网极大地促进了商业的发展，每个电子商务企业都有自己的Web入口和后台系统，用户在网站页面上产生一个订单时，Web和后台系统就发生一次交互，交易请求数据被存在后台数据库中，对于这类结构化的数据，使用Hadoop Hive的HQL即可实现数据的清洗。每当用户在页面进行点击而跳转到另外一个页面时，一条点击流日志就产生了，如图1所示。点击流日志是了解用户心理倾向的关键，通过它企业能够更好地理解产品及营销，但点击流日志是非结构化数据，不能直接被用于分析，它记录了很多不需要的信息，将这些信息装载到数据仓库前，必须对点击流日志进行数据清洗，粒度管理器能够完此项任务，粒度管理器主要完成清除无关数据，清除错误数据，记录合、汇总与聚集。经过这些处理，80%～90%的数据被粒度管理器抛弃，清洗后的数据被传递给数据仓库[1]。其工作流程如图2所示。

图1 Web和点击流

2 点击日志流数据清洗处理流程

点击流日志由日志收集服务器每天定期上传至分布式文件系统（Hadoop Distributed File System，HDFS）的指定目录，经过MapReduce作业清洗后输出至HDFS指定的目录，最后再由Hive将清洗后的数据加载到Clickstream_log表中指定的分区，完成点击流日志的数据清洗工作[2]。其流程如3所示。

图2 粒度管理器工作流程

图3 点击流日志的数据清洗处理流程

3 从点击流日志获取重要信息的字段构成

点击流日志数据的体量巨大，但价值密度很低，下面为一条标准的Apache服务器日志信息[3]。……