曾志浩+姚贝+张琼林+孙琪

摘 要：随着互联网发展带来的数据爆炸，使得Web日志的数据量也越来越大，如何从海量的Web日志中挖掘有价值的信息成为了目前研究的热点。本文提出了基于Hadoop集群框架对Web日志进行挖掘。实验结果表明，该集群系统既可以处理海量的web日志，同时也能够挖掘出有价值的信息，并证实了利用sqoop在Hive仓库和传统数据库之间数据迁移的可行性。

关键字：Web日志;Hadoop;Sqoop;Hive;数据迁移

中图分类号：TP391                         文献标识码：A

User Behavior Mining Based on Hadoop platform

Zeng Zhihao，Yao Bei， Zhang Qionglin，Sun Qi

（School of Computer and Communication， Hunan University of Technology， HuNan Zhuzhou  412000， China）

Abstract： As rapid development of Internet brings the data explosion，make web log data is becoming bigger and bigger， How from huge amounts of Web log mining valuable information become the focus of the present study.This paper presents based on the Hadoop cluster framework for Web log mining.Experimental results show that， this cluster system can processing massive web log data ，Also its can be mining valuable information. And confirmed the feasibility the data migration between Hive warehouse and traditional database by use sqoop.

Key  words ： Web log ; Hadoop ; Sqoop ; Hive ; Data migration

1 引言

互联网的快速发展，使得Web日志数据呈现出爆炸式的增长，这些海量的Web数据中蕴含了大量的信息，这些信息对企业而言是一笔巨额的财富，企业的发展需要这些数据提供更好的战略决策支持，因此对这些数据具有极大地挖掘需求;这使得从海量的Web数据中挖掘有用的信息成为了目前研究的热点，同时大规模的计算能力成为Web数据挖掘技术能否有效实现的外部需求[1]。

针对海量数据处理出现的技术问题，以Hadoop[2]为代表的新技术得到了国内外科技工作者的极大关注;Hadoop平台的最大优势是它实现了“计算靠近存储”的思想[3]，此思想省去了海量数据网络传输的这一大开销，大大减少了数据处理时间，同时其并行化的数据处理方式非常适用于处理海量数据。

针对Hadoop分布式处理海量数据的优势，国内外一些学者纷纷对Hadoop平台进行了相关研究，文献[4]基于Hadoop平台，实现了对Web数据的并行化处理，提高了数据运行处理时间;文献[5]通过基于Hadoop平台，设计了一个用于处理海量搜索日志的分析平台;文献[1， 6]基于Hadoop平台进行了Web日志挖掘实验，并证实了Hadoop平台的可用性。……