摘 要：本文在对日志分析的基础上，结合日志收集发展出来的新技术新方法，将日志进行结构化处理，依靠现在的大数据技术进行存储，利用更高性能的数据分析工具进行数据的梳理，建立数据仓库，直至通过数据仓库中的数据自动生成的图表和报表直接呈现给需要改进产品的产品经理、想要了解网站现状的BI部口、以及负责做决断的公司决策者。

关键词：大数据技术; 网站用户行为分析;Hadoop;Hive

1. 引言

随着互联网的飞速发展，互联网企业每天产生的日志高达数TB的数量级，如何高效且准确的从日志中提取网站运行的情况、PV、UV、活跃用户数量、活跃用户构成、用户喜欢的页面类型等等关键的数据信息，已经是目前世界上所有主流互联网企业所迫切解决的问题，我们想要更加详细的了解用户在网站上的行为记录，分析出用户对网站功能和内容的偏好等，来辨别高质量的用户和活跃的用户，维护好这些高质量和活跃的用户，才是促进整个企业的网站建设和个性化服务发展的根本动力，从而提升企业产品在整个互联网市场上的综合竞争能力。

2. 关键技术

自2008年google提出big data的概念以来，已经过去了10年，这10年中，大数据技术飞速崛起，hadoop相关技术作为时代的领军者己经被成千上万的企业所采用，一些大型的企业，Google、Apache、Yahoo、IBM、Amazon、Baidu、Alibaba、Tencent等等动辄部署数千台hadoop服务器来进行数据的存储、统计和分析。而在技术不断迭代更新的今天，又有大量的新技术在这个生态圈中……