来学伟

（三门峡职业技术学院 信息传媒学院，河南 三门峡 472000）

0 引言

近年来，随着社会的不断发展，海量数据的挖掘和运用越来越引起人们的重视，而互联网是面向全社会的公众平台，逐渐成为了最便捷最有效的信息收集的渠道，随着大数据技术越来越受到人们的关注，从互联网平台上收集到的信息为基于大数据的统计和挖掘提供了极大的便利[1]。

基于大数据技术进行的数据挖掘在企业决策中越来越受到重视。比如可以通过对某网站平台的日志信息进行统计分析，进而获得该平台的每日访问数量，进一步分析出该网站平台受广大网民的欢迎程度；也可以对某APP应用在某段时间内的下载次数进行统计分析，得到该APP所受欢迎的程度。甚至可以对其进行更深一步的分析挖掘，比如对下载的方式、时间段以及区域做进一步的数据分析挖掘，这样就可以为企业的推广、运营、分析及决策给予有效、可靠的参考数据[2]。

1 系统架构设计

在大数据开发中，首要任务是明确分析目的，即想要从大量数据中得到什么类型的结果，并进行展示说明[3]。明确了分析目的后，我们才能准确根据具体的需求去过滤数据，并通过大数据技术进行数据分析和处理，最后把经过分析的结构以图表文字各种可视化的形式展示给客户，利于客户做出正确的决策。

我们使用Flume来采集网站平台的Nginx服务器上的日志数据文件到分布式文件系统 HDFS中去，接着依据……