陈强

摘要：当下我们已经进入了大数据时代，大数据与我们的日常生活息息相关。本文介绍了常见的大数据分析方法，大数据如何收集处理数据，以及大数据以直观有价值的信息呈现的可视化，最后本文分析了大数据发展过程中的机遇与挑战

关键词：大数据、数据可视化、大数据分析算法

一、大数据的介绍

随着社会的发展，如今我们已经进入了互联网时代，[1]图灵奖的获得者杰姆·格雷（Jim Gray）提出了著名的摩尔定律即每十八个月全球新增的信息量时有史以来所有信息的总和，我们在进入互聯网时代的同时也进入了大数据时代。在传统的生产方式下，数据的记录是通过人工记录下来的。人们进入信息时代后，数据的产生是自动化的。[2]大数据的产生伴随着4V+1C地特征。（1）数据量大（Volume）：存储数据的特别巨大，在大数据时代数据的数量级PB级是常态。（2）多样（Variety）：大数据时代数据来源不同于传统的数据收集，数据的来源多种多样数据的格式也非常多，除了传统地结构化数据之外，还有半结构化以及非结构化数据，此外，随着人类活动的扩展和科学技术的发展，数据的格式将会更加多样（3）快速（Velocity）：当下的数据增长速度非常快，并且越新的数据价值越大（4）价值密度低（Value）：大数据环境下收集的信息多种多样，有实际价值的数据比例较低，需要对收集的数据进行处理，通过数据分析处理挖掘数据中的价值，因此，在大数据环境下需要一种成本可接受的条件下，在通过分析和发现，从大量的数据中提取数据价值。……