崔昌云

大数据的发展和大数据平台的应用，使很多领域的工作发生了翻天覆地的变化。在智慧城市建設的各个方面中，均离不开对大数据平台的应用。通过应用大数据平台，可以更有效地整合各方信息资源，实现对海量数据的有效收集、监测、管理、分析、挖掘、共享及应用，从而充分发挥出信息资源的价值。

一、大数据及大数据平台简介

大数据是指规模巨大与类型复杂的数据的集合，它主要依托于计算机网络技术、信息技术、数字技术等高新科学技术，这些技术是实现大数据捕获、存储、分析、处理及预测等能力的基础。大数据具有鲜明的特征，例如其体量大（即数据规模庞大及数据增长迅速）、多样性（即数据类型繁多及数据构成复杂）、价值高、速度快（即数据处理迅速及数据时效性强）。大数据平台则是指大数据的应用和管理平台，它是以数据为核心的新一代信息平台。现如今，大数据平台已经被广泛应用到了各个领域当中，可以说它改变了世界，也改变了人们的生活与工作方式。

二、大数据平台主要涉及的技术

（一）平台体系架构

大数据平台是以数据为核心的新一代信息平台，利用它可以实现对各类数据信息的综合分析与处理。大数据平台不但能够对数据中蕴藏的各类影响和关联因素进行有效分析，同时还能够单独分析每项因素，以及对数据中的有利和不利因素进行剥离分析，从而大大提高数据的利用价值。在大数据平台的体系架构过程中，主要需部署的内容有：分布式数据库、分布式文件系统、分布式协调任务、资源管理器、数据仓库、计算引擎、作业调度等。……