滕长青

（黑龙江省电信公司，哈尔滨 150000）

1 引言

目前，大数据作为最先进的计算机应用技术之一，已经得到了许多学者的研究和追踪，并且在应用中引入了很多先进技术，比如企业服务总线、MapReduce、虚拟化和人工智能等，这些都可以提高大数据在能源、金融、工业、教育、旅游、军事、航天等领域的普及性，大数据已经上升到了国家战略，也得到了国家法律政策、经济政策、人力政策的支撑，因此未来将会实现多平台建设，进一步提高大数据服务能力[1]。

2 大数据平台建设应用现状

大数据平台已经在许多领域得到广泛应用，取得了显著的成效。大数据平台建设包括以下几个关键组成部分，分别是选择平台操作系统、构建Hadoop 集群、数据整合和预处理、数据存储、数据挖掘和分析，进一步提高了大数据应用效能[2]。

（1）选择平台操作系统。目前常用的操作系统包括RedHat、Centos 或者Debian，这些都可以作为底层平台操作工具，具有较强的可扩展性，能够支持数据处理。

（2）搭建Hadoop 集群。Hadoop 是一个软件平台，其可以运行大数据处理软件，最核心的技术为MapReduce，能够将大量的计算机组成一个集群，实现海量数据分布式计算。Hadoop 吸引了很多商业公司研发和设计，已经构建了各种开源组件，包括Sqoop、Hbase、和Spark 等。

（3）数据整合和预处理。大数据集成的资源非常多，比如文件日志、关系数据、对象数据等，这些有结构性数据也有非结构性数据，因此在把数据整合在一起时需要进行预处理，以便能够利用企业服务总线进行通信传输，提高数据的一致性和可靠性。……