海委数据中心云计算平台构建与思考

2016-09-24宗华丽

海河水利 2016年4期

宗华丽

海委数据中心云计算平台构建与思考

宗华丽

（海河水利委员会水利信息网络中心，天津300170）

针对海委数据中心节能、负载均衡、快速部署以及统一管理等应用需求和海委信息化系统的健康协调、可持续发展，结合云计算平台技术以及大数据应用技术，海委构建了由计算资源池、存储资源池和应用安全防护体系组成的云计算平台架构，并在此基础上进行大数据的资源整合，以解决海委数据中心发展中遇到的实际问题以及满足海委数据中心信息化的可持续发展。

云计算平台；大数据；信息资源整合

云计算能够实现基础设施的弹性自动化管理，按需分配合理的资源配置，简化信息化应用基础设施的部署与管理，缩短业务应用的上线周期，构建信息化云计算平台能够按照实际需求将网络、计算、存储和服务等信息资源进行整合，在云平台中可以按需对共享资源进行配置，对信息资源进行快速分配，通过网络接入云平台，用户能够按需求进行资源的预分配和访问，这是目前较为先进的计算机技术。大数据（big data），是指海量的无法用常用的工具进行采集计算的数据集合，它必须采用分布式的架构进行数据的挖掘和处理。大数据具有量大、高速、多样、价值大四大特点。

从技术上看，大数据与云计算是相互依存的，云计算为大数据提供技术平台，大数据的海量处理实现了云平台利用的最大化。大数据采用云计算平台的分布式处理，丢掉了传统的单台计算机处理数据的方式。它的特色在于挖掘海量数据，但它必须依托云计算而存在，分布式处理、云存储和虚拟化技术都是其依托的支柱。大数据与云计算的关系，如图1所示。

云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术还是通过google后来所使用的海量节点聚合型技术，它都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资源不足所带来的问题。大数据正是因为数据的爆发式增长带来的一个新的课题，包括如何存储如今互联网时代所产生的海量数据、如何有效地利用分析这些数据等。云计算所具备的弹性伸缩和动态调配资源、虚拟化技术、对用户透明性以及统一管理和调度的特性，成为解决大数据的重要基础支撑。否则，脱离了云计算的大数据将成为“空中楼阁”。

本文针对海委数据中心的实际需求，规划并构建了海委数据中心云平台架构。同时，随着海委水利信息化的发展，海委数据中心应用业务系统的分散性、专业性、部门性、系统性等边界的孤岛问题严重影响了系统效益的持续发挥，致使海委数据中心信息化系统以及应用数据的资源整合成为海委水利信息化发展中亟需解决的问题。

图1　云计算与大数据的关系

1　海委数据中心应用需求现状

随着水利信息化建设的加快，海委水利信息化事业得到了较快发展，海委数据中心也在各类信息化项目中配置了众多的硬件基础设备和网络设备以及各类软件系统，为海委信息化发展提供了强大技术支撑，同时也给海委数据中心的发展带来一系列问题。

1.1物理空间占据大，电量消耗大

海委数据中心目前拥有各类服务器设备、网络交换设备以及存储设备200余台，占用40余个服务器机柜和网络机柜，数据中心机房空间已基本饱和，给后续机房扩展带来瓶颈；同时，这些设备运行给数据中心带来巨大的电能消耗。这些现实情况迫切需要通过云计算平台技术对现有的存储设备、网络交换设备及服务器资源进行规整，淘汰上架运行时间长、性能较差的设备，减少老旧设备的电量消耗和空间占用。

1.2各类设备负载均衡差别大

海委数据中心的软硬件设备的项目来源、建设时间、建设环境不同，各设备间的负载悬殊较大，一些设备的负载已超过最大限额，而部分设备的利用效率很低、负载不足10％。负载较高的设备长时间超负荷运转很容易出现损坏，给系统运行带来无法预测的损失，而负载较低的设备运行又是一种极大的浪费。这就需要一个统一的平台来调度分配资源，以达到各个设备间的负载均衡，而云计算平台恰恰能够满足这一需求。

1.3系统部署和运维管理繁琐

海委数据中心的软硬件设备较多，存在目标单一、资源割据的现状，给日常管理和维护带来极大的不便。一个新应用系统部署需要众多的前期准备工作，如硬件上架、操作系统安装、网络资源分配、存储资源分配等；系统运行中出现故障时，网管人员需要花费较多精力分析故障点。云计算平台可以快速进行资源分配，能够集中部署而且能够通过云计算管理运维平台统一监管，快速发现故障点并及时进行故障处理。

2　海委数据中心云平台架构构建

海委数据中心云平台整体架构以虚拟化技术为基础，将业务应用、数据存储和安全防护融为一体。虚拟化技术是服务器整合方面的成功的IT战略，能够为云平台提供基本的构建模块以增强系统的敏捷性和灵活性。海委数据中心云平台包括云计算资源池，存储资源池和应用安全防护3个子系统，通过云平台能够实现信息资源的动态分配、运维统一监管服务，动态扩展海委数据中心计算吞吐能力和存储容量，对容灾备份体系建设提供强大支撑。海委数据中心云平台整体架构，如图2所示。

图2　海委数据中心云平台架构

2.1计算资源池

海委数据中心云计算资源池由一组可以实现自动分配和回收的CPU和存储资源构成，既包括利用原有部分旧服务器，又增购了高性能计算服务器和磁盘阵列，具备计算密度高、单位能耗低、占用空间少的特点，包含业务应用群集、数据库群集和管理群集三部分。

平台通过整合形成计算资源的虚拟化平台，利用云服务管理能力实现从服务申请到虚拟化部署、从系统标准化安装到软件部署工作，大大提高了资源利用效率和实施人员工作效率以及网管人员的工作效能，按需调度实现资源的弹性分配。

2.2存储资源池

云计算平台充分利用现有的存储设备，形成一个能够充分利用的存储资源池。海委数据中心以现有的云存储服务器为主，搭配使用SAS硬盘和SATA硬盘，能够满足各种系统文件及应用文件的存储需求，满足备份文件的存储，同时存储池容量能够动态扩展和按需分配。

面向多用户的分布式存储架构应用于存储资源池，通过云管理平台实现各种数据间的共享存储和备份数据的容灾存储，并提供统一的命名空间，进行块存储和对象存储的统一管理，能够实现数据的高可靠性利用。

2.3应用安全防护体系

云计算平台提供了完善的手段保证每个应用的隔离性来确保安全。链路负载均衡、边界安全和应用加速主要通过应用安全体系中的网关设备来实现。计算资源池中的虚拟机的安全主要通过云安全管理系统中建立的多层次的应用和信息安全防护体系来实现。

3　海委数据中心大数据整合形势

水利信息化发展经历了一个由简单到复杂的过程，在发展过程中由于各个项目的来源、建设时间、环境、目标各不相同，现有的信息化系统存在目标单一、资源独享、重复建设、难以共享、效能低下等问题，导致各种信息化资源得不到合理利用，严重制约了水利信息化的可持续发展。海委水利信息化经历不同时期的多个项目的建设，形成了较为正规的物理机房、数据存储资源、各类信息化资源，为海委政务公开和办公提供了基础保障。但是，大多数的应用业务系统是针对某特定的研究或者业务建立的，数据库资源与各自具体的业务捆绑在一起，硬件和基础软件系统与特定的业务部门绑定，形成资源割据的局面，规范性差给海委数据中心信息化发展带来瓶颈。如何将这些庞杂的系统和数据统一起来进行集中统一化管理，是海委数据中心信息化发展迫切需要解决的问题。

海委数据中心已经构建起云计算管理平台，依托该平台对海委数据中心信息化资源进行大数据的整合是海委水利信息化发展的一个明确方向。通过整合，能够使海委数据中心发展更具标准化、专业化、流程化。

3.1信息资源整合需要解决的问题

（1）系统与用户之间。海委数据中心已具有33个各类业务应用系统，每类业务开发都是针对特定的任务，其所面向的客户群体以及用户的权限各不相同，每类用户所访问的业务系统也不尽一样，每类业务系统能够提供或需要使用的数据资源也有所差距，通过信息化资源整合将这些数据资源归到统一的数据库存储资源池中以方便用户和业务系统间的共享。

（2）系统与平台之间。海委数据中心信息化发展必须依托同一个基础平台，云计算平台为其提供了基础服务的同时必须形成一个统一的信息共享平台来实现数据资源和业务系统间的互联互通。海委信息化资源整合采用SOA架构，构建海委统一水利信息化业务门户，形成信息与资源高度集中和共享的公众信息服务系统。

（3）系统与未来业务应用系统之间。海委数据中心信息资源整合必须既能满足现有资源和业务系统的健康发展，又能为以后建设的业务系统集成提供方便。

（4）系统与运维单位及开发商之间。通过数据中心各业务应用系统的整合，海委能够给未来信息化开发商提供统一的标准接口进行开发建设，确保应用一个发挥效益一个，同时可以为应用系统运维单位提供标准的运维流程和规范。

3.2信息资源整合主要内容

对现有海委数据中心资源进行整合，主要针对基础设施、信息资源、业务应用、数据资源信息化建设规范4个方面，与海委已构建的云计算平台结合，形成海委数据中心良性发展的安全保障防护体系。其主要进行平台层建设，形成统一的信息化共享平台和业务门户；通过应用层整合，实现界面集成、信息模块化抽取、与统一平台的无缝连接。