APP下载

基于云计算模式下数据中心管理监理工作探析

2019-11-28曹春勇

商品与质量 2019年51期
关键词:数据管理数据处理分布式

曹春勇

中邮通建设咨询有限公司 江苏南京 210000

云计算属于现阶段新兴的一种共享基础架构的方式,利用云计算可以将巨大的系统池进行连接而后为人们提供各种基础化的信息服务。与于并行计算、分布式计算以及网络计算的融合与商业化实现。

1 云计算模式下分布式数据管理的相关概述

在分布式数据管理中主要包括分布式文件系统、键值数据库以及列存数据库等。而每一个不同的系统所针对的数据处理环节也有所差异。

首先对于分布式文件系统来说,其是根据Hadoop的HDFS构建形成的,而所以HDFS则由数据节点与名字节点两个节点组合而成。在这其中,名字节点的主要作用就是负责文件数据分布以及文件目录结构等数据的管理,而对于数据节点来说,其主要负责的工作内容就是对实际业务所产生的数据进行储存。系统在运行的过程中,客户端需要对名字节点进行频繁的访问,从而获取到相关有价值的数据信息,也就说明名字节点是整个系统的核心,虽然该系统储存数据的可靠性比较高,但是仅仅只支持单一化的名字节点,如果名字节点一旦崩溃,则会导致系统无法正常运行。因此,为了能够提高系统运行的稳定性与可靠性,需要采用更加高科技的元数据管理技术,使HDFS可以具有两个名字节点,两个名字节点之间可以实现数据的同步,并为数据读取服务提供便利。

对于多维查询来说,其属于整个数据处理过程中一个非常常用的需求,在进行数据处理时,经常会出现对组件或者多个其他索引列进行区域查询或点查询的要求。但是在如今的多个信息系统中,均是采用列存储数据库,当对主键以外的其他数据进行查询时,效率比较低,所以为了能够提高工作效率,实现高性能和低储存开销的要求,应采用更加高效的索引技术。

互补聚簇索引属于一种适用于列存数据库中的分布式索引技术,采用该技术可以为每一个查询列创建专门的查询列值拼接,形成为主键的顺序表,也可以将其称作为互补聚簇索引表,这样一来,就可以提高查询的效率。

所以,在进行分布式数据管理的过程中,应该重点关注数据的实时同步、故障的切换、数据读取负载均衡、异常情况的处理以及故障恢复等功能。

2 问题的分析与解决

2.1 分析

经过上述叙述可知,分布式数据管理工作中的重点工作内容就是对数据多节点进行实时处理、应急处理,以及数据备份恢复等方面,所以作为信息系统的管理监理人员,必须要将重点的工作内容作为中心,而后开展相应的管理与监理工作。

2.2 解决方案

根据多节点数据处理的具体要求进行分析,在开展这一项工作时,往往会涉及到大量的设备,而且同时涉及到到货验收、设备选型、系统联调以及安装调试等多项工作,这样一来就会导致应急处理、数据备份恢复等工作内容,一定会涉及到安全管理、储存管理以及风险管理等多方面工作内容[1]。

(1)多节点数据处理方案。多节点也等同于多业务流程、多标准格式等方面,因此为了能够使布局更加合理化,实现节约成本的目的,可采取以下三种数据处理策略。

首先,是以点带面,全面开花,因为每一个节点的具体实施情况有所差异,而且地区的发展情况、信息化水平也有所不同,所以可以先对部分节点进行试点部署与调研,总结相关的工作经验与工作教训,从而形成更加规范化的总结报告,从中提炼出更加优化的措施与方法,而后推广实施,对每一个节点进行宣传与贯彻;其次是实施未,动标准先行。在实际的项目开始之前,应该全面的考虑每一个节点的具体情况,使所有节点都可以保持统一化的思想,并总结前期部分试点所取得的经验和教训,将此作为依据,形成完善化的标准与规范,最后在整个建设范围内进行贯彻与落实;最后是区域划分合理分组,在实际进行验收时,该将就近划分作为主要的原则,并合理划分工作小组,指定专门的人选作为小组负责人,落实责任制度,从而确保项目可以顺利开展与完成。

(2)多节点数据处理方法。首先应审核关键的设备,在选择系统软件型号前,应该明确实际的需求和整个系统的具体规划情况,只有这样才可以选择出更加具有针对性的系统软件类型。在选型时也要充分的考虑预算情况。重点关注系统选型的基本核心要素,其中主要包括稳定性、技术性、安全性、先进性以及针对性等,具体的设备选型方法如图1所示。

其次应做好设备的验收工作,监理工作的主要内容就是对软硬件设备的供货证明、出厂合格证、配件表、说明书以及出厂合格证等文件资料信息进行验收,如果设备经过进口渠道,则应验收其相关的海关证明文件[2-3]。

最后,应做好系统的调试工作,监理工作应全程介入到系统集成工程项目的具体实施中,对其进行有目的的参与、检查和跟踪,及时发现其中存在的问题,并督促相关的单位或人员进行改正。

3 结语

总之,无论新兴的技术发生任何形式的变化,其本质都是基于传统技术的眼神,因此,应对传统的监理手段进行创新与延伸,合理的利用信息系统完成监理工作,发挥云计算的价值与作用。

猜你喜欢

数据管理数据处理分布式
企业级BOM数据管理概要
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
定制化汽车制造的数据管理分析
基于低频功率数据处理的负荷分解方法
航发叶片工艺文件数据管理技术研究
无人机测绘数据处理关键技术及运用
浅析分布式发电对电力系统的影响
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
数据挖掘在学生成绩数据管理中的应用研究