APP下载

多源异构数据组织与管理

2021-12-26

科学与信息化 2021年5期
关键词:保证体系异构数据管理

清华大学 北京 100084

前言

在信息技术快速发展的时代,数据增长呈现出爆发性趋势,对数据的组织与管理也提出了更高的要求[1]。多源异构数据广泛存在于社会经济众多领域[2],多源异构数据的组织与管理体系尚不完备,需要深入分析,逐步完善。

1 多源异构数据的概念和作用

多源异构数据是一种复合型数据。“多源”指的是一个数据的整体具有多个数据持有方,具有多个来源;“异构”指的是整体数据包含不同的数据成分,内容类型不同、特征不同,既有离散型数据,又含有混合型数据,既包含了结构化数据,也包含了非结构化数据[3]。例如,互联网数据结构就是一种典型的异构数据,在互联网融媒体发展的过程中,各种媒体的技术原理和成熟度均不相同,数据内容差异性很大,因此互联网融媒体的多源和异构特征非常明显[4]。另一个例子是城市交通多源数据,城市主管交通的不同部门都各自管理和持有一部分交通相关的数据[5]。

2 多源异构数据组织与管理面临的挑战

2.1 多源数据库的规模增长不受限制,数据种类的增多难有止境

多源异构数据的组织和管理是大数据时代的重要研究内容[6]。随着用户数据不断增加,数据采集渠道不断丰富,其规模增长不受限制。另一方面,数据信息的载体多样化,从文字到图形、图像、声音,从结构化到半结构、非结构化,数据种类的增多也没有止境[7]。

2.2 管理质量与管理效率之间存在固有矛盾

多源异构数据的组织和管理要保证真实性、完备性、自洽性、科学性以及安全性,保证数据管理的质量达标,这也是数据管理的基本原则。而随着数据规模的增长和数据的复杂多样化,有限时间之内完成质量管理成为巨大的难题。既要兼顾质量管理水平,也要兼顾管理效率,迫使多源异构数据的组织和管理技术的不断创新。

2.3 多源异构数据管理人员能力提升需求迫切

多源异构数据源的数据内容种类繁多,数据量巨大,充分理解这些数据的背景和内容,实现有效的管理,对于数据管理人员的能力提出了较高的要求。然而,数据资源管理的科学系、系统性、可持续性在很多业务部门并未受到重视,多源异构数据的管理人员的能力提升并未得到有力的保障,这给长效性的多源异构数据管理和服务工作带来了严重的隐患。

3 多源异构数据组织与管理工作建议

3.1 建立完善的多源异构数据管理机制

根据多源异构数据的特征,建立起完善的多源异构数据管理机制,可从以下三个方面入手:一是确立数据质量评价标准,规范数据管理结构,为数据管理的考核提供条件,提高数据管理质量;二是制定数据管理相关流程以及制度章程,不断深化数据资源建设,保证多源异构数据的组织管理的高效进行;三是拥抱“开放数据、开放科学”原则,实现异构数据的统一管理和共享利用,保证不同性质的数据管理都能够遵循同样的数据管理流程,促进数据的规范性、科学性和开放性的管理与服务[8-9]。

3.2 建立信息技术保证体系

建立起信息技术保证体系,有助于实现数据管理质量与数据管理效率的同步提升。该体系应当包含数据检测、数据存储、数据传输、数据分析、过程控制等组成部分。此外,需要特别重视运用现代化信息技术手段,研发数据管理和服务的新手段,例如,将高速宽带通信技术运用到数据管理的数据传输系统,运用数字化手段开发数据储存空间,建立数据综合信息管理系统,有效提高数据管理的效率[10]。

3.3 加强数据管理服务从业人员的素质建设

落实国家关于“数据是新的生产要素”的指示,提升数据管理和服务人员的能力和素质。包括加强对数据管理人员水平的培训,提高其数据管理服务能力,提高创新意识和技术水平;包括设计数据管理服务专业技术培训体系和能力评价体系,建立完备的从业人员职业晋升和发展的通道。

4 结束语

随着社会经济的发展和各类大数据技术的运用,多源异构数据已经成为社会经济发展的重要组成部分。多源异构数据的组织与管理的能力建设亟须加强,从业人员的素质建设亟须规划。本文建议建立完善的多源异构数据管理机制、信息技术保证体系、信息技术保证体系,加强数据管理服务从业人员的素质建设,有助于落实国家关于“数据是新的生产要素”的指示,切实促进我国数据管理和服务行业的发展。

猜你喜欢

保证体系异构数据管理
ETC拓展应用场景下的多源异构交易系统
企业级BOM数据管理概要
试论同课异构之“同”与“异”
定制化汽车制造的数据管理分析
航发叶片工艺文件数据管理技术研究
多源异构数据整合系统在医疗大数据中的研究
吴健:多元异构的数字敦煌
数据挖掘在学生成绩数据管理中的应用研究
数据挖掘在学生成绩数据管理中的应用研究
高职院校质量保证体系:问题聚焦与对策分析