孔令娜 郭会明 焦函

(1.中国航天科工集团第二研究院,北京 100039;2.北京航天长峰股份有限公司,北京 100039)

0 引言

物联网技术快速发展,随之产生的数据也急剧增长。传统云计算的数据处理方式,消耗大量的网络带宽,也无法满足实时性的要求。为解决云计算的这些问题,出现了边缘计算[1],将任务从云计算中心迁移到网络边缘设备,从而降低延迟、提高可靠性并提高整体网络效率[2]。但边缘计算本质上并不能替代云计算技术,二者需要紧密协同工作[3,4]。在科技冬奥态势感知与运行指挥保障和物联网全场景智慧社区两大实际场景中,面临对跨层级、跨时空、多源异构数据采集的需求,边缘计算仍然需要云数据中心强大的计算功能和大容量存储基础架构,而集中式云数据中心还需要边缘来处理边缘设备上的海量数据,以降低延迟、保护隐私和减少能源消耗。

图1 云边协同总体架构Fig.1 Overall architecture of cloud edge collaboration

针对以上问题,本文提出了一种面向数据采集任务的云边协同计算框架,旨在减轻云中心的处理压力、减少网络带宽占用、提高实时性、增强隐私保护。然后基于该云边协同框架设计了“云-边”模式下数据感知采集与融合处理系统,并在科技冬奥和智慧社区两大实际场景中予以应用。

1 面向数据采集任务的云边协同计算框架设计

1.1 云边协同总体架构

本文提出一种面向数据采集任务的云边协同框架模型,该框架由数据端、边缘端、云端组成,三层各司其职、相互协同,总体架构如图1所示。

1.1.1 数据端

数据端由海量物联网设备组成,产生大量的原始数据,每个物联网设备都连接到边缘服务器,并将产生的数据发送到边缘端。

1.1.2 边缘端

边缘端由边缘服务器或者边缘网关组成,具有存储和预处理数据以及提供服务的能力,负责从数据端收集物联网设备产生的海量数据进行存储,并进行初步的处理。然后将云端应用所需相关数据进行上传,并接收云端共享的数据。

1.1.3 云端

云端负责进行任务调度,收集各个边缘端的数据,对从边缘收集到的海量数据进行进一步的AI智能处理、数据融合等处理分析并存储,并可以将云端数据处理结果共享给边缘端。

图2 数据资源协同架构Fig.2 Data resource collaboration architecture

总结来说,该云边协同框架模型旨在通过使部分计算和数据处理从云分发到更靠近物联网设备的边缘服务器来优化资源分配与计算之间的平衡。具体包含以下几个方面的协同:资源协同、数据协同、管理协同、应用协同。

1.2 数据资源协同方法

本文针对数据面管理设计数据资源协同方法,完成面向数据感知采集的边缘与云的数据协同,如图2所示。

根据数据采集需求可以将数据库分为云端数据库和边缘数据库。如图2所示,边缘数据库包含三个阶段的数据采集:(1)M-data:从数据源采集到的包括文件、视频、音频、结构化数据等类型的元数据;(2)C-data:根据数据采集需求对M-data中的海量元数据进行数据清洗、数据抽取等数据预处理操作后得到的核心数据;(3)K-data:对C-data中的核心数据根据相应的数据融合模型进行初步的数据融合得到的知识数据。

云端K-data:接收来自不同边缘端数据并进行进一步数据融合、数据挖掘等数据处理工作,并可以根据具体需求下发数据到边缘端与边缘共享云端数据内容。因此,仅将必要的数据发送到云,极大地减少了通过Internet传输的数据量和网络带宽的使用。

2 “云-边”模式下数据感知采集系统

基于本文提出的云边协同框架,建设了面向互联网公开api接口、数据库和工业物联网的数据感知采集与融合处理系统。

数据感知采集与融合处理系统主要分云端数据感知与融合处理系统和边缘节点的多源异构数据采集平台两部分。边缘平台部署在靠近终端的边缘节点,边缘节点面向海量高并发的采集数据源,支持多种类型数据或协议,并有一定的边缘计算能力,对数据做过滤、清洗等预处理。云平台部署在中心节点,用于海量数据的中心计算。整体架构如图3所示。

图3 系统架构图Fig.3 System architecture diagram

按照“云-边”计算模式布局数据采集平台的设计、开发、部署,按照资源目录来存储、管理采集的数据,通过资源目录、服务接口来提供采集数据资源的访问服务。数据采集策略及方法、融合模型将集成于采集平台的功能和服务中。

设备注册中心与不同的数据端连接,将采集数据经过初步数据清理和融合后上传给云端。云端提供完善的平台管理和数据分析服务。平台管理可以为云边协同提供基于资源管理、应用管理等多项业务的数据协同,云端服务可以提供自定制的任务调度、规则引擎和融合模型,为不同的边缘节点提供任务管理和过滤规则支持。最后从云端统一提供对外的融合数据导出服务,为上层应用提供数据。

3 云边协同框架典型应用场景

3.1 科技冬奥态势感知与运行指挥保障

2022年北京冬奥会在冬季举行的特殊性决定了其在数据采集上的空前难度。应用本文提出的云边协同计算框架与系统,实现数据采集、融合计算等任务云边协同工作,实现赛事、场馆、交通、气象等8大类20余小类数据的融合接入,有效支撑冬奥会风险识别、预警、管控和赛事跟踪等业务。

3.2 物联网全场景智慧社区

针对公共安全、综合治理、民生服务等典型场景的大规模、跨网域、异构多源的数据感知采集与融合需求,应用本文提出的云边协同计算框架与系统,实现至少30种物联网设备接入及多个典型场景的业务系统数据接入,为上层业务应用提供数据支撑。

3.3 其他应用场景

云计算与边缘计算协同九大应用场景白皮书[5]与文献[6]指出当前云边协同九大应用场景。本文提出的面向数据感知采集的云边协同计算框架亦可用在工业互联网、能源、智慧交通、安防监控等场景中。

4 结语

本文提出一种面向多源异构数据感知采集的云边协同计算框架,减少了通过Internet传输的数据量、网络带宽占用和隐私暴露的风险。并把该云边协同模型应用于实际场景中。但是,如何更高效地进行云端与边缘端的计算分流任务并平衡计算资源仍是该云边协同架构所面临的挑战。