APP下载

基于区块链的气象数据共享服务架构*

2021-02-15

海峡科学 2021年11期
关键词:数据服务数据安全气象

袁 伟 段 卿 袁 翔

(福建省气象信息中心,福建 福州 350007)

2018年,国务院办公厅公布第一批国务院部门数据共享责任清单,明确提出“研究建立促进企业登记、交通运输、气象等公共数据开放和数据资源有效流动的制度规范。”《气象资料共享管理办法》也明确了气象数据共享的使用限制条件和管理职责边界。然而,气象数据在开放共享和安全共享之间一直存在不易调和的矛盾。例如,数据出口后的管制职责溯源问题,用户违规使用或非法传播数据难以跟踪问题,虚假数据仿冒、信息发布问题等。这些问题既是《气象信息服务管理办法》《气象资料共享管理办法》中需要明确的,也是气象数据更好地共享发展和安全服务过程中需要防范的。

气象数据面向的服务对象广泛,且不同的服务对象有不同的数据需求,如政府部门用户对原始数据的需求更多些,行业用户对加工产品的需求更多些。根据不同单位服务职能,不少气象管理机构均存在输出的可能性,而且同时也会面临“一对多”输出的情况。因此,需要通过采用科学的数据治理方法,解决传统气象数据直接共享输出无法溯源、后期数据扩散无法追查、数据在使用中难以认定安全责任等问题。区块链技术作为分布式数据存储、点对点传输、共识机制、加密算法等技术的集成应用,给气象数据的安全共享、安全管理提供了一揽子解决技术方案。

本文结合福建省气象数据共享服务的流程化、服务对象的多样性和数据链条的复杂性等现状,设计了基于区块链的数据管控架构,在数据供应末端与传统输出端之间增加区块链应用服务层,帮助解决气象数据安全共享、权责溯源、防篡改等问题,实现具备可操作的、安全的、明确的、可信的数据共享服务管理。

1 技术背景

1.1 区块链简介

为推动区块链技术与实体经济深度融合,形成发展共识,中国信息通信研究院和可信区块链推进计划共同组织编写了《区块链白皮书》(2018年)。区块链是一种由多方共同维护,使用密码学保证传输和访问安全,能够实现数据一致存储、难以篡改、防止抵赖的记账技术,也称为分布式账本技术[1-2]。典型的区块链以块-链结构存储数据,作为一种在不可信的竞争环境中低成本建立信任的新型计算范式和协作模式,区块链凭借其独有的信任建立机制,正在改变诸多行业的应用场景和运行规则,是未来发展数字经济、构建新型信任体系不可或缺的技术之一。为了防止共识信息被篡改,系统以区块为单位存储数据,区块之间按照时间顺序、结合密码学算法构成链式数据结构,通过共识机制选出记录节点,由该节点决定最新区块的数据,其他节点共同参与最新区块数据的验证、存储和维护,数据一经确认,就难以删除和更改,只能进行授权查询操作。

作为一项新兴技术,区块链具有在诸多领域开展应用的潜力。区块链的不可篡改、分布式、可审计、可追踪等特性为我们构建了一个全新的信任体系。此外,区块链还被视为一种颠覆式创新技术平台。它变革了数据管理方式,从集中管控转变为分布式协同,从各组织维护自己的数据资产转变为每个参与者都能够访问、维护、共享数据库。它最小化了交易风险,提供了信任机制以及可靠而准确的审计跟踪,提高了合同执行效率甚至可以帮助简化业务处理流程。最终,交易和数据的管控权从第三方权威组织转移到参与交易的各方,无论是数据提供方还是数据用户终端。

1.2 气象数据共享服务

随着气象大数据云平台逐渐步入业务应用,气象数据已完成集约过程,解决了早期存在的烟囱式数据服务状况。然而在数据集约后,通过数据接口向用户单位提供服务的中间环节,依然存在授权、溯源、可信等问题,尤其是数据出口后,难以形成有效的链条跟踪,给数据提供方、数据使用方之间带来职责不确定风险。

当前,福建省气象数据对政府、部门、行业的共享方式,主要通过API接口提供资料半加工式的透明数据服务,下游读取数据后的应用、再流转或它用方面的服务状态、数据安全、链式跟踪等现象目前还尚无有效手段解决。

国家对大数据的重视程度与日俱增,数据面向社会、行业的全面共享政策、手段也逐渐成熟,气象数据也必然面临政策方针下的开放共享问题,引入安全策略机制是应对数据全面共享所带来的各种问题的有效方式之一。目前福建通过构建有效的安全防护策略,提升气象数据应用环境的安全等级,但数据自身的安全保证还有大量工作要做。

1.3 区块链与气象数据技术融合现状

随着区块链技术的兴起,国内外对它的研究、探索和应用几乎同时起步。应用场景层面,在电子货币、政务信息共享、远程医疗等方面做了很多尝试,进入了常态化阶段,实现了数据可用不可见,安全数据共享规范标准化等目的。技术层面,国外侧重于BFT共识算法、原子跨链、子链等底层关键技术。国际巨头将区块链作为核心战略进行布局,不断提供人力、财力、物力,集聚全球资源打造开源社区,输出原创技术和开源产品,影响和主导行业发展方向和路径;国内侧重于哈希锁定、分布式私钥控制、隐私数据授权访问等中间层关键技术,以及分布式应用、智能合约等应用层关键技术。

在气象数据共享方面应用互联网新一代信息技术—区块链技术来提升气象服务品质和气象服务安全,相关研究极少,本文将基于福建省气象大数据云平台的数据共享服务架构进行改进设计探讨。

2 共享服务架构设计与应用

2.1 当前气象数据共享的隐患

通过福建省气象大数据云平台的基础数据服务接口,用户可申请账号(一个账号一个客户端),采用API、WEB等方式获取数据结构。共享流程如图1所示。

图1 当前数据共享流程

该数据共享方式,可以高效率、简便性地提供数据服务,从数据安全方面考虑,则可能存在的隐患及风险如下。

①尽管通过账号授权,但账号的全流程跟踪还未形成共识机制。授权对象、授权范围、授权周期内的动态跟踪、授权回收等问题,没有进行统一的管理设计。

②数据透明输出,在数据全寿命跟踪、数据权责、防篡改等方面还未形成管控机制。

③无有效机制约束数据的非授信二次传播。存在数据非法传播,甚至恶意传播的可能,而且当出现风险时,数据授权方无法自证。

引入区块链技术,在数据服务接口与客户端之间增加一个安全驱动层,经合理设计,可以有效解决上述问题,规避风险。

2.2 基于区块链的治理架构

2.2.1 解决方案

基于省级天擎系统的大数据环境,探索更加安全有效的数据共享管理方式,重构现有数据共享架构,在数据基础库与数据共享输出之间增设安全防护边界,设计区块链驱动层、数据服务层、业务应用层,形成数据开放共享环境下的分级管控、确权确责、数据溯源,实现共享数据全方位监管和全过程追踪溯源。

引入区块链技术的气象数据共享服务管控架构如图2所示。

图2 引入区块链技术的气象数据共享流程

引入区块链的数据共享管控方法是多方共识数据发布、多方共识数据共享、多方共识数据访问、多方共识数据评价、不可篡改数据溯源,通过多方基于共识算法完成数据共享的管控过程,原理如下。

①数据全局确权管理,通过区块链的全局统一账簿对数据的标识进行记录及共享管理,确保数据权属的唯一性。这将进一步强化一账户一客户端的实际意义,客户端用户二次非法传播的数据将不可用。

②数据多方共识访问控制,通过区块链分布式系统完成数据共享访问控制,确保数据共享的安全可靠。

③赋能审计溯源系统,配合数据共享审计系统完成审计数据的可信校验,确保审计数据不可篡改。防抵赖、防篡改,数据在交换周期中抗风险能力极大提升。

④公平可信数据评价,通过区块链形成数据评价的可信记录,为数据资产化奠定基础。

通过公钥对用户的身份进行标识,通过数据指纹对数据进行标识,最终通过区块链共识网络实现用户的安全接入、发布验证、数据确权、读取控制、数据评价、共享确责,并通过区块链浏览器对网络节点及共享数据的态势进行展示,整个区块链数据均是通过哈希进行串联,确保数据的不可篡改,同时可以通过数据指纹对数据共享记录进行关联查询,通过签名确保查询结果的不可抵赖,通过交易(数据)编号确保数据的不可抵赖。

赋予区块链技术的气象数据共享服务,为确保数据能够安全流转,需进行数据的规范化、语义化共享建模,数据被使用时,授权后可用,依此达到数据可用但不见,同时区块链技术能够有效防止未授权数据的二次交换、多次交换的情况发生,从而达成数据确权和授信管理。为更好地实现区块链技术与当前数据共享的融合,在大数据平台的数据接口与业务之间,嵌入并构建安全边界,按功能和逻辑流程划分三个子层,相互配合,共同完成数据授信服务,详细设计架构如图3所示。

图3 区块链层详情设计

(1)气象数据的安全区块处理层。该处理层即区块链平台,是系统的核心层,主要包括共识过程、智能合约的部署和运行,最后形成块数据。该层的数据来源可通过现行的MUSIC接口直接获取资料,获取资料后进行标准化、语义化解析(维护账本信息,进行背书和区块存储,对各个节点发来的交易数据进行排序,并按照一定的规则确定交易顺序之后,打成区块发给各个节点把交易记录到区块链账本中),最后得到安全的块数据。

(2)气象区块数据的契约服务层。该服务层为应用服务提供辅助开发、运行和管控的中间件功能,并提供可以提升系统可用性的数据预整理服务。基于fabric的智能合约调用过程,包括复杂的调用流程需要和区块链平台的多次交互,以保证一个智能合约的正确执行,并最终形成区块保存。每次交互都有复杂的数据格式和基于密码学的签名验签,以保证数据的可靠性。然而,大多数应用方并不关心复杂的过程和数据结构,只关心核心的业务数据是否在需要的智能合约上得到执行,最终完成区块链应用。

(3)气象块数据服务与应用获取层。该层主要完成具体业务,包括第三方系统的业务需求实现,并提供态势呈现,即动态展示区块链中区块和交易(数据)的变化情况,提供区块和交易(数据)具体数据的可视化展示。业务在调度相应气象资料时,由该层进行解析、定位和授信,因依靠某些安全模块,业务自身对数据只能用而不可见,从而无法向下游用户二次发起数据服务,下游用户必须按照安全标准流程直接对接应用层,避免了数据的无序扩散。

2.2.2 服务应用

基于区块链和大数据平台的气象数据共享服务,根据前述设计,可提供数据分级防护、数据安全交换、数据共享建模等几种应用。

2.2.2.1 数据分级防护

大数据共享区块链平台针对数据安全分级防护场景,通过安全套件对接用户的数据库、文件等数据源,并通过分类分级管理系统梳理数据资产的安全分级,制定不同强度的安全策略,产生数据安全标记;由标签服务和策略服务为安全防护设备(系统)提供统一的管控,从而基于分级策略实现对多种数据安全防护手段的一体化联动。

2.2.2.2 数据安全交换

(1)库表文件类型的数据安全交换。大数据共享区块链平台针对库表、文件共享数据的交换场景,通过模型仓库支持共享数据建模,实现共享数据的规范化;通过共享交换平台实现共享数据的安全流转、交换;通过安全套件对接发布方、使用方的数据库、文件服务器。同时,在使用方提供标签存储控制网关,支持业务应用对带标数据数据库和带标电子文件的透明化使用。在整个共享交换过程中,通过基于标签的安全管控为共享数据流转提供安全支撑。

(2)服务接口安全交换。大数据共享区块链平台针对服务接口共享交换场景,通过安全套件为服务提供方接口实现细粒度访问控制、完整性保护、参数不可抵赖、流量管控等安全防护功能。在服务请求方,可通过安全套件透明对接存量应用。针对新增应用,可直接调用共享交换平台服务接口获取带标数据,然后调用数据共享安全标签服务进行共享数据验证脱标。

(3)数据服务发布。大数据共享区块链平台针对数据汇聚后的服务发布场景,提供发布方数据以服务形式实现安全发布的功能,支持数据查询、核验、统计等接口服务发布,提供服务接口调用的不可抵赖、调用方细粒度管控、服务结果的分类分级保护等安全措施。

2.2.2.3 数据共享建模

大数据共享区块链平台针对数据共享建模场景,提供共享数据建模系统,支持多种建模方式实现共享数据的归一化和语义化,支持的建模方式包括对象关系建模、SQL建模和导入Excel需求建模等。提供共享模型的格式化导出,支持模型与其他业务对接。提供与安全共享交换平台对接功能,数据提供方可通过安全套件实现用户库表、文件等数据源到模型的自动转换,并通过共享交换平台实现共享数据的安全交换。数据使用方可通过安全套件实现模型到目标源的反向映射,实现模型数据到目标源的落地存储。

2.2.3 技术优势

通过分析现有气象数据共享中存在的问题,文中在简述区块链技术的基础上,进行技术与现有数据服务应用的结合,给出了新的服务架构设计,阐述了技术原理和分层管控的工作机制,新架构下的技术优势主要有。

①全过程安全保障:具备了跨地域、跨部门、跨系统的安全管控特点。现有的共享交换体系通常围绕业务系统进行安全防护,缺乏共享数据整体流转过程的安全性建设、缺乏分类分级管控措施、无法明确共享数据权责。基于分类分级安全标签,采取统一的安全策略,从共享数据准备阶段、交换阶段、使用阶段等共享交换全过程建立数据安全防护模型,从共享数据提供方、平台方、使用方、监管方等数据共享参与方提供安全防护措施,通过数据分级防护、身份认证、受控交换、流转监控、合规性检测,以及数据追踪溯源等安全措施,建立数据共享交换整体安全防护体系,全方位保障共享数据安全。

②全局唯一虚拟资产登记:使用数据指纹、数据标签等区块链技术对虚拟资产形成唯一的身份标识,实现数据资源的实例化,然后与资源拥有者身份一起记入区块链分布式总账,实现对资源权益的公开确认。

③数据责任交接清晰明确:基于区块链分布式总账对数据提交、授权、申请、共享、确认等过程进行公证记录,为数据溯源提供高可靠的数据支撑,结合数据实例化进一步提升溯源效能。

④数据管控责任多方分担:多方共同参与记账,账本不可更改,资源提供者参与了交易的记录与确认,既降低了对平台的依赖,同时也分担了平台的数据管控责任。

⑤公开公正可靠的数据评价:资源需求者可对资源提供者数据服务进行评价,并记录至区块链,由于评价记录不可更改,结合数据的可溯源特性,能够为共享平台生态治理提供帮助。

⑥数据服务化:部门之间的信息网络自成体系,相互割裂,数据孤岛的问题客观存在,难以实现互通和共享,导致目前政务数据大多处于割裂和休眠状态。同时由于各部门信息系统的割裂,许多数据需要重复采集,成本较高。大数据共享区块链平台通过数据接口服务化的模式,支持数据提取、数据汇聚后以服务接口形式进行发布,通过提供查询、核验、统计等服务接口,打通应用边界,使数据在多系统中实现了流动、共享,打破了原有业务数据隔离状态,为部门业务的进一步联动提供了数据资源基础。

⑦应用无侵入:针对已完成数据共享交换平台建设,但缺少安全防护系统的应用场景,大数据共享区块链平台提供了透明化对接方案,可在现有共享交换平台基础上透明对接安全防护系统,无需交换平台做修改。

3 结束语

本文从区块链技术和当前气象数据共享存在的问题入手,阐述两者结合的技术优势和解决问题的能力,构建了新的气象数据共享架构,并基于区块链技术架构,介绍了大数据云平台的数据共享应用场景和技术特点。随着区块链技术进入大众视野,越来越多的人认识到,区块链技术作为互联网新一代信息技术之一,不仅是生产力上的进步,也是生产关系的进一步优化,它正在“产权”界定、低信用成本、智能合约、价值传递等方面重塑当前的生产关系。同时,基于区块链的气象数据共享服务明确了数据发布者、使用者和使用范围,构成数据安全链上全流程的跟踪,进一步确保数据的安全性。气象数据共享和数据服务,作为一种生产关系,有望于这次技术革新中产生更多附加价值。

猜你喜欢

数据服务数据安全气象
大数据时代高校图书馆数据服务的困境及优化路径
地理空间大数据服务自然资源调查监测的方向分析
气象树
我国5G数据安全保护供给不足,“四步”拉动产业发展
基于数据中台的数据服务建设规范研究
《内蒙古气象》征稿简则
云计算中基于用户隐私的数据安全保护方法
建立激励相容机制保护数据安全
大国气象
数据服务依赖图模型及自动组合方法研究