政务大数据中心建设关键技术及应用研究

2022-07-27徐海明邓海春

智能建筑与智慧城市 2022年7期

徐海明，邓海春

（太极计算机股份有限公司）

1 引言

政务大数据是政府相关机构在实现职能过程中产生的海量数据，包括社会管理、公共服务、专项调查等方面活动产生的数据。其数据类型更加丰富、时间跨度更加久远、地域范围更加广阔，普通的数据处理软硬件系统已经无法突破技术瓶颈，必须加快政务大数据中心建设，充分挖掘政务大数据价值，为改善服务、改革发展提供新的动力。

2 政务大数据中心建设需求分析

2.1 建设目标

充分利用现代信息技术提高政府服务能力是现阶段政府机构改革的重要方向，有利于调整内部组织架构，优化运作程序，提高管理服务效果，实现用数据说话、用数据决策、用数据创新的现代化治理模式。政务大数据中心建设的主要目标包括数据汇聚、数据融合、业务融合、支撑应用等。其中，数据汇聚旨在将各部门及省市相关数据汇聚起来，形成基础库、主题库。数据融合重点在于数据的关联，是在数据汇聚的基础上满足数据分析应用场景，不断完善专题库、分析库。业务融合可以实现全省各政务业务的融合，满足权力事项和公共服务需求，完成跨部门、跨系统、跨地域、跨层级的业务融合。支撑应用可以提供数据支撑服务，实现部门间的数据共享，为科学决策和预测提供依据。

2.2 核心问题

政务大数据中心建设需要从数据采集、归集存储、管理应用等各个流程展开，促进数据运营、数据管理的健康发展。现阶段，政务大数据中心建设需要面对的核心问题是对内管理和对外服务两个方面，在对内管理上，必须建立数据资产管理中心，能够充分掌握政务数据资源的整合共享情况，明确数据中心及其支撑服务的业务应用运行情况。在对外服务上，需要建立全域数字化体系，为各类业务应用给予有力支撑，保证对外服务水平[1]。

2.3 业务体系

政务大数据中心的业务体系应该涵盖数据采集、数据存储、数据汇聚、数据目录、数据治理、数据管控、数据可视化、数据服务几个重要功能模块，提供基本的业务和技术能力支持。数据采集是数据中心的统一数据入口，针对互联网数据和政府数据，在资源编目管理支撑下完成数据采集工作，并且对数据源进行实时管理和监测，实现数据采集服务的科学部署和优化配置。数据存储重点在于建设完整、准确、一致、逻辑统一的数据存储体系，实现建库和用户统一进行数据存储、规划管理。数据汇聚能够实现从源数据到目标事务下的数据采集和汇聚，完成数据清洗、数据检查、数据对比、数据逻辑判断、数据转换、数据异常处理、数据路由等操作处理。数据目录是对数据中心全部数据的组织和描述，核心业务集中在目录全生命周期记录与管理数据治理上，能够及时清除脏数据，提高数据质量。数据管控需要实现对资产的全方位一体化管理控制，能够在全过程、全生命周期对数据资源进行有效监管，提升数据中心的管控水平。数据可视化可以更加直观地展现其他体系业务运行情况，监控各体系间的运转状态，支撑关系业务协同。数据服务主要基于数据整合、清洗、分析、脱密等操作，向社会大众、行业部门、政府机构提供数据服务，促进数据产业的发展壮大。

2.4 总体架构

政务大数据中心总体架构主要包括系统架构、应用架构、管理架构、安全架构4 个主要方面，遵循分层设计原则，满足系统工程要求，展现互联网思维，实现一体化、集约化建设和运行。政务大数据中心应用架构包括基础设施、数据标准规范、目录管理平台、数据共享需求管理子系统、共享交换平台、政务大数据资源池、数据治理子系统、数据服务平台、大数据分析应用平台和可视化实施、应用支撑平台等方面。数据中心管理架构包括数据管理、相关方、管理机制、管理流程、绩效评价指标等方面，促进数据管理的标准化、规范化、制度化。数据中心安全架构应该立足于数据生命周期安全管控需求，能够保证数据共享服务过程中的数据安全，主要包括数据采集安全、数据处理安全、数据存储安全、数据使用安全、数据交换安全等几个主要方面，必须满足国家信息安全相关制度要求[2]。

3 政务大数据中心建设关键技术及应用研究

3.1 数据融合关键技术

政务系统数据库涵盖的种类繁多，包括综合政务、国土资源、经济管理、工业、能源、交通、信息产业、城乡建设、环境保护、农业、商业、服务业、民政、劳动、科教文卫等，每个部门都会产生海量的数据信息，如何利用大数据中心进行高效地数据融合处理至关重要，需要挖掘数据集间的共同性和异质性，实现大数据的去噪降维。大数据主要是由不同来源、格式的数据组成，需要了解不同子样本间的同质性和异质性，运用融合分析法，可以从统计学的角度出发，以多个变量作为研究目标，充分考虑各种影响因素，同时求解多个模型，有效解决因时间、地域等方面差异造成的建模不稳定。基于惩罚方法的融合分析，充分将分析与惩罚变量选择相结合，这是提取信息和降维的有效方法，可以更好地识别信号和噪音。政务大数据主要由基础数据库和主题数据库构成，运用滚动路径算法生成属性，自动从所有数据源生成属性并结构在一个表中。政务大数据挖掘的目的在于通过添加属性构造一个平面挖掘表，而这些属性是融合外部数据源和数据库相关表的信息生成的。图1表示一个含有多个表和外部数据源的关系数据库，在实际的数据挖掘中，数据库可能会存在更加复杂的外部数据库和更多层次的表。图2表示从其他表到政务服务表的融合信息路径。depth=3 中可用路径即为滚动路径，在政务服务表中导航两次，这种滚动路径算法可以有效避免包含已滚动路径上的重复信息。政务数据融合算法设计包括初始化、路径生成、属性生成三个过程，对于一些大型数据集需要消耗大量的时间。因此，加强算法的融合和细化步骤分析是十分必要的，属性生成过程为挖掘表提供了巨大的特征空间，通过特征选择技术，能够利用最佳预测因子降低维数，Lasso可以用来选择与类高度相关的属性，可以从中挑选出最好的[3]。

图1 一个含有多个表和外部数据源的关系数据库

图2 从其他表到政务服务表的融合信息路径

3.2 业务融合关键技术

3.2.1 业务融合概念

业务融合指的是当用户跨越多种接入或核心网络时可以提供连续、平稳的业务服务，能够对所办业务、用户状态、用户偏好等方面组织协调，提供个性化服务。业务融合需要具备集成能力，可以将用户关心的相关业务打包起来，通过一次操作就能统一解决问题，这需要将各个独立的政府部门业务服务组织起来，形成一个完整的体系，实现一体化服务，从而提高办事质量和效率。业务融合需要经过业务捆绑、业务互通、基于统一业务平台的业务融合、基于开放式业务能力接口的业务融合四个阶段，需要根据实际情况循序渐进的向前推动。政务大数据中心建设的最终目的是促进业务的创新融合，加快政府服务的整体性、系统性、高效性、协同性改革，打造数据共享、互利共赢的政务生态圈。

3.2.2 业务融合问题

为了实现以用户为中心的业务体验，必须解决几个关键问题，主要包括统一的用户身份管理和认证、统一的用户配置、以用户为中心的上下文感知、多部门/多系统用户的业务、提供业务连续性和业务漫游能力、智能化的业务组合与提供。用户需要以统一的身份登录和认证才能办理具体的业务，而且需要统一用户配置，维护相关信息，以用户为中心，实现跨业务、跨网络的上下文信息采集和感知，进而实现智能化、个性化、自适应的业务融合。业务融合需要为多系统、多部门的用户提供灵活的、可供选择的服务体验，降低业务的复杂性，在终端切换或跨网络的情况下，能够保证用户享有连续一致的感受，另外，在满足通信目标的同时，能够提供智能型、语义化、个性化的融合业务[4]。

3.2.3 业务融合技术

业务融合系统需要对不同来源数据进行关联和融合，通过数据描述某一事件的全流程、某一业务的全生命周期，因此，需要实现数据关联绑定功能，促使基础数据、空间地理数据、物联网数据相互关联，同时要实现不同来源的同一数据关联绑定，让各个部门都能够采用数据标准，在不同层面上实现标准统一。现阶段，实现业务融合的关键技术在于以下几个方面：①需要提升数据的完整性和准确性，保证业务数据采集的可靠性，并进行有效的清洗和比对，生成主表，以主表为基础，与部门数据进行比对，保证数据准确性；②统一信息的相关标准与规范，数据的整合交换共享必须建立的统一的规范标准上，这样才能实现有效融合；③实现项目的应用拓展，应用拓展是平台持续发展的动力，也是平台价值的体现，需要根据实际应用需求提供各种应用集成接口，主要有数据服务接口和应用服务接口，前者将数据封装形成可重用的应用组件平台，后者可以建立应用服务集成体系，形成平台开放式的应用扩展模式[5]。