李明，刘德文，杨成林

（苏州思萃工业互联网技术研究所有限公司，江苏 苏州 215163）

0 引 言

为了进一步提升办公信息化项目的效率，达到办公信息化预期效果，降低产品开发的成本，在不建立大数据仓库的情况下，加强数据资源的整合效率，主要面向解决的问题总结为：

（1）解决管理信息化系统各子系统信息孤岛的问题，实现数据整合、统一展示、共享的目的。

（2）实现各个业务系统数据全程可追溯及在各系统流转后的数据一致性。

（3）解决工作中需要一键查询非自己经办的各个系统业务数据的问题。

（4）解决一键账号权限分配及回收问题。

1 系统方案概述

为解决目前业务信息系统建设信息孤岛现象导致的无法统一查询数据、进行有效数据分析的问题，以及进行系统间数据打通关联的问题，设计了一套基于源数据适配的大数据分析系统，该系统在不建立大数据仓库的情况下，能很好地解决多个业务系统数据关联、数据查询、信息孤岛的问题，将分散的业务系统做整合，变成业务上统一的系统。

设计的系统有以下特点：

（1）该系统定位为数据中间件平台，不用建立统一数据仓库，即可达到数据统一、数据关联、统一查询的目的。

（2）在统一认证登录平台基础上增加了数据共享的功能，真正做到数据的统一。

（3）本系统下分三个子系统，通过三个子系统：业务系统接口适配系统、数据调用和组合规则适配调用系统、服务调用数据管理系统实现孤立业务信息系统源数据的整合，对外统一呈现数据。

2 系统的方案分析

基于源数据适配的大数据分析系统方案特点为：实现了各个业务系统数据接口的统一转化，建立核心分发器，进行数据分发、调用，并有效进行了元数据、服务、用户权限的管理。

技术手段为：搭建基于源数据适配的大数据分析系统，通过接口适配、权限管理、调用规则组合实现数据的统一处理、获取。系统由业务系统接口适配系统、数据调用权限和组合规则适配调用系统、服务调用数据管理平台三个子系统组成，以实现业务信息系统源数据的整合，对外统一呈现数据。系统架构如图1所示。

图1 基于源数据适配的大数据分析系统架构示例图

大数据分析系统通过统一接入框架，为上层统一信息平台提供统一后的业务数据，协助展示。采用组件化的架构来实现各模块的高内聚、低耦合，同时方便并行开发。通过Restful 接口与App Server 中的接口服务进行交互，一般不直接与管理后台进行交互。

采用大数据分析系统的信息平台还需要支持统一认证功能，即为用户认证采用统一认证服务，所有接入到统一认证的应用都可以很方便地接入客户端，应用之间的相互访问变得简单。

3 系统的子系统描述

3.1 业务系统接口适配系统

基于源数据适配的大数据分析系统的子系统设计为：对各上层业务系统开放的入口。

各业务系统之间调用存在不同的调用方式：RPC、Restful、CXF 等，数据格式也会存在XML、JSON 等不同的格式，该系统将适配不同的调用方式，本系统首先需要将原接口进行统一录入和管理，产品应用Web 界面如图2所示。

图2 原始接口管理界面图

系统通过原接口管理、业务系统管理、调试子系统等模块录入管理需要接入的业务系统以及对应API 接口，系统支撑批量导入和单个API 录入管理，管理颗粒度可精确到具体API 接口。

系统通过定义全量的适配规范模块并将不同的数据接口统一转换成JAVA 对象形式，传递给后续使用，并将调用到的数据，适配成业务系统支持的调用方式以及数据结构返回给业务系统。通过接口适配管理、新接口管理模块来管理适配后的新接口。

3.2 数据调用和组合规则适配调用系统

某一个业务系统提供的一个服务，可能会横穿多个业务系统，所以该服务在多个业务系统间会存在一个接口调用链，数据调用权限组合规则适配调用系统充当的是一个核心分发器的角色，调度着这条调用链上的每一个执行。平台只负责不同数据库的调用，并按照业务系统所能接收的调用协议和接收格式进行统一返回，但是数据的具体业务逻辑处理，依旧交由各自业务系统进行，然后根据业务需求进行下一个业务数据库的调用。如图3所示。

图3 数据调用和组合规则调用关系

数据调用权限和组合规则适配调用系统功能规划：

（1）权限控制模块。业务数据的调用权限应该由调用方业务系统控制，此处的权限控制为平台认证授权，前端业务系统接口适配系统所传递的参数中必须带有平台认证授权token，保证数据访问来源是允许的。

（2）适配规则管理和调用引擎模块。确定该服务每一步所要调用的业务数据库。调用引擎根据服务规则定义控制业务数据库的调用顺序以及路由分发，如果插入、更新、删除操作遇到异常时，可以根据元数据库中针对每一个服务在具体一个业务数据库所执行的SQL 的对应的事物补偿进行数据回滚，详细看服务调用数据管理平台。

（3）SQL 生成器模块。根据每一个服务存储在元数据库中的调用数据规则，生成可执行的SQL。如果是插入、更新、删除操作，需要同时生成响应的事物补偿SQL，用于同一调用链不同的数据库发生异常时能进行事物回滚。

（4）数据返回结构化模块。根据每一个服务储存在元数据库中的返回报文规则，将SQL 执行结果，或者其他结果，例如插入或更新数据成功后不返回主键直接返回固定的操作成功通知对象，转换成业务系统接口适配系统所需要的结构化数据。

3.3 服务调用数据管理系统

对服务调用的规则管理，实现服务编排，达到服务组合的目的。该子系统对各业务系统数据库表描述的元数据管理，实现接口适配管理，并实现将细粒度的若干服务封装为粗粒度服务，如通过组合适配规则，将三个细粒度的底层服务封装为一个粗粒度的服务，提高了服务的复用性。降低系统复杂度，使得业务平台和大数据分析系统逻辑分离，便于各层系统的独立扩展。

服务调用数据管理平台系统功能规划：

（1）数据库管理模块。各个业务数据库的数据表元数据描述管理，业务系统用户在修改自己系统数据库的元数据时，需要系统通知该数据库所关联的服务所从属的其他业务系统用户。如图4所示产品应用Web 界面所示，可以对数据表元数据进行统一管理。实现对各个数据表的统一管理、查询。增加大数据分析系统的精细化管理程度。

图4 数据表元数据管理界面图

（2）服务调用管理模块。定义每一个服务的调用链，以及每一个调用节点的业务数据库路由。

定义服务在每一个调用节点上业务数据库的调用规则及参数规则，用于数据调用权限组合规则适配调用系统生成可执行SQL。

如果是插入、更新、删除操作，定义服务在每一个调用节点上业务数据库的事物补偿规则，用于数据调用权限组合规则适配调用系统生成可执行事物补偿SQL。

（3）接口适配管理模块。每一个服务的调用链，涉及的跨本业务数据库操作的节点，都需要对应业务系统的管理员审核，开放调用权限。

该模块提供的服务编排功能，通过规则对多个服务进行编排形成新的服务，为松耦合但需短时间自动执行的服务编排流程提供了技术实现方案，提供工具让开发者以编程界面的方式来编排服务。

（4）用户中心管理模块。针对超级管理员、各系统管理员等用户，设计用户管理模块，显示各自的服务，管理自己系统的元数据、接口、调试所管理的业务系统接口。

（5）配置中心模块。该模块配置数据库、局部环境变量、全局环境变量等，并支持以不同模板形式保存历史配置数据，通过配置中心可实现对大数据分析系统的配置管理。

4 系统的应用场景

在没有使用数据源整合系统的信息化系统中，存在业务信息孤岛，业务新系统数据全程可追溯困难，各系统流转后的数据一致性实现困难，无法实现一键账号权限分配及回收问题。

基于源数据适配的大数据分析系统系统可以广泛应用在办公信息化领域，尤其解决存量中大型企业的办公统一信息化、各子系统信息孤岛的问题及数据统一查询、分析的问题。该场景下：企业已经有多个存量信息化系统，且各个业务信息系统是不同厂家，独立建设的场景。存量子业务系统通过该大数据分析中间件平台对接、分发，从用户层面，实现数据的统一。有助于实现统一报表分析、大屏数据分析、各个业务数据一屏展示。如果建设大数据平台，建设成本较高，耗时较长，可以通过本文的基于源数据适配的大数据分析系统，即一个数据整合的中间处理平台，来实现数据的转换、分发、统一抽取、共享。

该系统实现各个业务系统数据全程可追溯及在各系统流转后的数据一致性：各个业务保存的同一数据的稽核，自动核对报销数据、财务数据、合同数据的一致性。

实现了信息平台的轻量化：从信息架构层面有助于实现信息平台的轻量化，支持通过本地＋接口、H5 两种方式适配接入各管信系统。减少建设大数据仓库，减少单独建设企业服务总线（Enterprise Service Bus,ESB）。

加强系统的账户权限控制，通过于统一认证系统的配合，通过数据访问权限层面，控制系统访问，当某个系统停用或者某些重要数据接口受限时，除了通过统一认证系统进行控制，还可通过该大数据分析系统可达到接口的权限控制目的，起到安全双保障的效果。

5 结 论

通过本文方案，通过应用基于源数据适配的大数据分析系统，可以解决管理信息化系统各子系统信息孤岛的问题，在不用建立统一数据仓库情况下，达到数据的整合、统一展示、共享；以及实现各业务系统数据全程可追溯、流转数据保持一致性；并可解决一键查询各系统业数据的问题、一键账号权限分配及回收问题。