APP下载

基于科技管理的多维数据融合与展示技术研究

2020-12-23杨莉张林山谭向宇黄星

软件 2020年10期
关键词:数据集成数据融合统计分析

杨莉 张林山 谭向宇 黄星

摘  要: 文章针对项目经费管理集成多个业务系统数据,消除业务数据间的数据壁垒问题,构建多维数据获取与统计分析系统,实现项目经费过程管控,实现项目经费信息统计分析、经费预警及数据可视化,为项目经费管理工作提供决策支持,使项目经费管理工作进一步规范化、科学高效化、透明化。文章通过分析数据集成方案,多维数据获取与统计分析系统的建设思路,实现系统功能,解决项目经费管理工作低效问题。

关键词: 项目经费;数据集成;数据融合;统计分析;经费预警

中图分类号: TP319    文献标识码: B    DOI:10.3969/j.issn.1003-6970.2020.10.056

本文著录格式:杨莉,张林山,谭向宇,等. 基于科技管理的多维数据融合与展示技术研究[J]. 软件,2020,41(10):215218

【Abstract】: Aiming at integrating data of multiple business systems and eliminating data barriers between business data, this paper constructs a multi-dimensional data acquisition and statistical analysis system, realizes the process control of project funds, realizes statistical analysis of project funds information, financial early warning and data visualization, and provides decision-making for project funds management. Policy support will further standardize, scientifically, efficiently and transparently manage project funds. By analyzing the data integration scheme and the construction idea of multi-dimensional data acquisition and statistical analysis system, this paper realizes the system function and solves the inefficient problem of project funds management.

【Key words】: Project fund; Data Integration; Data Fusion; Statistical analysis; Early warning of funds

0  引言

当前,各种各样的科研项目很多,科研经费管理面临的突出问题是科研经费的不合理编制和科研过程中经费的不合理支出,一个科研项目在审计中被查出不符合“政策相符性、目标相关性、经济合理性”的原则问题时有发生,究其原因,除了科研过程中缺乏必要的监管外,根源之一是由于科技项目经费标准的缺失,导致经费编制的随意性较大。科研单位对科研项目经费的管理程度,直接影响单位科研项目的可持续发展水平,因此,加强科研项目经费管理对新时期优化资源配置具有重要意义[1]。

在实际工作中,项目经费管理工作存在局限性,传统经费统计、分析工作存在工作量大、易出错等问题,经费管理相关数据存在于数据库、云平台、文件系统等多个系统中,亟待打通各个系统,解决数据孤岛问题[2-3]。为满足项目经费管理工作的个性化需求,消除各业务系统及线下数据的数据壁垒,实现项目经费信息的统计管理,构建多维数据获取与统计分析系统,实现多个业务系统数据集成,进行业务数据统计分析以及数据可视化研究,以数据为依据,支持项目经费管理工作的决策支持。

1  数据集成方案

根据项目管理工作业务需求,多维数据获取与统计分析系统需集成业务系统数据源信息如表1所示,通过集成多个业务系统数据至多维数据获取与统计分析系统数据库中间表存储,作为基础数据支撑系统运行。

多维数据获取与统计分析系統实现数据集成首先需打通数据同步渠道,但数据量庞大,且对数据同步实时性要求极高,因此在数据同步过程中,亟需解决数据同步效率和数据传输稳定性等问题,保障数据的完整性、一致性、准确性及唯一性,以便为企业准确的进行业务分析提供坚实基础。系统实现数据同步可视化,通过可视化界面配置实现数据源和数据目的地的连接。采用同步工具实现数据抽取(Extract)、转换(Transform)、装载(Loading)等过程,是构建数据仓库实现数据集成的重要环节。根据业务所需数据从数据源端抽取出来,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。具体来讲,数据抽取是源数据接口从业务系统中抽取数据,为数据仓库的输入数据;数据转换是对来自多各业务系统的数据源进行处理,保证数据按要求装入数据仓库;数据装载是将数据按预先定义的表结构载入数据仓库[4]。多维数据获取与统计分析系统实现数据同步可用ETL工具OGG[5-6]或kettle[7-9]实现。

2  系统设计

2.1  数据融合方案

从多个系统获取项目经费相关数据,快速搭建异构数据源之间的数据管道和数据融合策略,打破数据烟囱式瓶颈,将所需的多源异构数据进行融合处理使其满足业务需求。根据数据的特征、属性进行数据聚合处理,如项目信息来源与多个业务系统,项目信息属性不一,需根据其特征值生成业务所需的项目基础信息。根据业务需求创建视图或中间表存储相关业务信息,支撑统计分析时快速查询数据。

2.2  系统架构体系设计

多维数据获取与统计分析系统架构主要分为三层(如图1所示),分别是数据层、业务逻辑层、应用层,数据层集成人资系统、资产管理系统和财务管理系统的数据到系统数据库,作为基础数据支撑系统运行;业务逻辑层通过各业务组件对数据进行处理支撑应用层运行;应用层通过各功能模块实现提供用户访问。

2.3  系统技术路线

多维数据获取与统计分析系统技术架构如图2所示,系统技术路线采用B/S模式,技术架构可分为四层,分别是基础层、数据持久层、业务逻辑层和展示层。基础层即系统运行环境,系统可在windows/Linux系统上运行,系统采用的开发语言为Java,运行容器使用docker运行Oracle、tomcat、redis等镜像,使系统能快速移植与部署;数据持久层系统ORM(Object Relational Mapping,对象关系映射)框架采用hiber nate[10],缓存机制采用redis[11]实现数据持久化,提供数据服务支撑业务逻辑层;业务逻辑层通过各业务组件实现业务逻辑处理,其中系统安全采用shiro框架;展示层通过相关UI组件实现数据信息可视化,设计个性化、操作人性化的界面支撑用户操作。

2.4  系统功能设计

多维数据获取与统计分析系统根据项目经费管理办法、相关制度及业务需求设计系统功能,实现项目经费的规范化、科学高效化、透明化管理,系统功能点如下:

(1)投资计划管理:实现对项目年度投资计划信息维护,下载项目投资计划Excel模板,填写项目投资计划信息,导入投资计划信息。

(2)报销单据管理:实现服务发票信息维护,确认服务发票是否财务填单,从业务系统同步的服务发票数据与零星采购无关联,根据服务发票和零星采购相关特征值,服务发票关联零星采购信息,支撑零星采购费用信息统计。

(3)采购计划:实现采购计划信息维护,支撑招标信息统计。

(4)大于五万采购申请:实现大于五万元采购申请信息维护,采购申请基础信息来源与采购计划,采购申请提交后可进行采购评审确认采购信息,关联合同信息,明确通过采购评审的采购信息是否签订合同,支撑采购合同费用信息统计。

(5)零星采购申请:实现零星采购信息维护,零星采购申请需采购评审确认,关联合同信息,明确通过确认零星采购信息是否签订合同,用于支撑零星采购合同内外费用信息统计。

(6)合同支付管理:实现项目合同支付阶段信息维护及信息预警,统计合同已支付、未支付、需支付等相关信息,统计合同逾期、下一月、本月支付的合同信息。

(7)中期调整费用申请:实现项目中期调整经费申请信息维护,申请信息提交后需审核确认,记录中期调整费用申请信息。

(8)剩余资金计划:实现剩余资金计划信息维护,维护项目剩余资金计划情况、资本性、成本性費用计划。

(9)项目已使用经费展示:统计项目已产生合同内外的资本性、成本性费用及已产生费用不含税信息,并展示项目费用相关联的服务发票、费用分解信息。

(10)合同信息展示:统计合同基础信息及资本性、成本性费用信息。

(11)科技项目整体情况:统计项目成果信息(即专利、专著、软著等信息)、项目月度完成情况、项目年度下达资本性/成本信息信息、项目已产生资本性/成本性相关费用信息。

(12)经费一览表:根据数据融合的数据信息、中间表或视图,统计项目下达经费、产生经费、剩余经费、需支付合同、未签订合同采购申请、未签订合同零星采购信息,并实现项目经费超支预警。

(13)科技看板展示:统计项目经费资本性、成本性费用完成情况,科技项目整体年度下达、产生、剩余、需付合同款费用信息,部所项目经费完成情况,生成科技项目经费情况报告。

2.5  经费预警模型及功能设计

结合企业财务预警的方法以及科研项目经费管理的特性,围绕科研项目活动的正常开展为目的,对科研项目经费监测预警模型初步探讨,设计多维数据获取与统计分析系统经费预警功能,主要包括合同支付管理功能的合同信息预警和经费一览表功能的经费超支预警。

合同支付预警流程如图3所示,根据合同支付日期和实际合同支付日期判断逾期、本月、下一月、待支付合同款标识符,该标识符为预警阈值,根据阈值可区分合同支付预警类型,通过系统界面颜色区分和短信提醒预警合同支付信息。

经费超支预警流程如图4所示,根据经费一览表统计的剩余经费资本性、成本性费用,对比已使用经费资本性、成本性费用,判断经费是否超支,超支通过系统界面数据颜色区分。

3  系统功能应用

在系统综合可视化展示模块(如图6所示)统计了项目经费下达信息、整体经费信息、部所经费完成情况等信息,实现生成科技项目经费情况报告功能,系统通过配置word模板,替换文档指定变量生成报告,报告中统计科技项目的项目经费整体情况,有利于项目经费的全局管控。

4  结束语

多维数据获取与统计分析系统通过集成人资系统、项目管理系统、财务管理系统数据获取项目经费相关数据信息,克服了各业务数据间的数据壁垒,实现项目采购、合同支付、中期经费调整过程的管控。通过项目已使用经费展示、合同信息展示、科技项目整体情况、经费一览表和科技看板展示等功能实现项目经费统计分析及可视化展示,使项目经费规范化、科学高效化、透明化管理,解决项目经费管理工作低效问题。

参考文献

[1]陈丽珍. 电力行业科技项目管理的突出问题及完善对策[J]. 企业改革与管理, 2014(23): 8-9.

[2]杨莉. 基于物联网技术的资源共享管理系统建设[J]. 软件, 2019(6): 169-172.

[3]董敏, 赵海成. 科研项目经费监测预警模型的探讨[J]. 科技促进发展, 2012(10).

[4]张宁, 贾自艳, 史忠植. 数据仓库中ETL技术的研究[J]. 计算机工程与应用, 2002, 38(24): 213-216.

[5]曲波, 邓旭东, 姜锋, 等. OracleGoldenGate数据同步机制研究与应用[J]. 微型电脑应用, 2014(6): 55-58.

[6]王志学, 麦晓冬, 符睿. 浅析基于ETL技术和全表扫描哈希对比的数据同步方法[J]. 广东轻工职业技术学院学报, 2011, 10(2): 4-7.

[7]李伟, 刘姝娟, 齐彩红, 等.电力建设投资项目年度资金计划的编制[J]. 沈阳工程学院学报(自然科学版), 2012, 8(2): 187-188

[8]Vassiliadis P, Simitsis A, Georgantas P, et al. A Framework for the Design of ETL Scenarios[C]// International Conference on Advanced Information Systems Engineering. 2003.

[9]代志远. ETL在电力生产运维分析系统中的设计与实现[D]. 山东大学, 2009.

[10]李德兵, 尹战文, 王洪明, 等. JavaEE基于Hibernate的ORM框架[J]. 电子技术, 2010, 37(2).

[11]Reagan R. Redis Cache[J]. 2018.

猜你喜欢

数据集成数据融合统计分析
如何发挥新时期统计工作的作用之我见
以统计分析为基础的房地产税收优化分析
基于数据集成的水上项目国家队数据库网络管理平台的设计与开发