APP下载

基于大数据技术的工程项目管理架构研究

2022-11-17海洋

现代信息科技 2022年20期
关键词:数据处理可视化工程项目

海洋

(洛阳职业技术学院,河南 洛阳 471099)

0 引 言

伴随现代工程项目复杂度不断增加,传统工程项目管理手段已无法快速处理施工过程中项目管理人员所需信息,引发成本超出预算、信息对接不及时等问题。与此同时,不断成熟的大数据技术逐渐渗透到社会各个领域,有力地推动了生产力提高。在2021年出台的《“十四五”数字经济发展规划》和《“十四五”大数据产业发展规划》中,均在政策层面确认了数据在新时代的生产要素地位,并提出要大力推进大数据产业发展。对于工程项目管理而言,其数据形式多样性、管理全面性本身便于大数据技术极为契合。在项目工程管理领域中引入大数据技术,不仅能够提高管理效率,还可以及时规避潜在安全隐患。由此,本文从大数据技术的优势特性出发,对大数据技术与工程项目管理的耦合关系进行研究分析,并构建基于大数据技术的工程项目管理应用框架,以求推动工程项目管理向现代化、智能化迈进。

1 当前工程项目管理过程中数据应用存在的缺陷

1.1 项目细节信息捕捉不到位

大数据背景下,越来越多的产品需求以数据化的形式表现出来,如果无法及时了解市场数据并科学分析,工程项目管理很难真正满足用户需求。然而,在实际工程项目管理过程中,由于产生的数据具有多样性和大体量特征,工程项目管理团队很难依托传统手段进行充分收集。此外,传统项目工程管理工程中所用到的数据处理工具多将管理过程数据放于独立筒仓系统,不同数据板块中存在典型的“数据孤岛”情况。各模板的数据相关性细节被忽略,为工程项目实施带来隐患。

1.2 数据处理效率偏低

传统工程项目管理中,数据存储方式主要采用集中式存储技术,数据处理则沿用集中式计算技术。如此,大量数据资源被集中于硬盘等单一存储介质中,各模板数据管理往往要借助一个庞大的数据库来完成。在此过程中,无论是数据的录入,还是修改删除等操作,均要依赖一台单单独的中心计算机。当运算负载过大时,只能通过提高中心计算机运算能力来解决。这一现象导致传统数据在存储及计算式效率低下,系统扩展性较差。

1.3 数据管理动态性不足

工程项目管理涉及领域众多,任何一个领域均会产生相应的生产数据,且不同生产数据之间常常还存在动态关联。例如,如果工程规模有所增加,那么对应的资金、成本、用工、节点周期等数据自然会发生变化。在传统工程项目管理过程中,处理此类问题的思路是由点及面,即围绕变化数据分层次递推,得到其他相关主体的数据变动情况,最终做出对应的调整方案。但在实际执行中,由于信息传达不到位等原因,这一过程费时费力,使得管理者很难快速掌握工程变动实际情况。

2 大数据技术与工程项目管理之间的耦合关系

目前,大数据技术已经在诸多领域得到良好应用。仔细研究后发现,大数据技术特征与工程项目管理具有很强的耦合性,具体如表1所示。

表1 大数据技术与工程项目管理之间的耦合关系

2.1 提高风险内控能力

对于项目工程管理而言,风险防控始终是重要的管理内容之一。除了保障基本的安全风险外,还要保证资金风险。这一过程中,会衍生大量价值密度较低的数据。大数据技术能够在汇总数据的基础上,对隐藏性信息数据价值进行充分挖掘,为项目管理人员在研判风险时提供必要依据。此外,大数据技术本身亦可在不同部门之间搭建有效的交流通道。如此,各单位在工程项目管理中能够快速交流共享信息,进一步弱化了项目本身可能存在的一系列风险。

2.2 提高工程项目管理效率

项目工程管理本身是一个在资源有限的情况下不断优化选择的过程。通常而言,项目规模越大,资源基础越庞杂,对项目工程管理的精度要求也就越高。大数据技术应用于工程项目管理,可以有效优化管理流程,提高工程项目管理效率。具体而言,大数据技术可以对工程实施过程中的一系列数据进行高效整合,使得数据能够直观呈现与工程管理人眼前。管理人员收集、汇总必要数据的时间大幅缩短的同时,收集到的数据总量也得到了质的提升。与此同时,借助大数据分类与挖掘技术,多元化数据存储更加有序,且数据价值也能得到更加充分的提炼。如此,管理人员在决策时更加有据可依,工程项目管理效率也得以快速提升。

2.3 提升进度控制水平

在项目工程管理过程中,如何把控项目各节点实际工期与总工期一直是难点之一。除了要考虑材料采购等因素外,还需预防天气因素对计划进度产生不利影响。在工程项目管理中使用大数据技术,一方面可以在设计前期,通过大数据对比,及时发现计划工期中的不合理之处并进行预警,进而修正偏差。另一方面,大数据技术的使用使得项目工程管理的动态性和可追踪性大大增强。管理人员只需将外部变动数据输入到大数据处理平台,便可在数据库中得到差异结果部分。

3 基于大数据技术的工程项目管理技术架构

针对大数据技术与工程项目管理的高度耦合关系,文章认为可构建基于区块链技术的工程项目管理技术框架。借助大数据技术中大数据采集技术、处理技术、分析技术、分析技术与应用技术等优势特征,建立基于大数据技术的工程项目管理技术框架。该框架主要包括数据采集平台、数据处理平台、数据分析平台与数据可视化平台,如图1所示。

图1 基于大数据技术的工程项目管理技术架构

3.1 数据采集平台

作为构成工程项目管理技术架构框架中的最底层,数据采集平台也是企业提高竞争力的最核心层,是整个大数据技术工作架构中的关键。数据采集平台运作机理如图2所示。数据同财务账本一样具有非常重要基础作用,能集中有效反映不同时期企业运营情况与效率,从而针对性做出优化升级的举动。其中,组成工程项目管理技术架构框架的数据既有来自同行业领域专家方面的指导,也有企业本身经营过程中所形成的数据内容。若按照工程项目管理技术架构组成环节差异划分,工程项目数据可根据实施主体、时间、地点、项目类别划分成多个类型的数据信息。这些数据信息真实有效,并通过大数据技术进行采集与共享,并存储至数据库中。然而,传统数据库后台可被人为进行修改、创新、删除、读取,导致工程项目数据可能出现误差,从而影响工程项目持续推进。而大数据技术下的数据库设计较为简单,能将人为修改数据这一动作删除,避免数据泄露亦或人为篡改,影响工期。

图2 数据采集平台运作机理

3.2 数据处理平台

数据处理平台主要负责处理工程项目管理过程中所产生并收集的各项数据,主要由数据存储、装载、抽取、转换、清洗等多个模块组合构成。数据处理平台运作机理如图3所示。传统工程项目管理技术架构中的数据存储主要采用传统储存方式,主要借助IDE、SACA、SAS、FC、SCSI 等多个接口连接数据与服务器。伴随数处理云平台的出现,新兴Hadoop 分布式数据存储系统借助大数据网络连接各分散存储单元,充分展示该存储系统无接入限制、高拓展性与低成本等特征。Hadpoop 系统还下设MapReduce(数据并行处理)和YARN(作业调度)节点,能有效提高数据处理效率与质量,是工程项目管理技术架构中主要网络存储方式。因此,工程项目管理者应主动熟悉不同类型分布式数据存储技术,如iSCSI、NAS、DAS 等网络存储模式。这些存储模式涵盖超高效元数据管理、数据容灾、系统弹性拓展、数据动态调动、应用负载的存储优化及存储器优化的数据技术特征。面对大数据多种存储模式,工程管理者可根据项目运行实际与大数据结构特征选择合适子系统支撑数据处理平台,以不断优化数据结构与提高数据处理质量。

图3 数据处理平台运作机理

3.3 数据分析平台

面向工程项目管理的大数据分析平台构建,工程项目管理主体需结合Hadoop 平台作为支撑。Hadoop 平台能为工程项目管理提供完备技术组件,能适用于海量工程项目管理所产生的各项数据集合。其具体运作机理如图4所示。Hadoop 平台包含HDFS 文件系统、Pig 流处理、Avro 工具、Zookeeper 运用等技术,为工程管理项目数据交互应用提供支撑。构建大数据技术下工程管理项目分析平台需进行建模,具体步骤为:(1)分布式数据并行处理。工程管理项目借助大数据分布式并行处理系统将海量工程数据分割成块,并围绕时间与空间展开计算,进一步通过执行工程项目多项指令解决复杂数据。(2)方法库。分析数据的方法较多,主要包括MOLAP 技术、SQL 查询、OLAP 分析等手段,能针对不同数据进行分析与计算,提高工程项目管理的质量与精准性。(3)引擎组建。工程管理者可利用云数据引擎设计各类功能,确保工程项目数据分析的弹性、稳定性与维护性,促进数据分析效率优化。(4)Open API。该系统主要为工程项目管理数据分析平台提供与第三方机构连接的数据接口,能实现数据的维度分析与模型评估,进一步推进工程项目管理数据分析的智能化建设。

图4 数据分析平台运作机理

3.4 数据可视化平台

数据可视化平台主要负责数据图像处理、计算机视觉、辅助设计、信号处理等内容。其具体运作机理如图5所示。工程管理者利用数据可视化平台中相关技术,能将管理数据信息内部结构转变为图像形式,便于审查与处理。工程项目管理数据可视化平台通常需借助多个方法实现数据形式转换。技术方面,可选择散点图矩阵、几何像素、旋转坐标系等可视化技术;算法层面,可选取矢量场、GPU 快速绘制、张量场等可视化算法;语言层面,可选择UML、C、VB 等可视化语言;软件层面,可选择Gantti、Springy、TimeFlow等可视化工具。值得注意的是,数据可视化交互分析过程较为复杂,其原理是先利用可视化技术将数据转化为图形结构数据,进一步使用试图转化为立体视图信息。借助可视化技术,工程项目管理数据将被直观形象地呈现在管理面前,避免出现数据审查疑点。

图5 数据可视化平台运作机理

4 结 论

信息技术迅猛发展视域下,大数据技术应用逐渐渗透于各行各业,并依托强大数据采集、分析、处理等能力有效助力工程项目管理人员在较短时间内快速了解项目内容。进一步借助大数据技术分析整合技术能力,保证工程项目管理资源实现合理分配与调度,进而不断优化工程项目管理模式,提升项目管理质量与效益。文章通过分析当前工程项目管理目前存在的缺陷及其与大数据技术间的耦合关系,试图从大数据技术视角出发构建新型数字化工程项目管理平台。借此,一方面为有效提高工程项目管理的实效性、全面性与精确性,另一方面希冀丰富现代化工程项目管理理论,推动大数据技术发展的同时提升项目管理人员工作效率。

猜你喜欢

数据处理可视化工程项目
基于CiteSpace的足三里穴研究可视化分析
自然资源可视化决策系统
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
思维可视化
基于低频功率数据处理的负荷分解方法
自然资源可视化决策系统
无人机测绘数据处理关键技术及运用
市场经济下工程项目的招投标管理
邵阳三一工程机械与零部件再制造工程项目开工
高层建筑沉降监测数据处理中多元回归分析方法的应用研究