王浩田,鄂海红,王 勇,宋美娜

(1.北京邮电大学 计算机学院(国家示范性软件学院),北京 100876;2.联洋国融(北京)科技有限公司,北京 100088)

0 引 言

随着数字技术革新与发展,数字化转型已成为企业转型升级的必由之路[1]。数据智能业务通过“记录—统计—分析—预测-决策”的方式为企业在不同场景的运营与发展提供了核心资料支撑,是企业实现数字化转型的重要目标之一。传统企业的数据智能业务发展对于当前过载的互联网、大数据环境显得力不从心,数据说话、精准定位、快捷响应已经成为现阶段的基本诉求。

虽然国内外研究人员在大数据计算平台、AI训练平台以及服务开发平台[2-7]等方面都进行了大量的研究和实践,但是都集中在以DevOps或MLOps的软件生命周期方法单一地对大数据处理流程和AI训练流程进行优化,仍无法满足数据智能业务快捷开发的需求,存在以下问题和挑战:

(1)海量多源异构数据集中管理与利用的问题。数据智能业务所需要的数据来源广且量大,不同的数据源所属领域不同,它们提供的数据呈分散、异构的特点,缺乏了统一的数据资源组织管理[8-11]。

(2)服务开发过程依旧繁琐、开发周期依旧长的问题。数据智能业务的落地需要经过大数据存储与处理、模型设计与训练、模型性能评估、应用部署运维等过程,需要投入大量的人力分工协作,且不同工作间具有依赖性,对后期发现问题的返工修正的不断更新,导致更高的时间和经济成本[12-13]。另一方面,前期研发所形成的算法资产,对于新的数据和特定的场景,都有持续训练、集成和部署的需求[14]。……