数据中台技术在业务系统中的运用
2021-11-23魏显伟
中国新技术新产品 2021年17期
魏显伟
(中移铁通有限公司山东分公司,山东 济南 250011)
0 引言
当前大数据技术迅猛发展,截至2020年大数据产业规模已经超过8 000亿元,且始终保持快速增长的趋势。在技术发展需求逐渐增加的情况下,诞生了数据中台技术,该技术以“共享”与“复用”为核心,包括数据采集、集成与治理3个方面,与前后台中的人力资源、财务以及内审等部门相对应,数据中台技术在业务系统中的应用可极大地提高系统的应用效率,为企业建设与发展提供更多助力。
1 数据中台技术定位与选型
在数据时代下,各类数据信息爆炸式增长,数据的高效管理与应用成为处理数据的关键,以往数据建设方式逐渐滞后于现实需求,大数据需要得到更专业、更智能的处理。在该背景下,数据中台应运而生,其属于数据界面架构,依靠新技术从界面中复制数据,经过计算与加工后,为上层数据提供统一接口,使前台数据分析与应用更加便捷、高效。该技术包括许多内容,例如数据资产、模型、治理、服务与全域数据中心等,以系统化、体系化建设的方式满足当前企业发展的技术需求。在数据开发期间,核心模型变化较为缓慢,数据维护量较大,与业务创新速度间产生偏差。对此,可通过中台技术弥补开发与应用间的矛盾,避免或减少出现响应力低等问题。
在中台技术选型方面,根据数据流朝上进行技术选型,采用开源技术创建数据平台,具体如下:抽取层采用sqoop进行离线抽取,一些非结构化日志可利用flume接入;……
登录APP查看全文
