APP下载

数据碎片化

2018-09-28GerardFrancis

IT经理世界 2018年19期
关键词:彭博数据源来源

Gerard Francis

数十年来,数据碎片化一直是各行业面临的供应链挑战之一。多样的数据来源、参差不齐的质量、重要的数据验证要求都可能引发效率低下和各种风险。而金融机构数据获取与供应的碎片化由于行业的特殊性和重要性尤其引人关注。

金融机构依赖数据进行投资策略优化,支持关键业务运营,但数据集的采购与管理面临着挑战:数据来源不同造成数据碎片化或将导致数据沿袭的中断。这是许多行业的共性问题,但就金融机构而言,通过关注数据来源的质量与可靠性或许可以找到解决方案。

数据获取、管理和分发的过程对下游数据的质量、一致性、成本和价值有着重要影响。特别是在当下可用数据越来越多,需要内容输入的系统也越来越多的背景下,数据的运营效率对于一个机构未来的成功变得至关重要。

数据供应链的管理人员强调,碎片化数据固有的挑战数不胜数: 首先,符号系统和识别码因来源各异。基础数据结构与数据集亦不相同,需要花费大量的时间、精力和分析计算能力才能实现同质化。 其次,当模型的数据源不同或不同频率的数据集被合并时,金融机构会在资产估值和风险计算中获得前后不一致的结果。如果交易员与风控官拿到的风险值不同,他们之间就不会有有效协作;更严重的是,真正的风险敞口可能被忽视。在解决来源不一致的过程当中,前台、中台和后台可能受到这些因素的干扰,发生流程故障。总而言之,多种数据来源会带来更高的运营风险和成本。

彭博去年开展了一项首席数据官(CDO)定性研究。研究显示,首席数据官们正疲于向公司内部的关键利益相关者讲解数据质量、治理与合规的重要性,尤其是面对多德-弗兰克法案、MiFID II、GDPR以及巴塞尔BCBS239这些法规时的重要性。企业在监管合规方面按部就班之后,首席数据官往往开始将工作重心转移到业务数据的效率、价值以及深入洞察上面。由此,新的重点——解决数据碎片化问题就提上了日程。

亚洲多维监管环境下的数据

整个金融服务行业的现状是:多种数据来源带来更多复杂问题,进行清理则需要人力和技术资本的更大投入。用于分发的技术多样,可能导致数据整合与维护工作的重复。大量的数据重叠导致成本效率低下,而分散的数据源又要求建立多个合同关系和模型,这些都加剧了问题的复杂性。

在亚洲,数据碎片化往往有多个维度,范围跨越不同地区、司法辖区和监管制度。在欧盟和美国统一接受MiFID II和多德-弗兰克法案约束的背景下,亚洲却没有统一的上层监管体系。另外,大相径庭的政治、经济、市场和商业环境,都使得在亚洲地区可能难以实现高度数据整合。

然而,数据和金融服务具有无界限的性质,而且这一特性表现的日益突出,在亚洲经营的企业也有遵守或看齐美国和欧盟要求的需要,因此越来越多的企业开始重视理解数据供应链,并着力对其进行整合。

这意味着亚洲的企业或许有机会弯道超车,领先西方同行。例如,亚洲的银行近年来已开始构建自己的技术,同时不得不做出艰难的抉择——坚持一个数据源,还是使用多种数据源。我们越来越多地看到,机器学习和预测分析正促使企业在内部建立自己的数据湖,从而使企业的数据源单一化而不是依赖众多的第三方。在起步时做出正确的数据选择,将为企业奠定未来的方向。

新兴市场的机遇:统一数据,统一来源?

近年来,我们观察到金融服务业的数据需求呈现分布广泛且不断升级的特点。企业的数据需求日益增长,包括:资产类别和工具的全面覆盖、可靠的参考数据和主数据、实时市场数据、定价和估值数据、以及业务攸关的分析与风险计算。对于需要评估市场流动性、跟踪波动性和管理风险的公司而言,实时数据尤为重要。 加之大量的监管和会计要求,数据需求变得更为复杂,因此,首席数据官更加需要简化数据和技术流程。

有意思的是,新兴市场的一些金融服务公司在这方面可能比更成熟的全球化公司具有优势。由于对成本敏感且缺乏资源,这些公司恰好可以避免数据碎片化的陷阱。这类公司偏好能提供灵活性和敏捷性的更轻量、云端就绪的技术平台。从一个综合來源获取高质量数据,降低了对于连接多个数据源所需的技术、能源、法律和运营等间接成本,有助于提高成本与合规管理的效率。

从长远来看,金融服务业为满足自身的主要数据需求最终可能会转向采用一个数据源——确立一个可靠的技术合作伙伴作为其值得信赖的多种数据集。单一数据源可跨部门保证数据一致性,减少业务工作流程中的数据中断,并降低操作风险和总体数据成本。彭博研究显示,成本是首席数据官们当下最大的痛点。实际上,约六成的受访者表示他们计划迁移到单一的主要数据供应商,另有三分之一的受访者表示他们计划减少供应商。

越来越多的公司正在选择彭博这样的企业级数据公司来管理全部数据需求,因为只有企业级数据公司才可以提供全面的数据集、行业领先的数据分发和统一的数据模型。与彭博合作过的数据管理人员表示,他们已经成功减少了一半甚至高达三分之二的数据管理成本。

有一点是无可争议的——随着市场数据、分析和深入洞察日愈重要,以及监管数据需求日益增长,通过精简数据来源,获取高质量数据将成为首席数据官们的工作重点。

(作者Gerard Francis是彭博企业数据业务全球负责人,本文由彭博授权刊发)

猜你喜欢

彭博数据源来源
将来吃鱼不用调刺啦
试论《说文》“丵”字的来源
“赤”的来源与“红”在服装中的应用
Web 大数据系统数据源选择*
牛敏、崔旌涛、孙海姣、彭博作品选
基于不同网络数据源的期刊评价研究
基于真值发现的冲突数据源质量评价算法
分布式异构数据源标准化查询设计与实现
关于『座上客常满;樽中酒不空』的来源