集成数据生命周期解决方案
2020-04-01傅一平
计算机与网络 2020年23期
傅一平
如今,数据成为了一种“新石油”,但是如何挖掘其价值?在数据的生命周期中有很多阶段,这就是企业需要采用一些方法和措施处理从数据收集到获得见解的整个生命周期的原因。几乎每个经历了数字化转型的企业都在努力利用收集到的大量数据,实际上,对于大多数企业来说,85 % ~ 95 %的数据从未得到充分利用,因此造成浪费。
数据的生命周期有许多阶段,其中包括数据获取、创建数据工程/数据集以赋予原始数据意义、大容量存储数据以供进一步使用和分析、创建数据库以探索数据,最后,还可以使用高级分析或机器学习从数据中提取见解,同时保持数据安全和完全的合规性。许多企业面临的挑战是如何更好地组合这样的系统,同时保持合理的成本并最大程度地減少部署和运营的时间,以及如何以更具意义的方式呈现数据,以便人们能够从中获得见解。
企业需要的是处理从数据的采集到分析整个数据生命周期的方法,同时还要保持开源的优势以及利用内部部署或混合云计算的能力。数据仓库可以处理存储和交付,但他们不能提供完整的解决方案。许多组织已经实现了数据云,无论是通过纯粹的开源产品(如Apache Hadoop)还是商业产品(如Talend,Informatica,Amazon Redshift,IBM,SAP,Oracle等),但这并不能解决整个数据生命周期方面的挑战,通常会迫使企业使用许多可能难以集成的附加异构产品。
尽管开源软件/系统似乎非常有吸引力,尤其是从成本角度来看,但“自行开发”实施功能解决方案的方法通常充满挑战,而其“免费”并不是真正的“免费”。……
登录APP查看全文
