漫谈大数据时代的数据架构设计
2020-08-09金琦刘宗凡邱元阳倪俊杰杨磊邵建勋
中国信息技术教育 2020年16期
关键词:分析
金琦 刘宗凡 邱元阳 倪俊杰 杨磊 邵建勋



编者按:在大数据技术的帮助下,一个全新的世界正向我们敞开大门,随着形态各异的数据的日益增多,大数据管理成为大数据发展中的一大挑战。上期我们对大数据及其代表处理架构Hadoop做了技术流介绍,本期各位老师将解构数据领域(数据仓库、数据湖、数据中台)相关概念,引导读者能据此有的放矢地构建自己的大数据体系观。
金琦:在上一期中,我们对大数据的基本概念和大数据处理的代表框架Hadoop进行了介绍。Hadoop分布式文件系统(HDFS)是大数据技术典型代表。这个开源软件框架的设计初衷就是解决在分布计算集群中的存储和处理大量数据集的难题。随着大数据的蓬勃发展,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如数据仓库、数据湖、数据中台等,这些概念特别容易混淆,本期对这些名词术语及内涵进行系统的解析,便于读者对数据平台相关概念有全面的认识。
数据仓库
刘宗凡:包括教育在内众多机构的数据建设经历了分散建设、主数据集中和大数据平台多个阶段,大数据重在挖掘,提到数据挖掘不能不谈数据库和数据仓库。数据库主要是针对事务的,数据仓库主要是针对主题。例如,露天市场与超市都在卖菜,它们的区别是市场里摊主自己卖菜,所以他会把青菜、萝卜、冬瓜等放在一起销售。换个角度说,市场里的蔬菜相当于计算机里的数据,摊主相当于应用程序,蔬菜按照摊主的要求归堆,就相当于数据按照应用程序即事务去处理。……
登录APP查看全文
