云计算环境下海量数据分析系统的设计
2015-02-18苏亚妮霍米会
新技术新工艺 2015年9期
苏 曦,苏亚妮,霍米会
(1.西安医学院,陕西 西安 710021;2.陕西省人民医院,陕西 西安 710068;3.华为技术股份有限公司,广东 深圳 518000)
云计算环境下海量数据分析系统的设计
苏曦1,苏亚妮2,霍米会3
(1.西安医学院,陕西 西安 710021;2.陕西省人民医院,陕西 西安 710068;3.华为技术股份有限公司,广东 深圳 518000)
摘要:针对传统计算环境中海量数据存储、分析处理效率、实时性、完整性和数据维护费用等难题,利用云计算环境的超大规模、虚拟化、经济和安全可靠等特点,进行海量数据分析。基于分布式计算架构Hadoop,利用并行计算框架Map/Reduce,构建了典型的云计算环境,并采用数据仓库分析平台Hive,实现了高效、实用的海量数据分析系统的设计。以系统总体框架设计为基础,从客户端分析、接收服务器、后端数据分析和数据可视化等模块完成了系统设计,对海量数据分析处理系统设计具有一定参考价值。
关键词:海量数据分析;云计算环境;分布式计算;并行处理;系统设计
信息技术的飞速发展,使产生的信息量呈现爆炸式增长,为此,图灵奖获得者Jim Gray提出了一个新的经验定律:网络环境下每18个月产生的数据量等于有史以来数据量之和[1]。人们要想从这些海量数据中得到有用的信息和知识,传统的数据处理方法面临严峻的挑战,特别是在海量数据存储、分析处理效率、实时性、完整性和数据维护费用等方面[2]。云计算作为信息技术的新贵,将引领信息技术发展加速,将促进信息利用与共享。由大量云计算平台、云应用和云服务构成的云计算环境,为海量数据分析处理提供了超大规模、虚拟化、经济和安全可靠的系统环境[3-5]。……
登录APP查看全文
