APP下载

基于大数据分析的海量信息软件系统设计与开发

2018-01-05李锦华

软件工程 2017年11期

摘 要:基于大数据分析前提下所开展的海量信息处理任务,在保障效率的同时更要确定准确程度。在此基础上本文重点分析了基于大数据环境下的海量信息软件系统逻辑构成,以及设计过程中的具体软件、硬件结构组成模式,为系统设计开发和任务进行建立适合的环境,全面提升数据信息处理速度,实现大数据分析环境下更高效稳定的功能。

关键词:大数据分析;海量信息;信息处理;软件设计;系统构建

中图分类号:TP391 文献标识码:A

Abstract:Based on big data analysis,the information processing tasks should be more determined and accurate in the process of ensuring efficiency.On this basis,this article focuses on analyzing the logical construction of the mass information software system based on the big data environment,and the specific structure model of software and hardware in the process of design.The suitable environment is established for system design and development tasks.The system greatly raises the data information processing speed,and implements functions with better efficiency and stability in the big data analysis environment.

Keywords:big data analysis;mass information;information processing;software design;system construction

1 引言(Introduction)

大数据分析是一种商业计算模式,其来源于分布式计算、并行计算和网格计算。Hadoop作为云计算的核心技术,目前在工业界得到了广泛的应用。Hadoop是Apache开源组织按照MapReduce的工作原理设计的一种开源的分布式处理框架,也是云计算环境下最著名的开源软件。在Hadoop系统中,应用程序可以并行运行在由大规模廉价硬件构成的分布式系统中。Hadoop在内部实现了容错和扩展机制,可以构建成高可靠性和高扩展性的分布式系统。在集群中运行分布式应用程序时,MapReduce编程模型简单易用。Hadoop提供的MapReduce编程模型是谷歌MapReduce的開源实现。在MapReduce编程模型中,开发者只需要编写Map和Reduce函数,而任务调度、容错等机制由底层实现。因此,即使开发者没有分布式系统的经验也能编写出高效的分布式应用程序。下文将以此为例进行重点论述。

2 基于大数据环境下的海量信息软件系统逻辑构

成(The logical construction of the mass

information software system based on the big data

environment)

2.1 逻辑分层

根据海量信息软件的处理需求,将大数据环境下的软件信息传输划分为三个层次,依次进行逻辑数据划分。……

登录APP查看全文