陈锐忠，魏理豪，梁哲恒，邹小武

（1.南方电网公司 信息化评测重点实验室，广东 广州　510000；2.广东电网有限责任公司 信息中心，广东 广州　510000；3.赛迪顾问股份有限公司 广东 广州　510500）

基于Hadoop的海量数据处理模型研究和应用

陈锐忠1，2，魏理豪1，2，梁哲恒1，2，邹小武3

（1.南方电网公司 信息化评测重点实验室，广东 广州510000；2.广东电网有限责任公司 信息中心，广东 广州510000；3.赛迪顾问股份有限公司 广东 广州510500）

文中针对如何从海量数据中提取有用价值信息这一开发应用问题，通过分析现有计算和存储技术，并且结合Hadoop的技术研究，设计了一种海量数据处理模型，该模型是以Hadoop技术为基础的。文中先介绍了分布式系统，然后描述了Hadoop架构，最后介绍了本设计的海量数据处理模型。该模型通过一系列设计可以有效的缓解了网络压力，同时它不需要程序员具有相应专业的经验就可以对超大系统进行整理并且获得所需资源。该模型具有高效率、低成本以及易维护的特性。

Hadoop；海量数据；分布式；数据预处理

当今社会中，Web是最大的信息系统，它的价值主要来自于众多用户产生的数据，那么，如何在具有多样性、传输条件不确定性等特点的海量数据中提取出有价值的信息，这对程序员是一个很大的挑战与难题。随着时代进步以及网络技术的发展，人们处理数据的能力也越来越强大。海量数据对计算机以及服务器都是一个巨大的考验，在处理海量数据问题的过程中有很多困难，针对处理海量数据的问题，主要是将有用的数据从海量数据库中提取出来，最后将有价值信息的数据导入数据库中用于进一步的挖掘。……