张国锋

摘 要：相对传统的分布式数据库和数据仓库技术，Hadoop和MapReduce技术以其简单性、良好的可扩展性和容错性成为当前大规模数据处理的主流技术之一。而Hive等软件产品在Hadoop基础上实现了与关系数据库的接口模式，从而进一步改善了Hadoop的易用性。数据存储使用Hadoop分布式存储，使用Hive特有的数据库语言HiveQL实现数据的查询以及分析操作。最后使用Java JFreeChart实现结果可视化，将结果以柱状图的形式显示出来。由于使用Hadoop作为基础，数据的查询分析速度更快，能够更好地与系统后台对接，方便管理者操作。

关键词：数据分析； 分布式存储； Hive； JFreeChart

Abstract： Compared to traditional distributed database and data warehouse technologies， Hadoop and MapReduce technologies become one of the mainstream of the current large-scale data processing for their simplicity， good scalability and fault tolerance. The Hive and other software products based on the Hadoop implement the interface and model of relational database， thereby further improve the easy using of Hadoop. Correspondingly， the frame structure arouses widespread attention and achieves extensive use. Hadoop-based Web consulting medical data analysis system is based on Hadoop which could be able to query and analyze data already stored in the system. Data is stored by using the Hadoop Distributed Storage， and by using the special database language HiveQL of Hive， the query and analysis of operating data are implemented. Finally， the use of Java JFreeChart achieves result visualization， the results are displayed in bar graph. Using Hadoop as a basis， data query and analysis are faster， which could better interface with the system to facilitate the operation of the administrator.

Key words： data analysis； distributed storage； Hive； JFreeChart

引言

如今已经进入大数据时代，各式各样的数据与日俱增。不仅是数据总量在迅速增加，同时数据生成速率也在不断增加。截止到目前，数据量已从TB级别跃升到PB、EB乃至ZB级别。

为了紧跟全球大数据技术发展的趋势，国内各界对大数据也赋予了高度关注。在这种情况下，人们要挑战的是，如何从大数据中提取价值最大的信息。

Hadoop2解决了namenode的单点故障和内存压力过大难以扩展问题，解决JobTracker单点故障和访问压力过大问题，同时还解决了对MapReduce之外的框架支持问题。

本系统主要研究的内容是对Web医疗咨询数据记录进行分析。使用HDFS和MapReduce，把预的数据导入并存储在集群的节点上。利用Hadoop自带的Hive数据库语言进行数据的查询和分析。数据分析的结果进行可视化，使得结果可以以图表的样式展示给用户。系统中需要使用JFreeChart中的柱状图样式将数据展示给用户。……