文/陈琳 展鹏

山东大学“大数据”探索

文/陈琳 展鹏

大数据有拿手强项，也有不擅长的领域。数据分析的结果看似客观公正，但其实价值选择贯穿了从构建到解读的全过程。

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用。

大数据解决方案

大数据时代的到来对数据的存储、处理及分析提出了新的挑战， 但总的发展趋势是通过分布式计算来解决 “瓶颈”问题。我们不能依赖提高单个节点性能这种纵向扩展的方式提升系统整体的性能，相反， 我们需要能够通过增加系统内节点的数目这种横向扩展的方式来达到我们的目的。我们将存储、 处理和分析的任务通过分布式的方式分散到系统中各个节点上来加快数据的存储、 处理和分析的速度。在 实 际 的 实 现 上 ，Google、Amazon、微软和 VMware这 4 家公司在不同时间陆续推出各自的大数据方案， 在应用领域和赢利模式上，Amazon和Google处于领跑者地位， 微软和 VMware 紧随其后，此外还有开源的Hadoop平台。Hadoop是谷歌大数据平台的开源实现， 由于其开源特性， 越来越多的企业在Hadoop的基础上对其进行修改以适应自己的需要，如Facebook根据其业务需求， 底层采用Hadoop 平台进行数据的存储和处理， 并在其上开发了Hive。Facebook通过Hive实现了例行性报表、 即席查询、 机器学习和数据挖掘算法， 达到了较好的效果。大数据的存储稳定、 高效的存储系统既是系统正常运行的重要保证， 也可以单独作为一项服务提供给用户。……