面向大数据处理的并行计算模型及性能优化
2016-03-03文娟
中国高新技术企业 2016年6期
摘要:所谓的大数据是指那些无法用传统方法处理的数据信息,可以将其理解为海量数据与复杂类型数据的总和。大数据时代下,人们可以利用的信息增多,但是获取有效信息的难度明显加大,因此研究面向大数据的并行计算机模型及性能优化是非常有必要的。
关键词:大数据处理;并行计算模型;性能优化;数据信息;海量数据;复杂类型数据 文献标识码:A
中图分类号:TP391 文章编号:1009-2374(2016)06-0033-02 DOI:10.13535/j.cnki.11-4406/n.2016.06.017
信息技术的发展将人们推进了大数据时代,数据信息数量大、样式多且价值密度不高,使用传统的数据处理方法已经不能满足实际要求。为了更好地利用这些数据资源,在大数据时代的挑战中寻找到机遇,人们需要进一步研究并行计算机模型,实现模型优化,抓住大数据时代的机遇,促进大数据的进一步发展。
1 并行计算模型的发展趋势
首先,从计算机存储的角度来说,在大数据背景下将面临更加严峻的存储问题。我国计算机产业格局并不是处理与存储一体化,处理厂商与存储厂商处于相互分离的状态,导致这两项技术的发展出现不平衡现象,计算机系统的存储性能已经不能满足实际需要。从1985年到现在,计算机处理器性能以每年60%的速度提高,而存储性能的提升速度仅为每年9%。50%左右的差距导致处理性能与存储性能之间越来越不协调,因此未来在研究并行计算机模型时,会将存储性能作为重点研究对象。
其次,计算机体系结构中,多核逐渐成为主流。……
登录APP查看全文
