面向大数据应用挑战的超级计算机设计
2016-09-21廖湘科谭郁松卢宇彤周恩强国防科学技术大学计算机学院长沙410073
上海大学学报(自然科学版) 2016年1期
廖湘科,谭郁松,卢宇彤,谢 旻,周恩强,黄 杰(国防科学技术大学计算机学院,长沙410073)
面向大数据应用挑战的超级计算机设计
廖湘科,谭郁松,卢宇彤,谢旻,周恩强,黄杰
(国防科学技术大学计算机学院,长沙410073)

在大数据时代,大数据处理给面向高性能计算设计的超级计算机带来计算、存储、通信、编程等软硬件体系结构方面的挑战.对此在分析目前主流学术界和工业界相关研究成果的基础上,介绍了天河二号超级计算机系统针对大数据处理应用所采用的新型异构多态体系结构、自主定制高速互连网络、混合层次式存储系统、混合计算框架等多种优化措施,为大数据时代的超级计算机设计提供有意义的参考.
大数据;超级计算机;天河二号
大数据已成为当前各界关注的焦点,泛指大规模、超大规模的数据集.维基百科对“大数据”[1]的定义是,所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到收集、管理、处理并整理成为帮助企业经营决策的资源.数据咨询公司IDC提出大数据呈现4V(volume,velocity,varity,value)特性[2].容量(volume)体现为在信息世界里,产生、收集和分析的数据量从TB级别向ZB级别发展;产生速率(velocity)是指数据产生和传播的速度极快,呈现流动性特征;多样性(varity)表现为数据来自不同数据源,在编码格式、存储格式、应用特征等多个方面呈现多层次、多方面的差异;价值(value)是指大数据价值密度低,而商业价值高的特点.大数据蕴含大信息,大信息将在……
登录APP查看全文