科学工作流与高性能计算集成方案
2014-02-10李有福李小龙田文洪
赵 勇,李有福,李小龙,刘 鹏,田文洪
(电子科技大学计算机科学与工程学院 成都 611731)
我们正在进入一个“大数据”时代,全球产生的数据量呈“爆炸式”的增长。根据最近的IDC研究报告,在2010年全球的数据信息总和达到1 ZB(zettabyte)。Google和Bing等搜索引擎每天都会产生数TB的搜索日志。社交网络产生的数据量也十分巨大,Facebook每月产生300亿条内容,包括web链接、新闻、状态、博客文章和视频与图片的评论等[1]。科学界同样面临来自实验数据、模拟数据、传感器数据和卫星数据等“数据泛滥”问题[2]。欧洲核子研究组织的大型强子对撞机[3]每秒钟能够产生大于100 TB的碰撞数据;GenBank[4]是全球最大的DNA序列数据库之一,其中已经包含了超过1 200亿个碱基数据,并且这一数量每9~12个月翻一番。物理学、地球学、医学等许多领域的数据量也在快速增长。
科学工作流管理系统(SWFMS)对于科学计算有重要的意义,它们提供了工作流定义、过程协调、作业调度与执行、资源跟踪和容错等功能。Taverna[5],Kepler[6],Vistrails[7],Pegasus[8],Sw ift[9],VIEW[10]等工作流系统在许多领域都有广泛的应用,如物理学、天文学、生物信息学、神经科学、地球学和社会科学等。同时,科学设备和网络计算的发展向可靠的工作流系统在数据规模和应用复杂度方面发起了新的挑战。
高性能计算(high performance computing,HPC)是计算机科学的一个分支,可以最大限度提高系统的I/O、计算和数据传送性能。主要用于解决大规模科学问题的计算和海量数据的处理,如科学研究、气象预报、计算模拟、军事研究、CFD/CAE、生物制药、基因测序、图像处理等。
本文提出一个将科学工作流系统与高性能计算平台结合的方案,集成方案涵盖工作流定义与提交、流程解析、任务调度与执行以及状态监测等工作流管理涉及到的所有主要过程。……
