臧冬松，霍 菁，梁 栋，孙功星

(1.中国科学院高能物理研究所，北京 100049；2.中国科学院大学，北京 100049)

1 概述

高能物理实验产生了海量数据，位于法国和瑞士边境的大型强子对撞机(Large Hadron Collider, LHC)每年可产生25 PB的数据；改造后的北京正负电子对撞机(BEPCII)和北京谱仪(BESIII)的取数效率和性能大幅提高，2012年产生的数据量超过了过去几年的总和。数据量的不断膨胀促使不断探索新的数据存储和计算技术。谷歌公司自2003年后相继发表的 GFS[1]、MapReduce[2]和 BigTable[3]引领了互联网界大数据处理的技术革新，而随后基于 Google实现的Hadoop[4]开源项目，更是被众多的公司和厂商广泛采用和支持，成为大数据领域的标准。

目前Hadoop在高能物理实验中的全面应用还非常少，但已经出现了许多探索和部分应用。美国的7个CMS实验网格站点采用了HDFS作为存储系统[5]；意大利国家核物理研究所探索了利用Hadoop的MapReduce框架分析高能物理实验数据[6]；文献[7]探索了在亚马逊云计算中采用Hadoop框架进行高能物理数据分析。

本文分析高能物理数据分析的流程和特点，以及高能物理普遍采用的 ROOT[8]软件及ROOT格式文件的I/O特性，给出一种基于Hadoop框架的高能物理数据MapReduce分析系统，并进行初步的评估。

2 背景介绍

2.1 高能物理数据处理

高能物理数据的处理主要包括数据的重建、分析以及模拟。粒子经高速对撞后产生的信息经过传感器的捕获和在线系统的筛选后，被传送到离线系统中进行存储，这些数据叫做原始数据，以RAW文件格式存储。原始数据由一个个的事例(Event)组成，以文件的形式保存到磁盘存储系统中，同时在磁带库中长期保存；……