系统管理员嘉年华
——LISA 2010之一海量数据管理时代来临

世界上并不只有研究人员和技术人员的会议，系统管理员们同样有自己的会议，LISA（Large Installation System Administration）会议就是系统管理员们一年一次的嘉年华。LISA会议是由USENIX举办的会议，专门讨论系统管理的技术与工具，让全世界的管理员们有机会交流彼此的经验，分享最新的工具和管理思想。

第24届LISA会议于2010年11月在美国的圣何塞市召开。协办方组织是LOPSA（the League of Professional System Administrators）和SNIA(Storage Network Industry Association)。LOSPA是USENIX下属的一个独立组织，主要面向系统管理员。

2010年LISA会议的一个重要主题是海量数据的管理，一方面由于会议的主题是针对大规模系统，另一方面也是由于互联网内容的不断变化（视频数据的增加）。本文将介绍LISA会议上关于海量数据管理的几篇报告。

大型强子对撞机的计算处理挑战

拥有据说能毁灭地球的大型强子对撞机（LHC）的CERN（欧洲粒子物理研究中心）的IT部分负责人Tony Cass解说了这台大型物理实验设备背后的计算处理设施。

为了捕捉实验中每个质子或中子的活动，系统需要拍摄数百万张的电子照片，并将它们存储下来。目前的数据量大约是每秒100MB到1GB,每年大约需要存储25PB（25，000TB）的数据。CERN采用双层的数据处理机制，在CERN中心只保存短期的数据，通过遍布世界的网格系统存储长期数据。

在软件上CERN采用了Oracle公司的RAC系统来保证系统的扩展性，并开发了CVMFS（CERNVM-FS，一种缓存文件系统）作为底层的文件系统支持。

这个系统除了扩展性，最重要的问题是可靠性，由于组成网格系统的每一台机器并非都是高性能的稳定服务器，基本上每个小时都会在网格中出现某台机器的存储故障，CERN通过冗余分配存储任务来保证系统的稳定性。

维塔数码的存储性能管理

维塔数码是新西兰著名的电影特效公司，由于3D技术的引入，它必须面对管理数据的海量增长。维塔公司最主要的工作就是少数艺术工作人员制作模型，然后将模型的渲染任务发布到后端强大的并发系统上。

维塔公司在文件系统上遇到了很多具体的问题。维塔公司并没有采用真正的并发文件系统，因为他们认为并发文件系统采用了过多的数据存储文件的元数据件系统的管理，同时并发文件系统需要将文件划分成若干块存储到不同的存储系统中，而维塔公司处理的数据包含大量的小文件和少量的大文件，把小文件再进行划分是一件没有效率的事情，因此维塔公司采用文件链接方式重新组织位于不同目录的文件，实现了一个伪并发文件系统LinkFarm。

为了提高文件系统的性能，维塔还实现了一种硬盘空间的隐藏技术，因为当硬盘可用空间很少时，文件系统大部分的时间都用在搜索空闲块上，通过隐藏小的可用空间，可以通过一小部分硬盘空间的损失来换取文件系统性能的大提升。

以太网统治存储大势已定

尽管光纤存储系统比现有网络存储系统(iSCSI)更安全、更快，但基于以太网的存储最终将代替或占据存储系统的主流。iSCSI协议的方便、便宜和广泛支持将让其获得更大的发展，而10Gb以太网的发展将给iSCSI协议超越光纤存储系统的机遇。而各大主流存储厂商提出的光纤存储系统和以太网的融合技术尚不成熟。而最高层的网络文件系统(NFS，network File System)也在继续着自己的发展，NFS的第四版是相当成熟的文件系统，而并发NFS(pNFS)也是现在存储厂商主流支持的协议。尽管未来网络存储鹿死谁手依然难以预计，但以太网统治存储的大势已不会改变。