潘伟博， 汪海涛， 姜 瑛， 陈 星， 田 帅

(昆明理工大学 信息工程与自动化学院， 云南 昆明 650500)

Hadoop[1]是一种分布式系统平台，可以有效地划分大规模数据，以并行方式均匀地映射和分发任务，目前已经被广泛应用于大数据与云计算等领域[2]。但随着Hadoop集群节点数量的增加，集群以及节点在管理和维护方面的困难也不断增加。当Hadoop集群中某些节点发生异常时，会导致集群整体作业性能降低，但用户很难检测和识别导致节点异常的原因。首先，Hadoop日志数据难以读取且不规则，并且没有直接的方法来判断节点是否发生异常；其次，发生异常时日志数据中关于节点错误的信息很少。因此，及时发现异常节点并诊断原因是至关重要的。

在早期的研究中，通常使用离线检测技术分析历史数据来诊断Hadoop集群中的异常节点[3-4]。Pan等[5]提出了一种基于体系结构层性能指标分析的方法，通过Ganesha工具检测Hadoop集群中的异常节点。Guo等[6]提出了一种针对Hadoop集群日志数据进行自动化分析方法，通过提取分布式系统执行控制流和数据流的状态进行初步节点异常检测。Tang等[7]提出了一种Hadoop集群异常检测视图工具，从时间、空间与性能度量三个性能指标分析Hadoop集群中可能出现的问题。随着集群节点数量的不断增加，实时检测异常节点变得越来越重要。Manjunatha等[8]基于Spark框架提出了一种混合分层算法，通过学习每个备份端点的特征，自动地选择一组异常值进行检测。Fathnia等[9]提出了一种轻量级异常检测工具，结合日志信息分析和系统指标检测异常节点。……