吴云龙，李玲娟

(南京邮电大学 计算机学院，江苏 南京 210023)

0 引 言

入侵检测系统(intrusion detection systems，IDS)[1]在保障企业网络的安全性方面扮演着至关重要的角色。为了有效监测访问行为的异常与否，数据挖掘技术被广泛应用到入侵检测系统中。数据挖掘算法分为两类：有监督和无监督[2]。无监督的聚类算法有K-Means、模糊C均值聚类(fuzzy c-means，FCM)等。FCM[3]在传统C-均值算法中添加隶属度矩阵来判定某条数据所属类别。这种算法在运算过程中需要多次迭代，当数据量特别大或者数据样本属性很多的时候，运算速度会大大降低。为了提高FCM算法对大数据的聚类效率，设计了FCM算法基于具有实时计算特点的大数据计算平台Spark[4]的并行化实现方法。该方法采用HDFS分布式存储底层数据，运用RDD对数据进行转换，用持久化技术进行中间结果的重用。为了检验该并行化FCM算法的有效性，用该算法对KDD CUP 99数据集聚类来进行入侵检测，首先对入侵检测数据集KDD CUP 99[5]进行了特征值提取等预处理，然后利用实现的FCM算法对训练数据集聚类得到聚类中心，再用测试数据集进行聚类效果检验。

1 相关技术

1.1 FCM算法分析

聚类分析可以在大量数据中挖掘隐藏的规律[6]。从聚类的结果来看，聚类算法可以分为两大类：软聚类和硬聚类。硬聚类是把某一个数据点明确划分到某一个类；软聚类是将样本个体通过隶属度标识出与各个类簇的隶属关系[7]，模糊C均值聚类算法FCM是经典的软聚类算法[8]。模糊的概念是指，用[0,1]之间的隶属度来确定某个点属于某个类的程度。……