，

(郑州大学 信息工程学院，郑州 450052)

IB方法(Information Bottleneck)是Tishby等人在1999年提出的一种基于信息论的数据分析方法[1]，该方法通过最小化源数据与聚类之间的互信息来实现对数据的压缩，最大化聚类结果与相关信息的互信息来达到对相关信息保存的目的[2]，从而有效地发现数据中隐含的模式。这种算法在文本聚类[3-4]、图像聚类[5]、星系光谱分析[6]、基因表达式分析[7]等领域都得到了有效的应用。

顺序IB算法(sIB)是Slonim于2002年提出的[3]，该算法主要是对待分析数据对象按其与另一数据对象的相关性进行“硬”划分，使划分在一起的对象体现出源数据对象所蕴含的某个特征模式。sIB是较好的IB算法，但是它假定样本中各维特征对分类的贡献是均匀的，事实上，由于数据集中，特征矢量的各维特征来自不同的传感器，存在量纲、精度及可靠性的差异。为了考虑特征矢量中各维特征对聚类结果的不同贡献，本文提出了一种基于特征加权的顺序IB算法，该算法利用特征加权技术ReliefF对特征进行加权，即给特征集中每一个特征赋予一定的权重，并迭代更新权值，然后根据权值大小变化特征集。特征加权后再对其进行聚类分析，不仅使聚类效果优于传统聚类算法，同时可以分析各维特征对聚类的贡献程度。

1 IB和sIB算法

1.1 IB算法

IB算法是在率失真定理基础上扩展的一种新的数据分析方法。对于率失真定理，失真度量的选择是一大难题。因为对于数据资源分布p(x)，不同的率失真函数会产生不同的结果。……