陈青莲 方晓平 蔡之华

（中国地质大学 武汉 430074）

1 引言

高光谱遥感图像分类技术已大量应用于土地利用、地物识别、环境监测等领域［1］。现有的高光谱遥感图像分类算法有监督学习与非监督学习，现在倍受关注的是监督学习。然而此类方法需要大量的标记样本。在高光谱遥感图像信息提取中，标记样本非常困难，其代价极其昂贵，这使得高光谱遥感图像的标记样本数目非常少，而未标记样本数目非常多。主动学习能够以极少标记成本获得较高分类性能，能很好地解决此类问题。

目前，主动学习已被诸多学者成功地应用于高光谱遥感图像的分类应用中。Jashi 等［2］用支持向量机的主动学习对高光谱遥感图像分类，并得到了较高的分类精度；Scheffer 等［3］用朴素贝叶斯的主动学习成功提取信息；Lindenbaum 等［4］用K 近邻作为分类器进行主动学习，表现出较好的泛化能力。然而，这些算法在实验中都存在一些局限性。Yu等［5］提出性能更优越的基于超限学习机的主动学习算法（Active Learning Based on Extreme Learning Machine，AL_ELM），该算法以超限学习机为分类器，与以往主动学习算法相比，该算法有更快反应速度，较高泛化能力并能直接对多类别进行分类，既能够解决支持向量机和K 近邻等分类时间长的问题，还能解决朴素贝叶斯分类精度不高的问题。然而，该算法用于高光谱遥感图像分类时效果不佳。我们通过研究与实验，引入核学习机制。实验结果表明，基于核超限学习机的主动学习算法与其他算法相比，有较强的泛化能力及更快的反应速度。

2 核超限学习机及主动学习

2.1 核超限学习机

超 限 学 习 机（Extreme Learning Machine，ELM）［6，15～16］的基本思路是：设有N 个不同的训练样本(xi，ti)∈Rn×Rm，i=1，…，N ，xi是n 维特征向量xi=(xi1，…，xin)T，n 为输入结点数目。ti是xi对应的类标记，是m 维输出向量ti=(ti1，…，tim)T，m是输出结点数目。训练样本类标记与ti之间的关系为：如果xi原本的类标记是p，那么ti={0，…，0，1，0，…，0}，其中，ti的第p 个元素为1，其他的元素为0。

根据超限学习机的理论，如果带有L 个隐藏结点的单隐层前馈神经网络（Single-hidden Layer Feedforward Networks，SLFNs）能以零误差近似于N个样本，那么就存在βi，ai和bi，使得

其中，ai=(ai1，…，ain)T表示第i 个隐藏层结点与输入结点之间的输入权值，bi表示第i 个隐藏层结点对应的隐藏偏置，βi=(βi1，…，βim)T表示第i 个隐藏层结点与输出结点之间的输出权重，xj=(xj1，…，xjn)T表示第j 个样本。上面的公式用矩阵的形式可以表示如下：

其中

其中，G(ai，bi，xj)用来计算针对第j 个训练示例的第i 个隐藏层结点的输出，其解析形式如下：

超限学习机的目的是：在满足约束条件的情况下，惩罚函数误差最小化。而其中，最关键的问题是求出β 。在神经网络中，输出权重的范式‖ ‖β与网络的泛化性能有着十分紧密的联系。‖ ‖β 越小，泛化性能越好；反之，泛化性能越差。求解输出权重β 的问题转化成求以下优化问题［7］：

其中，εi=[εi，1，…，εi，m]T是对于训练样本xi的m 个输出结点构成的训练误差向量。超限学习机的输出函数为：

然而当用户不确定隐藏层输出向量时，定义核超限学习机的核矩阵：

输出权重为

此时，核超限学习机的输出函数为

此时并不需要知道隐藏层结点数目，只需知道核函数即可。本文核函数为RBF函数，具体形式为

在求出f(x)之后，就可以求出样本xi的类标记。对于样本xi而言，该样本的标记为

其中

2.2 主动学习

主动学习（Active Learning，AL）由Lewis和Gale于1994 年提出［8］。主动学习的目的在于以尽可能少的训练样本尽可能高地提高分类精度［13］。在执行主动学习的过程中，从未标记样本集选择有利于提高分类性能的样本，并将这部分样本交给专家标记，然后一起加入到训练样本集中，增大训练样本集的规模。利用更新后的训练样本集，重新训练分类器，并用新的分类器对测试样本集预测，如此迭代下去，使得训练样本集的规模越来越大，分类器性能越来越好，就达到以尽可能少的训练样本得到尽可能高的泛化性能的目的。

2.3 输出向量转化为后验概率

核超限学习机的输出向量元素值并不一定在0 和1 之间，因而不能直接当作概率来使用。当处理二分类问题时，可以按照下面公式将输出向量转化成后验概率［5］：

其中，每个样本x 的输出向量为f(x)=[f1(x)，…，fm(x)]T，fi为样本x 的输出向量的第i 个元素，p(y=1|fi(x))表示样本x 的输出向量的第i 个元素为1的概率，即样本属于第i 类的后验概率。

然而，以上的方法仅仅在处理二分类问题时有效。在处理多分类问题时，样本的后验概率之和有时候并不等于1，相反，后验概率之和往往还大于1。为了解决该问题，需要将每个样本的后验概率归一化处理，使样本的后验概率之和等于1。可以采用以下方法将每个样本的后验概率归一化处理：

其中，p'(y=1|fi(x))为样本x 进行归一化处理之后的后验概率，而p(y=1|fi(x))表示样本x 属于第i类的原始后验概率。

从上面的两个公式中可知，在核超限学习机中，样本x 所属的类别可以标记为该样本x 的输出向量中值最大的元素所在的位置。而不管是对于二分类问题，还是多分类问题，将输出向量的元素值转化成后验概率之后，样本x 所属的类别同样地可以标记为样本所属类别中后验概率最大的类别的标记。如此，就可以将核超限学习机的输出向量成功转化成后验概率，这是基于核超限学习机的主动学习算法中最关键的问题。

3 基于核超限学习机的主动学习算法

假设标记样本集XL={(xi，ti)|xi∈Rn，ti∈Rm，i=1，2，…，NL} ，未 标 记样本集XU={xi|xi∈Rn，i=1，2，…，NU}，每次被选样本的个数h，核函数G(x)，惩罚因子C 和核参数γ。根据以上讨论的思想，基于核超限学习机的主动学习算法按照以下步骤选择候选样本：

算法 基于核超限学习机的主动学习算法流程

1.通过式（7）用标记样本集XL计算极限学习机的核矩阵；

2.用式（8）计算初始输出权重β0；

3.设置算法迭代次数k=0 ；

4.迭代以下步骤，直至算法终止：

4.1 运用式（9）计算未标记样本集XU中每个候选样本的输出向量；

4.2 针对二分类问题用式（13），针对多分类问题用式（14），将样本的输出向量转化成后验概率；

4.3 根据式（15）计算未标记样本集XU中每个样本的适应值，即不确定度值；

4.4 将未标记样本集XU中样本适应值排序，根据式（16）从中选出适应值最小的前h 个样本组成批样本集合Sk；

4.5 将批样本集合交给专家标记，可以表示为Sk={(xi，ti)|xi∈XU，ti∈Rm}；

4.6 将这批样本集加入到标记样本集中，XL=XL∪Sk；同时，将这批样本从未标记样本集中删除，XU=XUSk；

4.7 由新的标记样本集XL用式（8）更新隐藏层输出权重βk+1；

4.8 k=k+1；转入4.1。

基于核超限学习机的主动学习，正是依据上面的步骤，将核超限学习机的输出向量转化成后验概率，实现对样本的分类。

4 实验结果

实验采用的数据集是Indian Pine，KSC 和DC三种数据集，分别从候选样本集中选择三种不同规模的样本。实验结果以分类精度和运行时间两种评价指标来评价算法性能。从表1 中可以看出，Mclu_Kelm 比Mclu_Elm，Mclu_Nb 和Mclu_Knn 有更高的分类精度。而在处理这三种数据集时，Mclu_Kelm 与Mclu_Svm 有极为相近的分类精度。该实验表明，Mclu_Kelm算法有较强的泛化能力。

表1 在不同数据集和不同选择规模的情况下，各个算法的分类精度（%）

从表2 中可以看出，Mclu_Kelm 所用时间始终远远少于Mclu_Svm 和Mclu_Knn，在很多情况下，与Mclu_Nb相似甚至要快。但因为核学习的引入，所用时间比Mclu_Elm 要长。总而言之，该实验表明，Mclu_Kelm 在处理高光谱遥感图像分类时比现有的常见算法有更快的响应速度。

表2 在不同数据集和不同选择规模的情况下，各个算法的运行时间（ms）

从表1 和表2，综合分类精度与运行时间两个方面来看，在处理高光谱遥感图像的分类任务时，Mclu_Kelm 不仅有比较高的分类精度，而且有更短的响应时间。由此说明，Mclu_Kelm 非常适用于实时性高光谱遥感图像分类应用。

5 结语

主动学习在高光谱遥感图像分类中得到广泛应用［14］，并取得很高的分类精度。然而，由于分类器的选择及存在大量非线性数据，导致高光谱遥感图像分类精度有待提高，而响应时间都比较长。在超限学习机中加入核学习，不但提高了学习速度，还可以改善处理非线性数据的分类泛化能力。实验表明Mclu_Kelm 在处理三个高光谱遥感数据集时，不仅分类精度比较高，而且有更短的响应时间。因此，论文提出的算法可以应用于军事侦察、危险环境监测等实时性场景之中。