何士豪,张玉龙,唐启凡

(西安交通大学软件学院,710049,西安)

近年来,随着计算机和网络技术的快速发展,“大数据”一词开始频频出现在大众视野,随着海量数据的涌现,如何有效地在数据中挖掘出有价值的信息成为热门的研究课题。其中,多视角数据因其包含更全面的信息而成为热点研究数据。多视角数据是指同源数据的多种表示形式,例如,一幅图片可以由颜色、纹理、边缘等特征表示,一篇文章可以由多种语言表示等。聚类分析一直以来是数据挖掘的主要任务之一,其中子空间聚类是聚类分析中的重要研究部分。传统的子空间聚类算法在处理多视角数据时,通常是将多视角数据简单拼接为单视角数据,然后对其应用经典的单视角子空间聚类算法[1-3]。这种做法的优点是简单快捷,但同时带来了一系列缺点。首先,多视角数据具有互补性与一致性的特点[4]。互补性是指各视角包含其他视角所不具备的信息,各视角所含数据信息具有互补性。一致性是指来自同一数据源的各视角数据所包含的基本信息是一致的[4]。单视角聚类算法仅将多视角数据简单拼接,无法有效地挖掘多视角所包含的丰富信息,因此无法取得较好的聚类效果。其次,多视角数据中含有大量重复数据和噪声数据,简单地将其拼接成单视角数据时,往往会带来维度灾难,导致数据庞大而冗余。因此,近年来多视角聚类算法受到越来越广泛的关注。

多视角聚类算法通过提取多视角间的互补性[5-7]或一致性信息[8-12]来提升聚类性能。然而,随着研究的深入,单一地探索多视角数据的互补性或一致性信息已不能满足聚类性能要求。于是,一系列同时探索多视角数据的互补性和一致性信息的聚类算法被提出[13-15],这些算法通过对多视角共享的邻接矩阵和单视角私有的邻接矩阵添加规范项来更全面地探索数据信息,进一步提升了聚类性能。

这些多视角聚类算法具有开创性意义,且聚类性能均达到非常优秀的水平,其中关于多视角子空间聚类的研究主要集中在线性子空间的聚类上。然而,现实中数据不一定严格地符合线性子空间模型,例如,在人脸图像聚类中,反射率通常是非朗伯式的,而且拍摄对象的姿势经常变化,在这些条件下,面部图像更像是在一个非线性的子空间中[15]。针对这个问题,文献[16-18]通过核技巧[19]进行了尝试,但目前仍需依靠经验选择核类型,并且没有严格的证明表示核所属的隐式特征空间可以完美地适配子空间聚类。近年来,越来越多的研究工作将深度学习与子空间聚类结合,利用自编码器将数据映射到非线性子空间,通过在编码器与解码器间的全连接层学习邻接矩阵进行子空间聚类[15,20-22]。实验表明,自编码器可以有效挖掘多视角数据间的非线性子空间关系,从而提升聚类性能。

为了在非线性子空间中同时挖掘多视角数据中的互补性与一致性信息、最大程度地利用多视角数据的有效信息提升聚类性能,一种行之有效的方法是将深度学习与传统的多视角聚类算法相结合,例如:文献[23]利用两个网络分别挖掘数据的互补性与一致性信息,然而由于两个网络的独立性,多视角共享的相似度矩阵和多视角独有的相似度矩阵是独立的,两种相似度矩阵缺乏关联性,未能充分挖掘相关信息,导致某些数据集上的实验效果欠佳;文献[24]利用全局结构和局部结构使得多视角共享的系数矩阵与多视角私有的潜在特征表示产生连接,同时利用规范项挖掘多视角数据的互补性信息,然而其缺乏对聚类标签的有效利用,导致系数矩阵的学习缺乏反馈过程,很难学习到好的特征表示。尽管聚类标签不一定正确地标记所有数据点的类信息,但其包含一些有价值的信息,因此可以用聚类标签来监督自表达系数的训练过程,以提升聚类性能[25]。

本文提出一种互补与一致的多视角子空间聚类网络(C2MSCN),用来解决自监督式地在非线性空间中同时挖掘多视角数据的互补性与一致性信息的问题。C2MSCN由编码器、自表达层、谱聚类模块和解码器组成。C2MSCN中的数据流通过程主要有4个阶段:①编码器将原始数据映射到非线性空间;②自表达层在非线性空间同时学习各视角共享的自表达系数矩阵和各视角私有的自表达系数矩阵;③将自表达系数矩阵供给谱聚类模块聚类,得到聚类标签,谱聚类模块将聚类标签返回网络;④解码器将自表达数据还原到原始空间。C2MSCN算法在4个评价指标下6个数据集的对比实验中取得了1.25的平均排名;参数敏感度实验和消融性实验表明,C2MSCN算法能够有效地在非线性子空间中探索数据互补性与一致性,并且在不同数据集上表现稳定。

1 相关工作

1.1 子空间聚类

假设高维数据来自低维子空间,子空间聚类的任务是将一群高维数据分为多组,为每组数据寻找一个适配的低维子空间[4]。自表达是指用属于同一子空间的数据的线性组合来表示高维数据,数据的线性组合系数被称为自表达系数,由所有数据的自表达系数组成的矩阵被称为自表达系数矩阵。子空间聚类的流程是:①构造自表达系数矩阵;②构造相似度矩阵;③应用谱聚类得到聚类结果。子空间聚类的重点是如何利用自表达系数矩阵正确地恢复数据的子空间结构。近年来,子空间聚类算法主要研究如何学习一个优质的数据自表达系数矩阵。其中一些优秀的算法包括:SSC通过对自表达系数矩阵添加L1范数,保证了自表达系数矩阵的稀疏性[1];LRR通过对自表达系数矩阵添加核范数约束,挖掘了自表达系数矩阵的低秩性[2];深度子空间聚类网络(DSCN)在编码器与解码器间加入自表达层,在编码器映射的低维非线性空间中学习自表达系数矩阵,可以对具有复杂或非线性潜在结构的数据有效地聚类,从而弥补了传统子空间聚类算法只能探索线性数据关系的弊端[15];自监督卷积神经网络(S2SCN)在DSCN的基础上加入了自监督模块,将自表达系数矩阵的学习与谱聚类结合,首次利用聚类标签信息监督自表达系数矩阵的学习[25];多级深度子空间表示学习(MLRDSC)取用自编码器网络多个中间层数据,并利用自表达层学习中间层数据共享的自表达系数矩阵和中间层数据私有的自表达系数矩阵,融合了多个中间层数据的互补性与一致性信息,通过挖掘网络的中间层数据提高了聚类效果[26];基于差分演化算法的软子空间聚类在目标函数中综合利用了模糊加权类内相似性和界约束权值矩阵,并用复合差分演化算法搜寻子空间聚类,有效地提高了聚类效果[27]。

1.2 多视角聚类

多视角聚类的关键是如何充分利用多视角数据的有效信息来提升聚类效果。目前,一系列多视角聚类算法通过对多视角数据的关系进行建模或者学习数据的内在表示来提高聚类效果[23]。RMSC通过学习公共低秩概率转移矩阵来融合多视角数据的有效信息,通过学习各视角的私有稀疏噪声矩阵来处理多视角数据中的噪声,有效地融合了多视角数据信息,过滤了噪声[8];LMSC首先将数据从原始空间映射到潜在的数据空间,然后在潜在空间学习自表达系数矩阵,从而挖掘了更深层的数据信息[9];Co-Reg假设多视角数据具有相同的类别关系,对不同视角间的特征向量矩阵添加协同约束,利用一个视角的数据信息去优化其他视角特征向量矩阵的学习,以此挖掘多视角数据信息[6];一致与特殊多视角子空间聚类(CSMSC)通过学习多视角共享的自表达系数矩阵和多视角私有的自表达系数矩阵,在线性空间同时挖掘了多视角数据间的互补性与一致性信息[4];一种双重加权的多视角聚类算法利用互信息学习各个视角的权重,并将各视角权重用于基于内容和基于上下文的多视角表示,充分利用了两种数据形式下的多视角数据间的互补性信息[28]。

1.3 自编码器

自编码器通过将数据映射到非线性低维空间来提取数据的内在非线性特征。因此,在子空间聚类中,可以利用自编码器来挖掘多视角间潜在的非线性关系[15]。深度多模态子空间聚类(DMSCN)将自编码器与多视角聚类结合,采用端对端的训练算法,利用多视角数据间的一致信息,在非线性空间中学习公共自表达系数矩阵,从而克服了传统多视角聚类算法无法探索多视角数据间非线性关系的弊端[21];自编码器网络中的自编码器算法(Ae2-nets)由内部自编码器和外部自编码器组成,内部自编码器由自编码器网络组成,外部自编码器由退化网络和内部自编码器网络组成,首先单独训练内部自编码器,然后通过退化网络将潜在特征退化为内部自编码器的中间层特征表示Z′,通过优化真正的中间层特征表示Z与Z′的差距得到良好的潜在特征,从而自适应地平衡多视角数据间的互补性与一致性信息[29]。

2 互补与一致的多视角子空间聚类网络

2.1 网络结构

图1 互补与一致的多视角子空间聚类网络

2.2 目标函数

根据C2MSCN的网络结构,目标函数由重构损失、自表达损失、多样性规范化项、自监督规范化项和其他约束共5部分组成。

(1)重构损失。由于端对端的训练方式,输入编码器的原始数据与输出解码器的重构数据间存在重构损失。重构损失项通过约束自编码器的网络参数,确保原始数据经编码器编码获得的隐式特征可以通过解码器还原到原始数据,从而保证隐式特征的有效性。重构损失定义为

(1)

(2)自表达损失。潜在特征表示与自表达特征间存在自表达损失。自表达损失项通过约束自表达系数,确保原始数据与其自表达系数表示形式具有一致性。自表达损失定义为

(2)

(3)多样性规范化项。为充分挖掘多视角数据间的互补性信息,参考文献[24],在私有自表达系数矩阵间引入多样性规范化项

H(Di,Dj)=‖Di⊙Dj‖0

(3)

式中:⊙表示哈达玛积;‖·‖0表示矩阵的L0范数;Di表示第i视角自表达系数矩阵。利用多样性规范化项使两个矩阵尽可能正交。理想情况下,如果Di的(a,b)位置不等于0,规范化项将迫使Dj的相同位置为0,使得私有自表达系数基于位置尽可能不相同。因此,多样性规范化项可以挖掘不同视角数据在不同集群中的互补信息。由于L0范数的非凸性,将L0范数松弛为L1范数[18],Di与Dj间多样性规范化变为

H(Di,Dj)=‖Di⊙Dj‖1=tr((Di)TDj)

(4)

所有视角的私有自表达系数矩阵两两之间的多样性规范化之和构成总的多样性规范化项

(5)

(4)自监督规范化项。参考文献[25]中的研究工作,即使谱聚类产生的聚类标签不一定与真实聚类相同,聚类标签仍包含一些价值信息,可以用谱聚类的输出来监督自表达系数的训练过程。从自表达模块学习到自表达系数矩阵应包含足够的预测数据点的类标签信息。因此,将谱聚类的目标函数作为自监督规范化项,具有监督自表达模块训练的效果。在得到自表达系数矩阵后,计算出相似度矩阵A=(|C|+|C|T)/2,其中|C|代表对矩阵C求绝对值。通过最小化损失函数

(6)

对相似度矩阵A应用谱聚类得到聚类指示矩阵Q。式(6)中,M={Q∈{0,1}k×N,s.t.1TQ=1T,rank(Q)=k}是具有k类的有效聚类指示矩阵的集合,qm和qn表示Q的第m列和第n列向量,分别指示第m个视角数据与第n个视角数据所属的类别,1为元素全是1的向量,利用谱聚类模块为网络提供的聚类标签信息Q构造自监督规范化项

(7)

S为相似度矩阵,构造算法为

(8)

由式(7)可以看出,自监督项可以衡量相似度矩阵S和聚类指示矩阵Q间的差异性。在已知Q的情况下,最小化式(7)会有如下效果:当qm不等于qn时,迫使相似度矩阵S的(m,n)位置项Sm,n趋近于0;当且仅当qm等于qn时,Sm,n才有可能为非0项。背后的意义是:当第i项数据和第j项数据不属于同一簇时,迫使它们之间的相似度趋于0;只有当它们属于同一簇时,它们之间的相似度才有可能为非0项。相似度矩阵由公有自表达系数C和私有自表达系数Di组成,于是式(7)间接地约束C和Di,从而为其自表达系数的训练提供反馈,达到自监督公有自表达系数和私有自表达系数的效果。

(5)其他规范化项。理想情况下,各个子空间应该是相互独立的,子空间中的数据应仅由属于同一子空间的其他数据表示[26],于是公有自表达系数应具有块状结构,即稀疏的矩阵结构,L1范数可以迫使它具有系数的矩阵结构。另外,对私有自表达系数加入F范数约束可以保证连通性,使得私有自表达系数更紧密,从而消除连通性问题[4]。为保证自表达系数的这些特征,参考文献[26]的思想,对公共系数C和私有系数Di添加约束

(9)

式中QT|C|的第(i,j)位置元素表示在构建数据j时使用属于第i个簇的数据比例。与‖C‖1促使整个矩阵所有元素稀疏性不同,Lc仅促进样本簇成员数据间的稀疏性。换言之,它鼓励每个数据仅由具有相同类标签的样本表示,从而使样本对不同子空间的成员预测变得平滑。此外,正则化项Ld使得不同矩阵的元素在数值上趋于相似,从而增强了与相似度矩阵的连通性[26]。

将所有约束项相加得到目标函数

(10)

目标函数有λ1～λ5共5个超参数:λ1负责调节自表达重构约束的强度;λ2和λ4分别负责调节共享系数矩阵和私有系数矩阵的稀疏程度;λ3和λ5分别调节私有自表达系数矩阵的多样性程度和自监督规范化项程度。

2.3 训练策略

C2MSCN算法分为3个阶段:第1阶段预训练自编码器网络;第2阶段正式训练整个网络;第3阶段利用自表达系数矩阵构造相似度矩阵进行聚类。

(2)微调阶段。首先,使用预训练阶段得到的多视角编码器参数和多视角解码器参数初始化自编码器。然后,迭代优化编码器参数、解码器参数和自表达层参数(共享自表达系数与私有自表达系数)以获得最优参数。参考文献[15]的训练策略,使用Adam优化器优化目标函数,并设置优化器的初始学习率为1.0×10-3。由于加入了自监督规范化项,在训练过程中需利用谱聚类模块更新Q。采用间隔式的方式更新Q,即每隔一定的迭代次数更新一次Q,原因有两点:①由于自表达系数是随机初始化的,在初始迭代阶段,其包含的正确信息不多,这会导致由其构造的相似度矩阵S具有很强的误导性,最终导致聚类指示矩阵Q具有误导性,如果此时利用Q约束自表达系数,会导致自表达系数偏离正确的优化方向,影响迭代速度;②更新Q的过程就是进行谱聚类的过程,如果每迭代一次都进行一次谱聚类,将导致很大程度地增加算法的收敛时间,得不偿失。因此,间隔式更新Q既能保证自监督效果,又能节省时间,是权衡时间与效果后的结果。

最后,基于相似度矩阵应用谱聚类得到聚类结果。算法流程如下。

输入:多视角数据{X1,X2,…,XV},超参数λ1～λ5,预训练迭代数M′,学习率α,Q的更新周期T0,最大迭代数Tmax。

1 设置λ1=…=λ5=0,随机初始化自编码器网络参数,设置t1=0。

2 WHILEt1

3 优化LRE,更新自编码器网络参数;

4t1←t1+1;

5 END WHILE

6 随机初始化C、Di(i=1,2,…,V)、Q,使用预训练阶段得到的网络参数初始化自编码器网络,设置t=0;

7 WHILEt

8 IFt%T0==0 THEN

9 通过谱聚类模块更新Q;

10 END IF

11 优化目标函数,更新整个网络参数;

12t←t+1;

13END WHILE

14构造相似度矩阵,应用谱聚类得到聚类结果。

输出:聚类结果

3 实 验

3.1 实验设置

3.1.1 数据集 本文使用6种广泛应用的多视角数据集进行实验。Yale是一个包含15人共165张人脸图像的数据集,每张图像的光线、人脸的表情等特征均有所不同。ORL是一个包含40种不同对象的数据集,每个对象含10张在不同光线、面部表情和脸部细节下采集的图像。对于Yale和ORL数据集,提取强度、局部二值模式(LBP)和Gabor共3种图像特征作为3个视角。BBCSport[8]数据集里包含了BBC Sport网站的544篇运动新闻文章,文章涵盖两个视角下的5种专题领域。3sources[30]数据集包含BBC、Reuters和Guardian共3个视角的新闻,共有169篇文章和6个主题。Newsgroups(NGs)[30]数据集是20Newsgroups数据集的子集,由3个视角的500个样本构成。Movie数据集包含了17个电影种类下的617部电影,由演员和关键字两种视角描述。

3.1.2 评价指标 本文使用4种评价指标评估聚类算法的聚类效果:归一化互信息N、准确率A、F分数F和修正随机指数R。4种指标都是值越大代表聚类效果更好。

(1)归一化互信息。计算预测结果与实际结果的归一化相似度,定义为

(11)

式中:B是样本总数;ni和nj分别为真实簇标签是第i簇和第j簇的样本数;ni,j为真实簇标签是第i簇而聚类结果标签为第j簇的样本数。

(2)准确率。用来评估聚类的准确率,定义为

(12)

式中:li是真实簇标签;ci是聚类结果簇标签;f(ci)是映射函数,将聚类标签映射到真实标签;{li=f(ci)}的定义为

(13)

(3)F分数。基于准确率与召回率的评价指标,定义为

(14)

式中K为召回率。

(4)修正随机指数。随机指数r的改良版本,定义为

(15)

3.1.3 对比算法 对比算法选取2种单视角聚类算法和8种多视角聚类算法,多视角聚类算法包括5种经典算法和3种深度学习算法。

单视角聚类算法:①BSV,对多个视角进行谱聚类,选择最优的聚类效果;②LRRbest[2],使用LRR算法对多个视角进行聚类,选择最优的聚类效果。

多视角聚类算法:①特征拼接(FeaCon),合并所有视角的特征,对合并的数据进行谱聚类;②Co-Reg[6],通过协同约束的算法隐式地将多视角的图融合,利用一个视角的数据去优化其他视角特征向量矩阵的学习;③RMSC[8],通过低秩稀疏分解得到共享的概率转移矩阵,将其输入基于马尔可夫链的谱聚类算法进行聚类;④LMSC[9],寻找数据的潜在表示空间,在潜在表示空间进行子空间聚类;⑤CSMSC[4],在原始数据空间同时学习共享自表达系数矩阵和私有自表达系数矩阵,最后利用其构造邻接矩阵进行谱聚类;⑥DMSCN[21],用卷积神经网络提取深层数据特征,利用自表达层融合多视角数据信息得到共享自表达系数矩阵,使用共享自表达系数构造相似度矩阵进行谱聚类;⑦Ae2-nets[29],利用自编码器非线性提取深层数据特征,通过最优化退化网络的输出与自编码器中间层数据的损失来优化退化网络以及多视角数据共享的潜在特征表示,在目标函数收敛后将潜在特征表示输入K-means算法得到聚类结果;⑧DMSC-UDL[24],利用自编码器将数据映射到非线性空间,通过约束多视角数据潜在特征和自表达系数,同时挖掘多视角数据的互补与一致信息。

DMSC-UDL与本文算法相同之处在于:二者均利用自编码器将多视角数据映射到非线性空间,以更好地适应具有非线性关系的子空间;二者都同时挖掘了多视角数据的互补性与一致性信息以提升聚类效果。不同之处在于:DMSC-UDL在自表达过程中仅学习了公共的自表达系数,未学习私有自表达系数,且是通过对多视角数据的潜在空间表示进行约束来挖掘多视角数据间的互补信息,本文算法在自表达过程中同时学习了公共的自表达系数和私有自表达系数,且通过对私有自表达系数进行约束来挖掘互补信息;DMSC-UDL未加入自监督约束,而是加入了局部结构约束来挖掘数据的局部特征,本文算法利用聚类信息监督自表达系数的学习过程,以学习到更好的自表达系数,提升聚类效果。

3.2 结果分析

3.2.1 对比实验 表1～6展示了C2MSCN算法与对比算法在6个数据集上的4种评价指标效果。调节所有对比算法的超参数,记录其最优效果。对所有算法均运行30次,并在表中以“平均值(标准差)”的形式记录。表中效果最好的数据用加粗表示,次好的用加粗下划线表示,再次的用下划线表示。

表1 Yale数据集对比实验结果

表2 ORL数据集对比实验结果

表3 BBCSport数据集对比实验结果

表4 3sources数据集对比实验结果

表5 NGs数据集对比实验结果

表6 Movie数据集对比实验结果

由表1～6可知,在Yale数据集上,C2MSCN算法在N、A、R、F上比第二名算法分别提升了6.846%、6.337%、10.826 3%和7.735 3%。对比传统多视角聚类算法RMSC和LMSC,C2MSCN算法在所有数据集上的4个评价指标均优于它们的。在ORL数据集上,C2MSCN算法的N低于CSMSC算法的0.3%;在其他数据集上,C2MSCN算法的4个评价指标上均优于CSMSC算法的。对比近年来的深度多视角子空间聚类算法DMSCN和Ae2-nets。在3sources数据集上,C2MSCN的F优于DMSCN算法的1.5%;在其他数据集上,C2MSCN的4个评价指标均优于DMSCN和Ae2-nets的,这验证了C2MSCN算法的优越性。对比类似的深度多视角子空间聚类算法DMSC-UDL。在Yale数据集上,本文算法的4个指标均位居第一;在其他数据集上,本文算法与DMSC-UDL不相上下。这是因为有些数据集如BBCSport、3sources等具有明显的局部结构,挖掘其局部结构会明显提升聚类效果,所以DMSC-UDL效果更好,而有些数据集如Yale并不具备明显的局部结构,所以本文算法效果更好。

由表4可知,在3sources数据集上,C2MSCN的A、N、R低于最好算法DMSCN的约10%。这是因为3sources数据集是由BBC、Reuters和Guardian这3家知名新闻网站围绕6个主题报导的共169篇文章组成。由于不同新闻网站的语言风格大相径庭,且语言具有很大的发挥空间,有时带有歧义,导致了即使是同一主题,不同新闻网站报道的文章在文字层面具有很强的属于新闻网站的独特色彩,这些不一致信息非但不具有互补性,反而会影响聚类结果。所以,对于同时利用多视角的互补性与一致性信息的算法,如CSMSC、Ae2-nets、C2MSC,过度挖掘多视角间的不一致信息反而会使得聚类效果比仅挖掘多视角间一致性信息的DMSCN算法的效果差。

相比其他多视角聚类算法,C2MSCN算法的优越性主要体现在3个方面:①深度卷积网络提取非线性数据特征,经过全连接层同时学习共享自表达系数和私有自表达系数,使C2MSCN算法可以在非线性空间中同时探索数据的互补性与一致性信息,在更复杂的子空间关系中充分挖掘了多视角数据的有效信息;②多样性规范化使算法更充分地挖掘多视角数据间的互补信息;③自监督规范化项利用聚类标签信息对自表达模型反馈,有效地监督自表达系数的学习过程。

3.2.2 参数敏感度实验 为了分析不同参数对算法的影响,对所有参数进行了敏感度实验。图2～6展示了参数在Yale数据集上的敏感度实验结果。在研究某一参数时,固定其他参数。每组参数实验均运行5次。

图2 λ1敏感度实验结果

图3 λ2敏感度实验结果

图4 λ3敏感度实验结果

图5 λ4敏感度实验结果

图6 λ5敏感度实验结果

λ1～λ5取自{10-4,10-3,10-2,10-1,100,101,102,103}。由于本文算法参数较多,很难在研究单一参数时获取其他参数的最佳值,在权衡时间与效果后,进行了一定的妥协。在进行参数敏感度实验时,首先固定其他参数为1,在[10-2,102]内以10倍间隔对参数λ1进行选择;获得此时λ1最佳值后固定λ1,在[10-2,102]内以10倍间隔对参数λ2进行选择;获得此时λ1和λ2最佳值后固定λ1和λ2,在[10-2,102]内以10倍间隔对参数λ3进行选择,直到获得所有参数的妥协最佳值。当获得所有参数的最佳值后,为测试参数的敏感度,在更大的范围内如[10-4,103]以10倍间隔对所有参数进行敏感度实验。实验结果显示,在固定其他参数的情况下,当λ1小于10-2时,聚类效果良好且在较小的范围内波动。同样,当λ2小于101、λ2小于100、λ5小于10-1时,C2MSCN均能取得良好的聚类效果,且参数具有较广泛的选择范围。这说明C2MSCN的参数的选择具有一定的鲁棒性。图4表明,选择合适的λ3对聚类效果具有很大的提升,恰当地挖掘多视角数据间的互补信息是提升多视角聚类效果的关键。

3.2.3 收敛性实验 为验证本文算法的收敛性,对Yale数据集进行收敛性实验,结果如图7所示。可以看出,在200次迭代后,本文算法的聚类效果已达到最优且在小范围内上下波动。在其他数据集上同样如此。由此,本文算法的收敛性得到了验证。

图7 收敛性实验结果

3.2.4 消融性实验 为验证多样性规范化和自监督规范化项的有效性,在Yale数据集上对C2MSCN算法进行了消融性实验研究,结果如表7所示。表中:M1为不带自监督规范化项和多样性规范化的算法;M2为只有自监督规范化项的算法;M3为只有多样性规范化的算法;M4为C2MSCN算法;效果最好的数据用加粗表示。

表7 在Yale数据集上的消融性实验结果1

由表7可以看出:M2性能超过了M1,说明自监督规范化项对自表达系数矩阵学习的监督有效提升了聚类效果;M3的性能超越了M1,说明多样性规范化有效地挖掘多视角间的互补信息,提升了聚类效果;M4的性能超过了M1、M2、M3,说明自监督规范化项和多样性规范化能同时提聚类效果。由此,加入多样性规范化和自监督规范化项的有效性得到了验证。

为验证公有自表达系数和私有自表达系数对聚类效果结果的影响,在Yale数据集上对C2MSCN算法进行了消融性实验研究,结果如表8所示。表中:N1为只利用式(10)第1项构造相似度矩阵S的算法;N2为只利用式(10)第2项构造相似度矩阵S的算法;N3为C2MSCN算法;效果最好的数据用加粗表示。

表8 在Yale数据集上的消融性实验结果2

由表8可以看出,N1的性能超过了N2,即仅利用多视角数据的一致性信息对聚类性能的影响超越了仅利用多视角数据的互补性信息,说明在本实验中多视角数据的一致性信息包含了更多有效的聚类信息;N3的性能超过了N1,说明同时利用多视角数据的互补性与一致性信息能有效地提聚类效果。由此,公有自表达系数和私有自表达系数对结果的影响得到了验证。

4 结 论

多视角子空间聚类算法的研究中,如何在非线性子空间中同时充分地挖掘多视角数据间的互补性与一致性信息是提升聚类效果的关键。针对这个问题,本文提出了一种互补与一致的多视角子空间聚类网络,用来自监督式地在非线性子空间中同时探索多视角数据的互补性与一致性信息,提升聚类效果。本文的主要结论如下。

(1)提出了一种多视角子空间网络。该网络通过深度自编码器将多视角数据映射到非线性空间,以探索多视角数据的非线性子空间关系。通过规定公共自表达矩阵和私有自表达矩阵,同时探索数据的互补性与一致性信息。利用多样性规范化充分挖掘多视角数据间的互补信息。添加谱聚类模块对中间结果聚类获得聚类标签信息,并利用自监督规范化项监督自表达系数矩阵的学习。

(2)6个数据集上的实验结果表明,本文算法的N、A、R、F这4个评价指标在大部分数据集上优于其他算法的,其中在Yale数据集上,比近期提出的CSMSC、DMSCN和Ae2-Nets算法分别提高了8.3%、6.3%和11.7%。

(3)由参数敏感度实验可以看出,多样性规范化项参数的稳定性不够,选择范围不够宽,如何更稳定地挖掘互补信息有待后续研究。