APP下载

结合降噪和自注意力的深度聚类算法

2021-09-13陈俊芬赵佳成谢博鋆

计算机与生活 2021年9期

陈俊芬,张 明,赵佳成,谢博鋆,李 艳

1.河北大学 数学与信息科学学院 河北省机器学习与计算智能重点实验室,河北 保定071002

2.北京师范大学珠海分校 应用数学学院,广东 珠海519087

聚类是把无标签数据划分为若干个不相交的类簇,挖掘出有价值的特征和类别信息[1-2]。深度聚类是指基于深度学习技术的聚类方法。相较于传统聚类方法,深度聚类利用网络结构自动学习输入数据的潜在特征,并通过最小化聚类损失函数调整网络参数来达到最优的聚类指派。

自编码器(auto-encoder,AE)是近年来一种经典的无监督学习的非线性特征提取方法[3-5]。自编码器拥有对称结构能进行特征维度约简,其瓶颈层输出可以学习到高维输入数据的低维紧凑的特征表示[6-7]。早期的深度聚类工作是分开执行特征提取与聚类分析[8-9]。特征提取和聚类划分任务依顺序进行,两者耦合度低,学到的特征表示不一定带来好的聚类划分。为了克服这一不足之处,堆叠自编码器的深度嵌入式聚类模型DEC(unsupervised deep embedding for clustering analysis)用联合学习策略来学习特征表示和类标分配[10]。通过不断迭代优化KL损失函数调整模型参数和K-means 的聚类结果。这种联合训练能捕捉适合聚类的特征表示,提高了聚类性能。但当图像的质量下降(噪声、姿态、表情、光照、背景等因素造成),特征映射空间会出现较大偏差,在类边界处的出错率很高,说明特征表示的可分性不够。视觉注意力机制最大化有限的注意力,从局部获得有价值的信息,抑制无用信息。……

登录APP查看全文