一种基于对抗MSE度量的自编码网络优化方法
2021-01-16孟凡阳
深圳信息职业技术学院学报 2020年6期
柳 伟,孟凡阳,谭 旭
(1.深圳信息职业技术学院 广东省智能视觉工程技术研究中心,广东 深圳 518172;2.鹏城实验室,广东 深圳 518055)
1 概述
自编码网络是一种常用的无监督图像特征提取网络,其目的是尽可能重现输入图像的神经网络,假定输入和输出是相同的,通过训练神经网络参数得到每一层的权重,隐含层就是原始信号的近似表达[1]。由于自编码网络能够以无监督的方式提取图像特征和重构图像,因此在数据压缩、聚类和降噪等方面得到了广泛的应用。
自编码网络中常用的损失度量是计算输入图像与重构图像之间的MSE。然而,由于自然图像区域分布具有类别不平衡性,例如,图像中大部分为没有区分性的平滑区域,有区分性特征的非平滑区域相对较少,影响了基于MSE度量的自编码优化方法的性能,不仅导致重构的图像比较模糊,而且提取的特征区分性较差。因此,如何引入图像的分布特性,设计一个有效的损失函数,使其既能够有效提升图像的重构质量,又能够学习到有区分性的特征表达,成为自编码网络损失函数优化的难点。
目前解决类别不平衡问题的方法可以分为两类:一种方法是根据数据集分布的不均衡性调整数据的比例,例如过采样和欠采样方法[2,3],但是过采样会引入噪声,欠采样会导致多数类原始信息消失;另一种方法是代价敏感(Cost Sensitive)学习[4],通过引入类别权重改变算法的性能,对少数类样本分配较高的权重,对多数类样本分配较低的权重,使网络在学习样本时对高代价的少数类更加敏感。……
登录APP查看全文
