甘俊英，吴必诚，翟懿奎，何国辉，麦超云，白振峰

五邑大学智能制造学部，江门 529020

0 引 言

噪声标签是指标注错误的标签，通常会降低深度神经网络的泛化性(Zhang等，2017；Arpit等，2017)。为避免噪声标签对深度神经网络的负面影响，针对噪声标签数据库的有监督分类成为一个重要研究方向(Algan和Ulusoy，2021a)。Wang等人(2019)提出对称交叉熵学习的方法，添加反向交叉熵作为损失函数，避免了仅使用交叉熵作为损失函数造成深度网络过度拟合噪声标签样本影响泛化。Xu等人(2019)提出一种新型的信息理论损失函数，这是第一个证明对与实例无关的标签噪声具有鲁棒性的损失函数，无论噪声模式如何，均可直接应用于任何现有的分类神经网络，而无需辅助信息。Liu等人(2020)提出利用半监督学习技术产生模型输出的目标概率，并设计一个正则化项防止深度网络记忆噪声标签。Algan和Ulusoy(2021b)提出在有噪声标签的情况下利用元学习训练深度网络。首先根据元目标寻求最佳的标签分布，即最小化小元数据集的损失；然后利用元软标签生成框架，生成预测的软标签训练网络；最后在训练过程中不断重复上述两个阶段，从而避免噪声标签的负面影响。Wang等人(2019)、Xu等人(2019)、Liu等人(2020)、Algan和Ulusoy(2021b)利用设计鲁棒性损失函数、正则化器或者利用元学习的方法避免噪声标签的负面影响，所提方法没有通过建立噪声模型估计噪声结构。

深度学习模型一开始会记忆简单样本，随着训练次数增加逐渐拟合到困难样本(Arpit等，2017)。当存在噪声样本时，深度学习网络甚至会记忆这些错误的标签从而影响泛化(Zhang等，2017)。……