邵伟志，潘丽丽，雷前慧，黄诗祺，马骏勇

(中南林业科技大学 计算机与信息工程学院 湖南 长沙 410004)

0 引言

在深度学习中，大量标记数据对于神经网络的训练是至关重要的。但是对于许多深度学习的任务而言，获取这些标记数据是较为困难的，比如医疗任务中每一个标记都需要从专家的结论中得出。此外，通过网络获取的信息很大一部分是较为私密的，怎样标记这些数据也是一个复杂的问题。半监督学习[1]通过让模型从未标记数据中获取信息来减少对于标记数据的依赖，对于图像搜索、文本分类、文档检索[2]等任务，半监督学习都能取得很好的结果。近年来，半监督学习方法聚焦于在损失函数中增加损失项，这些损失项一般都是通过未标记数据取得的，促使模型更好地利用未标记数据中的信息来对数据进行分类。半监督学习方法可以大致分为熵最小化[3]、一致性正则化[4]与传统正则化[5]三类，但是已有方法往往很容易忽视数据互补信息与多阶段模型共同作用的优势。在上述研究基础上，本文提出一种新的半监督算法Mean Mixup，重新考虑模型生成伪标签的方法，通过多种数据增强方法使得模型能够学习数据的互补信息，并且让不同阶段的模型共同作用，最终让模型产生低熵预测来获取更准确的伪标签。为更好地应用一致性正则化，对标记数据和未标记数据进行混洗之后，根据数据类型传入不同的一致性损失函数，并使用比重系数调节来让模型能更好地从一致性正则化中受益。……