郭 辉，郭静纯，张 甜

(宁夏大学 信息工程学院，宁夏 银川 750021)

0 引 言

传统的机器学习、深度学习方法通常将注意力集中在单个任务上，在部分领域甚至能取得超越人类行为的优异性能；但却无法做到像人类一样，利用不同任务之间的关联信息，触类旁通地掌握更多的知识技能。或者说，通过共享相关任务之间的表征，可以使模型更好地概括原始任务，这被称为多任务学习。它是一种模仿人类泛化能力的方法，让多个相关任务并行学习，在学习过程中，每个任务都会提供属于自己特定领域但同时也有助于学习其他任务的信息，这可以有效提高网络的泛化能力。因此，多任务学习方法的关键是在所有任务的联合假设空间中引入归纳偏置，这种归纳偏置反映了网络对任务相关性结构的先验认知[1]。如何更好地利用网络结构实现共享是目前多任务学习面临的主要挑战之一[2]。

作为多任务学习最常用的一种深度神经网络结构，硬参数共享通过让多个任务共享一些隐藏层来学习任务之间的联合表示，而在输出端根据每个任务的不同特性划分出各自的分类器预测输出层[3]。硬参数共享神经网络在设计共享层结构时，不需要对任务之间的关系进行精确建模，这虽然简化了网络结构设计，但是也导致网络在训练的过程中无法根据任务的实际相关性调节共享量。此外，每个任务的分类器预测输出层是相互独立的，这会阻断共享信息在该层的自适应传播，因此网络也无法利用输出层建立任务之间的相关关系。……