陈颖，于炯，*，陈嘉颖，杜旭升

（1.新疆大学 软件学院，乌鲁木齐 830091； 2.新疆大学 信息科学与工程学院，乌鲁木齐 830046）（∗通信作者电子邮箱yujiong@xju.edu.cn）

基于交叉层级数据共享的多任务模型

陈颖1，于炯1，2*，陈嘉颖2，杜旭升2

（1.新疆大学 软件学院，乌鲁木齐 830091； 2.新疆大学 信息科学与工程学院，乌鲁木齐 830046）（∗通信作者电子邮箱yujiong@xju.edu.cn）

针对多任务学习模型中相关度低的任务之间存在的负迁移现象和信息共享困难问题，提出了一种基于交叉层级数据共享的多任务模型。该模型关注细粒度的知识共享，且能保留浅层共享专家的记忆能力和深层特定任务专家的泛化能力。首先，统一多层级共享专家，以获取复杂相关任务间的公共知识；然后，将共享信息分别迁移到不同层级的特定任务专家之中，从而在上下层之间共享部分公共知识；最后，利用基于数据样本的门控网络自主选择不同任务所需信息，从而减轻样本依赖性对模型的不利影响。相较于多门控混合专家（MMOE）模型，所提模型在UCI census-income数据集上对两个任务的F1值分别提高了7.87个百分点和1.19个百分点；且在MovieLens数据集上的回归任务的均方误差（MSE）值降低到0.004 7，分类任务的AUC值提高到0.642。实验结果表明，所提出的模型适用于改善负迁移现象的影响，且能更高效地学习复杂相关任务之间的公共信息。

多任务学习；信息共享；负迁移；神经网络；迁移学习

0 引言

多任务学习在一个模型之中同时学习多个不同任务，能通过任务之间的信息迁移有效提升模型学习效率［1］，目前已广泛应用于自然语言处理、机器翻译、计算机视觉等领域［2-6］。……