武乾坤，彭敦陆

(上海理工大学 光电信息与计算机工程学院，上海 200093)

1 引 言

多任务学习(Multi-task Learning，MTL)在机器学习领域中是一个很有前景的课题.对比单任务学习，多任务学习是把多个相关任务放在同一个模型中训练，同时学习多个任务.多任务学习机类似人类的一种学习行为，人类学习某一项技能时也会对除此之外的技能有提升效果，例如学习编程也能提高学生数学思维能力.多任务学习目标就是通过共同学习多个任务来帮助提升每一项任务性能.

自然语言处理领域中，大多数任务仅解决单一问题.由于单任务学习的目标往往只关注了局部信息，限制了模型的泛化性.而多任务学习能利用任务之间潜在信息，提取各个任务之间共通的特征，提高模型性能[1].

在深度学习领域，通常采用两种常用方法来实现多任务学习：1)参数硬共享机制；2)参数软共享机制.在参数硬共享机制中，不同子任务除拥有自己模型参数外还共享一部分参数.而在参数软共享机制中，每个任务都有自己的模型参数.任务之间使用正则化方式保障参数相似性.Long Duong等人使用L2正则化方式实现参数软共享机制[2].本文关注于参数硬共享机制实现自然语言处理多任务学习.

针对使用参数硬共享机制实现多任务学习，研究者倾向于用前馈神经网络作为共享参数层[3].为了使共享层能更好抓取数据中潜在信息，本文使用BERT预训练模型作为多任务之间的共享层.BERT作为一……