双感知门控交互的多任务推荐模型
2023-06-07陈育康
林 建,吴 云,陈育康
贵州大学 计算机科学与技术学院,贵阳550025
+通信作者E-mail:wuyun_v@126.com
多任务学习(multi-task learning,MTL)[1]已成功地应用于许多推荐应用场景中。例如,在微视频的多任务推荐中,需要同时优化微视频的点赞、转发、关注和读评论等多目标任务。然而,像微视频这种的多任务推荐问题中,多任务之间复杂的相关性,使模型难以同时学习到每个任务的最优。在之前大多数的工作中,如多门混合专家(multi-gate mixture of experts,MMOE)[2]在硬参数[3]的基础上考虑使用门控来学习不同任务的参数,一定程度上解决了任务之间的冲突。MTL 模型往往会出现性能负迁移的问题。在PLE(progressive layered extraction)[4]中指出,一个任务的性能通常会通过降低其他一些任务的性能而得到提高,PLE将学习参数分离成共享和专有的方式,通过参数共享和专有参数学习到多任务中的共性和差异性。尽管这些经典的模型在多任务的表现中取得了较好的结果,然而过去的工作中没有探索底层特征学习的方式,另外多任务之间的参数经过门控网络后每个任务的参数是独立的,没有考虑到任务之间的学习参数可以互补。为了进一步有效解决多任务负迁移的问题,本文提出了一种双感知门控交互的多任务推荐模型(multi-task recommendation model of dual perception gated interaction,DPGIMTRM)。DPGI-MTRM模型具有多个任务共享的组件和任务特定的组件,主要包括双感知专家层、门控层、交互层、输出层。双感知专家层对输入特征学习不同层级的表示,从元素级和向量级的双感知方面提取更丰富的特征隐含表示。同时通过门控层来选择不同任务学习到的共享参数和特定任务参数。……