普洪飞，邵剑飞，张小为，魏榕剑

(昆明理工大学 信息工程与自动化学院，云南 昆明 650500)

随着互联网的飞速发展，如何从海量的数据推荐用户感兴趣的内容是至关重要的.现在大量APP 和网站都应用自己的推荐算法为用户推荐商品和服务，例如快手、抖音、淘宝、QQ 音乐等.

序列推荐通常认为用户在某个时刻的行为（点击，购买）由该用户之前多个时刻决定的，它将用户与物品的交互视为动态的、顺序性的序列[1].序列推荐算法可分为传统推荐和基于深度学习推荐.传统的推荐主要有马尔科夫链模型[2]和协同过滤[3]等.基于深度学习的方法主要有循环神经网络（Recurrent Neural Network，RNN）[4]、长短期记忆网络（Long Short-Term Memory，LSTM）[5]和基于注意力机制的 Transformer 架构(Bidirectional Encoder Representations from Transformers,BERT)[6]等，它们都是针对用户对项目的交互关系进行建模.

RNN 和LSTM 依赖于前一时刻的计算结果无法很好地并行运算，且RNN 和LSTM 均无法很好地处理长距离依赖问题.实际中，每个人的兴趣是随时间动态变化的，例如，用户在某段时间内对数码感兴趣，另一时间段对衣服和化妆品感兴趣.为了捕捉这种变化，沈学利等[7]将自注意力机制与长短期兴趣偏好融合，实现推荐性能的提升.Zhou等[8]通过给定目标项目成功捕获用户的动态兴趣，但是它无法捕获到序列行为间更好的依赖关系.Zhou 等[9]设计带有注意力机制的门控循环单元对用户行为之间的依赖性进行建模，根据兴趣直接导致连续行为的原则，提出辅助损失，利用下一个行为监督当前隐藏状态的学习，从而对……