阎世宏，马为之，张 敏，刘奕群，马少平

(清华大学 计算机系 北京信息科学与技术国家研究中心，北京 100084)

0 引言

随着信息技术的快速发展，互联网中的信息总量激增与用户有限的认知能力间的矛盾构成了严重的信息过载问题。推荐系统作为一种个性化服务，能够向用户主动推荐其感兴趣的信息、商品等(以下统称“物品”)来缓解信息过载问题。近年来，推荐系统已被广泛应用于电子商务、电影音乐、新闻推荐、社交网络等多个场景。

在推荐系统研究中，如何准确刻画用户兴趣是最重要的一步。在真实场景下，用户兴趣是非常复杂且多变的。一方面，用户会有长期的偏好与兴趣，在相当长的一段时间内保持稳定。另一方面，用户在一个时间段内可能对部分内容更感兴趣，随着时间推移产生实时的需求与兴趣点。因此，从长期与短期两个角度学习用户的潜在兴趣对提高推荐系统的性能非常重要。

深度强化学习(DRL)[1-2]自提出以来在多种具有挑战性的连续决策场景中展现出巨大优势。在推荐场景中，深度强化学习能够实时学习用户的潜在兴趣，并且能够交互式地更新用户的潜在兴趣表示与推荐策略。除此之外，深度强化学习还有很强的长期连续决策能力，能够考虑未来推荐过程中累计的效益。近年来，强化学习的工作在推荐领域中得到应用并被重视，获得了良好的效果。

然而，我们注意到在现有的基于深度强化学习推荐方法中，绝大部分方法过于强调短期内的用户兴趣，对长期稳定的用户兴趣学习不足。……