刘慧婷 李茵捷 郭玲玲 陈庚 赵鹏 韩宇晨

(安徽大学 计算机科学与技术学院，安徽 合肥 230601)

随着电子商务中用户和商品数量的爆炸式增长，推荐系统在帮助人们克服信息超载、促进电子商务公司销售方面发挥着越来越重要的作用。在不同的推荐策略中，协同过滤(CF)由于其有效性和快捷性，在过去的几十年中得到了广泛的研究[1- 3]。一些传统的CF方法从用户的使用习惯(如用户-项目的历史交互)中学习用户的偏好，进而完成推荐，但在用户和项目交互稀疏的情况下性能较差[4]。

为了解决传统CF方法面临的稀疏性问题，一些改进的CF方法开始利用并且有效整合其他辅助信息。Koren等[5]把基于模型的CF方法和基于邻居的CF方法有效整合在一起完成推荐，在使用评分矩阵的同时，使用了用户的隐式反馈，如用户的浏览历史、搜索模式甚至鼠标的移动轨迹等。为了更加有效地整合多方面的辅助信息，有研究提出了混合推荐方法。常见的混合推荐方法是将辅助信息与用户ID、项目ID转换成一个通用的特征向量，并将它们输入到监督学习(SL)模型来预测评分。这种混合推荐方法已经得到了广泛的应用，代表性的模型有Wide&Deep[6]、xDeepFM[7]等。

根据评分信息与辅助信息之间是否存在双向交互，混合推荐模型分为松耦合和紧耦合两种方式。Sevil等[8]提出了一种松耦合推荐算法，该算法优先处理辅助信息，然后将处理后的辅助信息传递给CF模型。由于信息的流向是单向的，评分信息无法指导辅助信息特征的提取。在这种方式下，通常需要依赖人工提取特征来提高推荐的性能。相反，在紧耦合方法[9]中，评分信息可以指导特征的学习，提取的特征可以进一步提高CF模型的预测能力。通过二者的双向交互，紧耦合方法可以自动地从辅助信息中学习特征，从而缓解CF模型面临的评分稀疏问题。因此，紧耦合方法常常优于松耦合方法。协同主题回归(CTR)[10]和协同深度学习(CDL)[11]是近年来具代表性的紧耦合推荐方法。然而，上述方法都只能处理单一类型的辅助信息。随着电子商务的迅速发展，辅助信息的类型越来越多，因此开发一种通用的方法来处理这些不同的辅助信息，变得越来越重要。

异构信息网络(HIN)由于其在建模数据异构性方面的灵活性而被用于推荐系统中表示丰富的辅助信息[12- 13]，HIN中连接节点对的关系序列元路径则被广泛用于提取辅助信息的结构特征[14]。可以通过定义一条元路径(如User→ Movie→Type→Movie)来表达用户对某一类型电影的偏好。构建不同的推荐元路径，则可以有效地整合更多的信息，表达不同的语义。最近，一些文献研究了基于HIN的个性化推荐方法。PathSim模型[14]可度量不同实体之间的相似性，首先计算不同元路径实例的数量，然后除以一个标准化项得到起始节点和终止节点之间的相似矩阵。FMG[13]利用与文献[14]相同的方法获得相似矩阵，然后将相似矩阵分解为用户和项目特征向量。文献[15]设计了一种基于元路径的随机游走模型HERec来获得不同节点序列的网络嵌入，再将嵌入与扩展的矩阵因子分解模型进行联合优化完成评分预测任务。文献[16]利用模型层的元学习捕获异构信息网络的语义，解决了推荐任务中的冷启动问题。

虽然上述方法在一定程度上提高了推荐系统的性能，但现有的HIN方法存在如下不足：①没有考虑不同元路径对用户、项目特征建模贡献程度的差异性；②没有将异构辅助信息与CF模型进行紧耦合。近年来注意力机制被提出并已在多种机器学习任务中证明了其有效性，如图像字幕[17- 18]和机器翻译[19]。有研究者将注意力机制应用于推荐系统中，Li等[20]采用注意力机制对用户的顺序行为进行建模，以捕捉用户的偏好。Wang等[21]提出了一种基于分层注意的异构图神经网络，通过学习的两层注意力分数指导基于元路径的相邻节点的特征聚合。

针对上述问题和注意力机制的有效性，本文提出了一种基于HIN的紧耦合推荐模型。对于给定的一个目标用户或项目，本文首先使用基于优先级的抽样技术选择元路径中高质量的路径实例，并聚合各个路径实例得到不同元路径的显式嵌入，然后基于注意力机制得到聚合元路径的嵌入，最后将聚合元路径嵌入与CF模型紧耦合完成推荐。

1 异构信息网络相关理论

1.1 异构信息网络

异构信息网络[22]表示为G={V，E}，由对象集V和链接集E组成。HIN也与对象类型映射函数φ:V→A和链接类型映射函数 ∮:E→R相对应。A和R表示预定义的对象和链接类型的集合，其中|A|+|R|>2。图1给出了一个用HIN表示的电影推荐实例，由图中可以看出，HIN包含多种类型的实体，实体之间由不同类型的关系相互连接。为了更好地理解网络中的对象类型和链接类型，文献[23- 24]提出网络模式的概念，用于描述网络的元结构。

图1 异构信息网络表示的电影推荐实例

1.2 网络模式

对于使用对象类型映射φ:V→A和链接类型映射 ∮:E→R的异构信息网络G={V，E}，网络模式是它的元模板，记为S=(A，R)。它是一个定义在对象类型A上的有向图，边是来自R的关系。

例1图2(b)为图1中电影推荐系统实例对应的网络模式，网络由多种类型的对象(如用户(U)、用户组(G)、电影(M)、导演(D)、电影类型(T))及其语义关系(如用户与电影的关系(U-M)、电影与导演的关系(M-D)、电影和电影类型的关系(M-T))构成。

图2 数据集中的网络模式

在HIN中，两个对象可以通过不同的语义路径连接，这些语义路径被定义为元路径。

1.3 元路径和路径实例

给定一条元路径，该元路径下存在多条具体的路径，称为路径实例，用p表示。

例2图1中的用户u1和电影m2可以通过多条元路径进行连接，以u1作为起始节点，有u1-m1-u2-m2(UMUM)和u1-m1-t1-m2(UMTM)，以m2作为起始节点，有m2-d1-m1-u1(MDMU)和m2-u2-m1-u1(MUMU)，它们分别构成了u1和m2的路径实例，代表u1和m2各自的偏好。

1.4 基于HIN的推荐

在推荐系统中，各种信息都可以被建模为G={V，E}。本文的HIN中包含两种实体(即用户和项目)以及它们之间的评分关系。令U⊂V，I⊂V，R⊂E，其中U和I分别表示用户集和项目集，三元组〈u，i，ru，i〉表示用户u对i的评分为ru，i。给定一个HIN，G={V，E}，推荐的目标是预测一个用户u对项目i的评分(项目i未被用户u评分)。

2 基于异构信息网络嵌入的紧耦合推荐模型

本文提出的紧耦合推荐模型HTCRec如图3所示，该模型主要由3部分组成：①对评分矩阵进行分解，生成用户u和项目i的潜在向量xu、yi；②利用HIN获得用户和项目辅助信息的单一元路径嵌入，并基于注意力机制、用户和项目的潜在向量(xu、yi)学习用户和项目辅助信息嵌入cu和ci；③通过用户和项目辅助信息(cu和ci)与用户和项目潜在向量(xu、yi)之间的相互影响，完成推荐模型HTCRec的训练，实现评分预测。图3中上方虚线框是矩阵分解和评分预测部分，下方虚线框是用户和项目辅助信息的提取、学习部分，两部分之间的信息进行双向交互。

图3 基于异构信息网络嵌入的紧耦合推荐模型

2.1 潜在因子模型

矩阵分解(MF)是一种有效的协同过滤方法[4]，给定由m个用户u和n个项目i组成的原始评分矩阵R∈Rm×n，可以将其分解为低秩矩阵U∈Rm×d和V∈Rn×d，分别代表m个用户和n个项目的潜在向量集合，d表示潜在向量的维度。潜在因子模型(LFM)是一类主要基于矩阵分解技术的算法，本文的推荐模型使用LFM作为评分预测组件，预测用户u对项目i的评分：

(1)

式中，bu和bi分别是用户u、项目i的偏差项，μ是全局平均评分。LFM方法的评分预测损失函数可以表示为式(2)，通过最小化该损失函数可以学习到用户u和项目i的潜在向量xu、yi。

(2)

2.2 辅助信息的提取与学习

因为用户u和项目i的辅助信息的学习过程是相似的，本文中仅对用户u的辅助信息嵌入生成过程进行阐述。

2.2.1 基于元路径的嵌入

从多个元路径中获得路径实例的嵌入矩阵的集合后，本文依照以下层次结构来学习辅助信息的嵌入表示：路径实例的潜在嵌入→单一元路径嵌入→聚合元路径嵌入(即辅助信息的嵌入表示)。

hp=CNN(Cp;Θ)

(3)

式中，Cp为路径实例p的矩阵，Θ为CNN中的所有相关参数。

(4)

式中的最大池化操作是针对前k个路径实例嵌入来执行的，它的目标是从多个路径实例中捕获重要的维度特性。

2.2.2 基于注意力机制的改进聚合元路径嵌入

利用2.2.1节方法得到单一元路径的嵌入表示后，传统的元路径聚合方法通常是使用平均池化操作来得到聚合元路径的嵌入，具体形式如下：

(5)

式中，cu是用户u的聚合元路径嵌入，也是用户u的辅助信息嵌入表示，Pu是u的所有不同的元路径的集合。在这种传统的元路径聚合方法中，每条元路径都受到同等的关注，元路径的表示完全依赖于生成的路径实例。它没有考虑到所涉及的用户和项目，因此缺乏在不同交互场景中从元路径捕获不同语义的能力。

直观地说，用户或者项目可能对不同元路径有不同的偏好，如果能够改进聚合元路径嵌入的方法，就可以得到更有效的辅助信息的嵌入表示。受计算机视觉和自然语言处理中注意力机制的启发[17，20]，本文基于注意力机制来实现这一目标。通过注意力机制，用户u的辅助信息cu的提取和学习组件的框架如图4所示。

图4 用户u的辅助信息cu的提取和学习组件的框架图

(6)

(7)

本文通过使用Softmax函数对所有元路径上的注意力分数进行归一化，得到不同元路径的注意力权值：

(8)

(9)

对于项目i，其辅助信息ci的提取学习过程是相似的。

2.3 潜在因子模型与辅助信息嵌入的紧耦合

受到协同过滤(DCF)[27]框架的启发，本文将2.1节的矩阵分解部分与2.2节的辅助信息学习组件相结合，提出了一种紧耦合混合推荐模型HTCRec，利用评分矩阵和辅助信息，将矩阵分解和辅助信息的嵌入学习紧密联系起来。

给定用户-项目评分ru，i、用户辅助信息cu和项目辅助信息ci，本文从评分和辅助信息中联合学习用户u和项目i的潜在因子，损失函数为

ζ=ζMF+ζ(u，cu)+ζ(i，ci)

(10)

(11)

(12)

(13)

3 实验

为验证HTCRec模型的有效性，本文将在两个真实数据集(MovieLens 1m和Douban数据集)上进行实验，并与目前常用的推荐方法进行对比分析。

3.1 实验数据集

MovieLens 1m数据集包含了用户对电影的评分和一些电影的属性信息，Douban数据集则包含用户对电影的评分、电影属性和一些用户属性。评分的范围从1到5，评分越高意味着用户越喜欢这部电影。两个数据集的统计信息如表1所示(其中稠密度表示已有用户-项目评分在所有用户项目关系中的比值)，网络模式如图2所示。

表1 两个数据集的统计信息

3.2 评价指标

本文使用均方根误差(RMSE)和平均绝对误差(MAE)来衡量不同模型的推荐性能，RMSE和MAE的定义如下：

(14)

(15)

式中，Dtest是评分记录的测试集。RMSE和MAE的值越小，推荐模型的性能越好。

3.3 对比算法

本文使用的对比算法如下：

(1)PMF[28]，这是一个经典的概率矩阵分解模型，仅通过显式地将评分矩阵分解为两个低维矩阵来进行推荐。

(2)RegSVD[4]，这是采用L2正则化的基本矩阵分解，仅使用用户-项目评分矩阵进行推荐。

(3)CDL[11]，它通过使用项目的辅助信息，集成了矩阵分解和深度特征学习来提高评分预测的准确性。

(4)DCF[27]，它同时使用了用户和项目的辅助信息，集成了矩阵分解和深度特征学习来提高评分预测的准确性。

(5)HeteMF[29]，这是一种基于MF的推荐方法，利用HIN中的元路径计算出实体之间的相似度。

(6)SemRec[30]，它是基于加权元路径的推荐模型，通过元路径的加权计算用户相似度矩阵，并结合从不同元路径获得的结果进行评分预测。

(7)NeuACF[31]，它先通过不同的元路径分别提取用户和项目的不同方面级的相似矩阵，然后将这些矩阵输入深度神经网络学习方面级潜在因子，最后融合方面级潜在因子进行推荐。

PMF和RegSVD是传统的基于矩阵分解的CF模型，仅使用了用户-项目的历史交互；CDL和DCF 在使用用户-项目交互的基础上，利用了用户或者项目属性充当辅助信息与矩阵分解结合；HeteMF、SemRec、NeuACF使用了HIN充当辅助信息，该类辅助信息考虑了用户、项目属性之间的关系。

3.4 实验设置

对于两个数据集所选择的元路径(见表2)，本文对不同的用户和项目分别只选择最多四步的短元路径，因为太长的元路径很可能会引入噪声语义信息[30]。在HTCRec模型中，本文采用高斯分布随机初始化模型参数，利用Adam优化器对模型进行优化，设置批处理大小为256，学习率为0.001，正则化参数设置为λx=λy=1、λΘu=λΘi=0.005、λb=0.000 1和λβ=0.05。此外，抽样的路径实例数为5。所有方法的潜在因子的维度k=10。

表2 两个数据集选择的元路径

3.5 实验结果分析

3.5.1 推荐模型性能的比较

为了比较不同数据稀疏度下的实验结果，本文对每个数据集进行了随机分割，分别选取其中80%、60%、40%、20%的数据用于训练，余下的20%、40%、60%、80%数据用于测试。每个比率都重复进行5次实验，取5次测试的平均RMSE和MAE值，结果如表3所示。从表中可以看出：

(1)HTCRec模型的推荐性能始终优于所有对比模型。这是因为HTCRec模型采用了注意力机制和紧耦合的方式，利用了网络的异构信息来提高推荐性能。此外，在训练数据较少的情况下，该模型的优势更加明显。例如，对于Douban数据集，相比于PMF模型，在训练数据为80%的情况下，HTCRec模型的RMSE提升了6%；而在训练数据为20%的情况下，HTCRec模型的RMSE提升了17%。

对于不同的数据集，Douban数据集的评分稀疏度比MovieLens 1m要高得多。在训练数据为20%的情况，在MovieLens 1m 数据集中， HTCRec模型的RMSE相对于PMF提升了5%，而在Douban数据集中，HTCRec模型的RMSE相对于PMF模型提升得更高。可见，在数据集稀疏度较高的情况下，本文提出的模型的优越性更加显著。这是因为训练数据越稀疏，通过矩阵分解部分和异构信息特征提取部分的双向交互，从辅助信息中学习的特征对稀疏评分数据的影响越大，稀疏问题解决得越明显。

(2)基于HIN的HeteMF、SemRec、NeuACF和HTCRec模型的推荐性能优于传统的基于MF的PMF和RegSVD模型，也优于没有考虑属性关系的CDL、DCF模型，这验证了异构信息对于提高推荐模型性能的有效性。

(3)与同样基于HIN的HeteMF、SemRec和NeuACF模型相比，HTCRec模型采用了一种更有效的方法来利用HIN改进推荐系统，提供了更好的辅助信息提取方法。另外，在训练数据较少的情况下，HTCRec模型的优越性更加显著。例如，在训练数据为20%的情况下，在MovieLens 1m 数据集中，HTCRec模型的RMSE相比于SemRec模型提升了1.2%，而在评分稀疏度较高的Douban数据集中，HTCRec模型的RMSE相比于SemRec模型提升了9%。可见，数据集稀疏度越高，HTCRec模型相对于对比模型的改进率越高。

表3 8种模型在两个数据集上的实验结果

3.5.2 注意力机制和紧耦合对模型性能的影响

为了验证HTCRec模型中注意力机制和紧耦合方式的有效性，本文提出了HTCRec模型的两种不同的变体HTCRec-tc(使用松耦合的方式进行推荐)和HTCRec-att(仅仅使用传统的元路径聚合方法来获得聚合元路径的嵌入)。

HTCRec及其两个变体HTCRec-tc、HTCRec-att在不同数据集上的预测结果如表4所示。对于紧耦合模型HTCRec，一方面评分信息可以指导HIN从用户或项目的辅助信息中学习特征；另一方面，HIN从辅助信息中提取的特征可以进一步提高潜在因子模型的预测能力。通过二者的双向交互，模型HTCRec可以自动地从辅助信息中学习特征，从而平衡评分和辅助信息之间的相互影响。例如，对于Douban数据集，在训练数据为20%的情况下，相比于HTCRec-tc模型，HTCRec模型的RMSE提升了1.6%。对于注意力机制，每个元路径的重要性应该依赖于特定的交互，而不能平等对待，忽略这种影响可能无法充分利用不同元路径上的语义信息。实验结果表明，使用了注意力机制的模型能够更好地利用聚合元路径的嵌入进行推荐。例如，对于Douban数据集，在训练数据为20%的情况下，相比于HTCRec-att模型，HTCRec模型的RMSE提升了2.2%。

表4 在两个数据集上注意机制和紧耦合方式对3种模型性能的影响

3.5.3 每条元路径的注意力权值

对于两个实验数据集中给定的几条元路径，根据式(6)-(8)可以计算其注意力权值，得到MovieLens 1m数据集中元路径UMUM、UMTM、UMDM、MUMU、MTMU、MDMU的注意力权值分别为0.30、0.48、0.22、0.21、0.55、0.24，Douban数据集中元路径UGUM、UMUM、UMDM、UMTM、MAMU、MDMU、MTMU、MUMU的注意力权值分别为0.16、0.11、0.38、0.35、0.35、0.12、0.38、0.15 。可以看出，每条元路径的注意力权值各不相同。这说明获取用户或者项目的辅助信息嵌入表示时，需要考虑每条元路径的不同贡献程度，也证明了本文模型利用注意力机制聚合元路径的合理性。

3.5.4 不同元路径对模型的影响

为了进一步分析不同元路径对推荐性能的影响，本实验逐步将这些元路径合并到所提出的推荐模型HTCRec中，并检查推荐模型的性能变化，结果如图5所示。从图中可以看出，HTCRec模型的推荐性能总体上随着元路径的加入而提高，以用户类型和项目类型开始的元路径都有助于提高模型的推荐性能。同时，不同的元路径对推荐性能有着不同的影响。从图5中还可以发现，当添加UMTM或MTMU时，HTCRec模型在两个数据集上的评分预测性能有了明显的提升，3.5.3节给出了不同元路径的权值，这里可以看出，不同元路径的权值会导致不同的实验结果，元路径权值越大，对模型性能的影响越大。但是，使用更多的元路径并不能一直带来推荐效果的改进，而且性能略有波动，其原因是一些元路径可能包含有噪声或与现有元路径冲突的信息。另外，只要合并少量元数据，模型就可以快速获得相对较好的评分预测性能。这也证实了之前的发现[14]：少量高质量的元路径能够带来较大的性能改进。因此，如前所述，可以通过选择一些有效的元路径来控制模型的复杂性。

图5 逐渐添加元路径时HTCRec模型的RMSE值的变化

3.5.5 正则化参数对模型的影响

本文将正则化参数λx和λy的值分别从0.1开始变化到10，然后观察在MovieLens 1m数据集上HTCRec模型的RMSE值的变化：当λx分别取0.1、0.5、1.0、10.0时，HTCRec模型的RMSE分别为0.873 9、0.869 1、0.852 1、0.856 3；当λy分别取0.1、0.5、1.0、10.0时，HTCRec模型的RMSE分别为0.881 1、0.872 5、0.852 1、0.853 3。可以看出，当λx或者λy为1时，评分预测的性能达到较为理想的水平。

3.5.6 潜在因子的个数对模型的影响

对于基于矩阵分解的方法，一个重要的参数是潜在因子的个数。当潜在因子个数取5、10、20、30、40时， HTCRec模型在MovieLens 1m数据集上的RMSE值分别为0.860 3、0.859 9、0.854 7、0.865 3，在Douban数据集上的RMSE值分别为0.721 3、0.715 8、0.717 5、0.735 1。可以看出，潜在因子个数为10时可以获得最好的推荐性能，这表明潜在因子个数应该设置为一个较小的数字。

4 结语

本文提出了基于异构信息网络的具有注意力机制的深度紧耦合推荐模型HTCRec，有效地利用了HIN中的辅助信息进行推荐。该模型首先利用评分矩阵的矩阵分解获得用户和项目的潜在向量，然后基于注意力机制调用并聚合元路径及其路径实例，将目标用户或项目的辅助信息用各自的聚合元路径的嵌入进行表示，最后通过显式地将元路径合并到紧耦合交互模型中来完成评分预测任务。实验结果表明， HTCRec模型较其他常用推荐模型具有更好的推荐性能，有效地缓解了数据稀疏问题。本文中元路径的选择是手动设置的，今后可以考虑开发一种更有效的方法来自动选择HIN中的最优元路径，或者进一步考虑如何处理HIN中更复杂的结构模式，如元图。