胡胜利，张鸿斌

（安徽理工大学 计算机科学与工程学院，安徽 淮南 232001）

0 引 言

在互联网和计算机等智能设备飞速发展，云计算、大数据等技术日趋成熟的背景下，随之而来的便是信息数据规模的几何级增长。用户在面对纷繁复杂的信息时很难找到自己所需的信息，个性化推荐系统在此情境下应运而生，并在激烈的商业竞争中被广泛使用。

如何提取更多用户和项目的特征，一直以来都是推荐系统研究的重点所在，LMF作为一种基于矩阵分解的协同过滤模型，将矩阵分解为两个表示用户和项目的隐向量，用以表示用户的不同偏好或商品的隐藏特征，再使两个向量的点积结果表示为预测评分。相较于传统的协同过滤算法，LMF的性能明显提高。但是在矩阵的稀疏状况下，该模型表现得不如人意，因此有许多学者采用评论文本来解决协同过滤的数据稀疏和冷启动问题，最早使用评论进行推荐受限于当时的技术水平，只能手动对特征进行交互；Kim等提出了（ConMF），利用卷积神经网络提取项目描述文本中蕴含的隐特征，但不足之处是只考虑了项目文本信息，没有考虑用户的文本信息；Zheng等人率先提出了（DeepCoNN），使用深度学习网络提取用户与项目的评论特征，为后续基于评论的推荐算法奠定了基础；Catherine等在前者的基础上引入一个表示目标用户-目标项目对的附加潜在层（Transnets），扩展了深度连接模型，提高了推荐性能；Seo等提出了（D-attn），使用基于双局部和全局注意力的卷积神经网络来预测评论的评级分数，在基于评论文本的评级预测上首次使用了两个特征的处理通路，但只是改变了两个通道的注意力关注点，对于特征的处理只使用了卷积神经网络，导致在融合层交互时两侧特征不够丰富。

上面提到的方法都是采用两列并行的神经网络来对用户评论文本集和项目描述文本集进行特征提取，但是在两列互相分离的神经网络中，底层所蕴含的某些文本特征会随着网络的加深而逐渐弱化，并且单一的特征提取方法往往不能获取文本所包含的各种信息，因为用户评论侧与项目评论侧在融合层之前没有发生任何方式的交互，这就导致在融合层进行交互计算的时候，用户内容特征与项目内容特征的交互不足，进而会影响预测值的准确性，因此本文提出一种新的基于评论的多特征融合深度协同推荐算法DFICF。

为了解决上述问题，DFICF做出两点改进来增加推荐模型的准确性：（1）基于特征融合的思想构建一个包含两种不同特征提取方法的C&G特征提取模块，将包含更丰富粒度的融合特征作为融合层的输入，以此保证单侧特征在进入融合层之前更具抽象性和丰富性，避免用户与项目的特征在融合层交互不足。（2）对于特征融合模块输出的融合特征，在该层后添加注意力机制来对融合后的特征进行注意力权值分配，使得重要的特征更具突出性。该模型在保持两列并行神经网络共同训练的同时，在传统结构上引入特征融合的思想，将包含更多粒度的特征信息传递到深层网络中，并将新产生的特征在融合层进行融合，最后在融合层运用因子分解机进行有效结合，从而得到预测值。

1 相关技术

1.1 文本卷积网络

卷积神经网络（Convolutional Neural Networks）是由纽约大学的Yann LeCun于1998年提出的，可以说是多层感知机的一个特殊形式。由于省去了在特征提取之前对数据进行预处理和特征抽取等繁琐的步骤，并且凭借其特有的细粒度特征提取方式，使得对数据的处理水平大幅度提升，因此在计算机视觉领域占据了重要地位。由于词向量矩阵在数据形式上与单通道的灰度图片相似，卷积也常常因其优越的特征提取性能而广泛应用于文本处理领域。卷积神经网络采用局部连接结构，设有一个固定的权值共享给每次输入的卷积区域，一方面减少了权值的数量使得网络易于优化，另一方面降低了过拟合的风险。

由于卷积神经网络在文本特征提取方面的优越表现，故选择其作为C&G特征融合模块的一种特征提取通道。文本卷积提取特征的过程如图1所示。

图1 文本卷积特征提取图

1.2 双向GRU网络

GRU是循环神经网络（RNN）的一种，与LSTM（Long-Short Term Memory）一样，有别于传统机器学习，考虑到项目的全部时间发生节点，并将其作为模型的输入。它的出现也是为了解决长期记忆和反向传播中的梯度等问题。虽然在实际表现上GRU与LSTM相差无几，但是由于GRU自身的便捷性，更容易训练，在训练速度上优于LSTM。然而，在以往的循环神经网络中，每一组状态的传输都是单向按顺序依次向后的。因此，当存在某些问题需要用到其之后的状态时，以前的循环神经网络就不足以解决问题了，但双向GRU的出现很好地解决了这一问题，并且收效颇丰。双向循环神经网络结构如图2所示。

图2 双向循环神经网络结构图

2 DFICF算法

本文基于评论的深度协同推荐算法（DFICF），包括由两种特征提取方法构成的C&G特征融合模块、注意力层以及处理用户和项目评论特征的融合层，网络结构图如图3所示。

图3 DFICF算法网络结构图

2.1 文本预处理层

由于模型的两侧对称且结构完全相同，这里只以用户侧为例进行描述。对于每一位用户U的所有评论文本，定义一个集合{，，…R}进行描述，代表所定义这个集合容纳的最大评论条数。本文采用Glove模型对评论文本进行预训练，它是一个基于全局词频统计的词表征工具，可以把一个单词表达成由实数组成的向量，这些向量能够捕捉到单词之间的一些语义特性，比如相似性和类比性等。可表示为：

权重函数为：

其中，v，v为单词和的词向量，b，b为两个标量，为权重函数，为词汇表的大小。用户的评论文本先被转换为词嵌入矩阵，而后再经Glove的处理，评论文本就被映射为维的词向量，表示定义为{，，…o}，这些向量便可以作为模型深度特征提取模块的输入了。

2.2 C&G特征融合模块

接下来对 进行最大池化操作，选取每个特征图中最重要且值最高的文本特征，最大池化操作完成后，卷积结果会被消减为一个固定大小的向量，这样就可以轻易做到控制向量维度的大小，方便之后与GRU模块的特征进行融合。

将双向GRU网络输出向量的维度2d设置为与卷积特征提取网络卷积核的数量相同的宽度，与LSTM相比，GRU的门控单元只有两个，分别是更新门和重置门，在时刻GRU的计算公式为：

2.3 注意力层

对于经过C&G特征融合模块处理后输出的融合特征向量，将其输入注意力层进行特征权值分布计算，计算过程为：

在通道注意力计算完成后将输出输入空间注意力模块，计算公式为：

2.4 融合层

在接收到由两侧提取的用户和项目特征后，虽然两侧的数据格式完全相同，但是由于存在于不同的特征空间，所以两个向量不能直接进行比较，为此采用因子分解机（FM）对两侧传入的特征信息进行操作，进而得出预测值，公式为：

3 实验结果与分析

3.1 实验数据集

实验采用的是亚马逊提供的数字音乐评论数据集，其中包含三个不同稀疏度的数据集Digital_music、Digital_music_5、Digital_music_10，分别表示全部的用户项目评论集，每个用户的评论数和每件商品评论数都超过五条的评论集，每个用户的评论数和每件商品评论数都超过十条的评论集，统计结果如表1所示。

表1 数据集统计表

3.2 评价指标

在实验效果的评价上采用均方误差MSE这一评价标准，均方误差值越小代表算法推荐的准确度越高，计算方法为：

其中，表示测试集中的样本个数，、分别表示测试集中的用户和项目。

3.3 参数设置与训练

在算法实验中，选用Glove对文本单词进行初始化，生成的文本向量维度为50，模型采用Adam函数进行优化操作，模型的迭代次数设置为40轮，Batch大小设置为128，学习率设为0.02，卷积提取网络中卷积核大小设置为3，并且采用dropout避免过拟合。损失函数训练如图4所示。

图4 损失函数训练图

3.4 对比模型

为了验证本文DFICF算法的性能，选取以下模型和算法进行评分预测的对比实验。

MF：经典的矩阵分解算法。

PMF：在MF的基础上引入概率模型进一步优化得到的矩阵分解模型。

CDL：将评论信息作为辅助信息，结合用户和项目的隐特征进行评分的预测。

DeepCoNN：首次提出完全通过评论对评分进行预测的深度推荐算法，将该算法作为基线模型进行实验分析。

TransNet：采用两列并行网络分别处理用户与项目评论集，引入了附加潜在层。

DFICF：本文提出的基于评论的多特征融合深度协同算法。

3.5 实验结果分析

本文将DFICF在亚马逊的数字音乐评论数据集上进行实验，并且与上述提到的几个有代表性的模型进行对比，得到的MSE如表2所示。

表2 实验结果表

由表2可以看出，本文提出的基于评论的多特征融合推荐算法DFICF在各种不同数据集上的MSE均远远小于以往只使用评分矩阵进行矩阵分解的MF、PMF推荐算法，从而得出DFICF的推荐性能优于传统推荐算法。在Digital_music这个数据较为稀疏的数据集上，MF和PMF协同过滤算法的MSE远远高于其他算法，在数据稀疏的情况下效果不理想。而对于之前那些使用评论文本作为推荐依据的CDL、DeepCoNN、Transnets算法，由于评论文本本身具备用户对项目的偏好，所以MSE值明显减小，推荐效果有所提升。本文提出的DFICF在实验的三个数据集上，MSE值均小于所对比的相关算法，这主要是由于DFICF算法引入了特征融合与注意力机制，因此在推荐效果上要优于其他基于评论文本的算法。

4 结 论

针对以往基于评论的模型在两侧特征提取的过程中文本特征会有所损失并且特征内容不够丰富，进而导致在融合层中用户与项目的交互不够充分，使得预测值发生偏差的问题，本文提出了一种基于评论的多特征融合深度协同推荐算法DFICF。在文本信息提取过程中采取特征融合的方法，并引入注意力机制来提升推荐的效率。实验结果表明，相较于以往的推荐算法，DFICF有不同程度的提升，充分证明了运用特征融合结合多种特征提取方法可提升主网络的准确性。

文中提到的特征融合模块虽然增加了特征提取的途径，使准确度得到一定程度的提升，但是在时间复杂度上却比之前要复杂一些。所以在接下来的工作中，将进一步对特征融合模块进行优化，力争获得更加优异的推荐性能。