基于多头注意力机制的半监督卷积网络嵌入
2021-08-12崇志强马世乾徐福华周作静
计算机应用与软件 2021年8期
崇志强 马世乾 郭 悦 徐福华 周作静
1(国网天津市电力公司电力科学研究院 天津 300380)2(国网天津静海供电有限公司 天津 735412)
0 引 言
近年来,随着信息社会的发展,对网络或图结构信息表示与利用的研究已成为学界的热点问题[1]。网络嵌入已经成为网络分析的一种范式,引起了研究者广泛关注。其目的是将网络中的每个节点映射到一个低维向量空间,得到节点的低维向量表示。节点的表示向量可以应用于许多下游分析任务,如节点分类[2]、链路预测[3]。
一般而言,经典的网络嵌入方法可以分为两类:基于网络结构的方法和融合外部信息的方法(一般为文本信息)。前者通常基于随机游走[4]、局部邻居[5]。但上述方法忽略了网络丰富的外部信息,模型无法收敛至全局最优。此外,这些方法使用短而固定的节点邻居范围,无法捕捉全局的结构信息。
目前存在许多融合文本信息的网络嵌入方法,但这些方法一般对文本信息与网络结构信息分别建模,最终简单地拼接两个表示向量得到最终的表示[6],这导致两种模态的信息难以有机地整合。此外,这些方法使用循环神经网络或卷积神经网络作为编码器,但是循环神经网络本身的序列依赖导致其无法实现大规模并行计算,而卷积神经网络则受限于卷积核的大小,无法捕捉到文本的长距离特征。节点标签是另一个重要的外部信息,充分利用标签信息将进一步增强节点向量的表示能力,但现实中并非所有网络节点都被标记,合理利用标记节点和未标记节点对网络嵌入过程具有重要意义。……
登录APP查看全文
