APP下载

基于多头注意力机制的半监督卷积网络嵌入

2021-08-12崇志强马世乾徐福华周作静

计算机应用与软件 2021年8期
关键词:文本信息模型

崇志强 马世乾 郭 悦 徐福华 周作静

1(国网天津市电力公司电力科学研究院 天津 300380)2(国网天津静海供电有限公司 天津 735412)

0 引 言

近年来,随着信息社会的发展,对网络或图结构信息表示与利用的研究已成为学界的热点问题[1]。网络嵌入已经成为网络分析的一种范式,引起了研究者广泛关注。其目的是将网络中的每个节点映射到一个低维向量空间,得到节点的低维向量表示。节点的表示向量可以应用于许多下游分析任务,如节点分类[2]、链路预测[3]。

一般而言,经典的网络嵌入方法可以分为两类:基于网络结构的方法和融合外部信息的方法(一般为文本信息)。前者通常基于随机游走[4]、局部邻居[5]。但上述方法忽略了网络丰富的外部信息,模型无法收敛至全局最优。此外,这些方法使用短而固定的节点邻居范围,无法捕捉全局的结构信息。

目前存在许多融合文本信息的网络嵌入方法,但这些方法一般对文本信息与网络结构信息分别建模,最终简单地拼接两个表示向量得到最终的表示[6],这导致两种模态的信息难以有机地整合。此外,这些方法使用循环神经网络或卷积神经网络作为编码器,但是循环神经网络本身的序列依赖导致其无法实现大规模并行计算,而卷积神经网络则受限于卷积核的大小,无法捕捉到文本的长距离特征。节点标签是另一个重要的外部信息,充分利用标签信息将进一步增强节点向量的表示能力,但现实中并非所有网络节点都被标记,合理利用标记节点和未标记节点对网络嵌入过程具有重要意义。……

登录APP查看全文

猜你喜欢

文本信息模型
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
订阅信息
3D打印中的模型分割与打包
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
展会信息
如何快速走进文本
健康信息