刘颖颖,叶海良,曹飞龙

(中国计量大学 理学院,浙江 杭州 310018)

近几年,人们对图神经网络(graph neural networks,GNN)[1]的研究兴趣增加了很多。图神经网络是一种强大的处理图结构数据的神经网络类型,广泛应用于节点分类[2-4]和图分类[5-6]等任务。经典的图神经网络包括图卷积网络(graph convolutional networks,GCNs)[7],图注意力网络(graph attention networks,GAT)[8]等。目前,大多数GCN模型[9-11]仅限于浅层网络架构,这种浅层架构限制了网络提取高阶信息的能力。然而,当直接加深网络层数时,它们通常遭遇过拟合或过平滑问题,从而导致网络性能不佳。因此,如何将图神经网络推广到深层结构是当前的具有挑战的问题。

实现加深图神经网络的关键是解决过拟合或过平滑问题。过拟合问题源于训练数据分布有限,解决此问题通常采用过采样[12-14]和插值[15-17]的方法来学习拟合训练数据。图随机神经网络[18]设计了一种随机传播策略对图数据进行增强,表现出比现有的GNNs更好的泛化能力。边删除技术(DropEdge)[13]在每个训练阶段从输入图中随机删除一定数量的边,从而动态地生成与原始图中不同的邻接矩阵,以增加输入数据的多样性。然而,这些方法往往在通过随机增加或删除图的节点和边的过程中破坏了原始图数据,从而导致信息丢失。本文利用局部和全局相结合的架构,通过全局分支加入原始信息改善了这一方法存在的问题。

随着图网络层数的增加,节点的特征变得越来越难以区分,这就产生了过平滑问题。许多学者提出了深度模型优化网络体系,可以有效地解决这一问题。……