田 鑫，季 怡，高海燕，林 欣，刘纯平,2+

1.苏州大学 计算机科学与技术学院，江苏 苏州 215006

2.符号计算与知识工程教育部重点实验室（吉林大学），长春 130012

场景图[1]是图像中所包含信息的结构化表示，不仅可以表示图像中所有的实体，并且还可以表达不同实体之间存在的关系信息。对在图像中检测到的实体以及关系通常使用<主语-谓语-宾语>三元组的形式表示。广泛应用于图像识别与检测[2-3]图像理解[4-5]等任务中。因此图像的场景图生成任务近年引起了越来越多的关注。

现存的场景图生成方法通常依赖实体检测模型，根据检测得到的结果进行进一步的推理[6-7]。但由于场景图的三元组表示由实体和关系构成，假设有N个实体和M个关系，三元组所有可能组合数量为O(N2M)，因此要生成一个高性能的场景图，这些方法需要在大量实体关系数据集上进行训练。然而现存的场景图生成数据集关系数量分布十分不均衡，影响了模型最终的表现。

为了解决数据集偏置问题，已经开展了使用实体的位置、频率分布等VG（visual genome）数据集内部信息的研究。Chen 等人[8]挖掘数据集内部信息，构建了实体与关系之间的结构化表示，使用图神经网络学习实体与关系之间的相互作用以生成场景图。Zhan 等人[9]基于检测视觉、空间和语义三种不同的信息提出多模型特征学习网络，比较实体对与标注，自动生成未确定的关系。林欣等人[10]通过结合全局上下文、目标解码和位置嵌入的信息，减少数据集偏差影响。这些方法通过更好地利用图像中的信息来改进数据集中实体频率较低的场景图的生成，其整体方法的场景图生成精度超过了现存传统的场景图生成模型[6,11-12]。……