Multimodal entity alignment based on dual-generator shared-adversarial network

Feng Guanga†，Zheng Runtingʰ，Liu Tianxiangʰ，Yang Yanruʰ，Lin Jianzhonga， Zhong Tinga，HuangRongcanʰ，XiangFengʰ，LiWeichenb （a.SchoolofAutomation，b.SchoolofComputerScience，Guangdong UniversityofTechnology，Guangzhou510o6，China）

Abstract：Inthefieldofeducation，knowledgegraph fusionplaysacrucialrole.Asacore technologyof knowledge graphfusion，entityalignmentaistoidentifyequivalent entitypairsacrossmultiple knowledge graphs.Most existing entityalignment methodsassume thateachsourceentityhasacorresponding entityinthetargetknowledge graph.However，whenusingcrosslingualandcros-raphetitysets，theproblemofdanglingentitiesarises.Toaddresstisissue，thispaperproposedthedualgeneratorshared-adversarial network entityalignment model（DGSAN-EA）.This modelutilized partialparametersharig and anoptimalselectionstrategytotraintwogenerators，selectingtheoptimalgneatortoconditionallgenerateewetisacoss knowledgegraphs，therebyenhancing thedatasetand solving thedangling entityproblem.Furthermore，aprogressive fusion strategyandtheintroductionofdistributionconsistencylossfunctionefectielyresolvethedistortionoffusedfeatureformationandthemisalignmentbetweenmodalitiesinmultimodalentityalignment.Validationonmultiplepublicdatasetsshows that compared to existing multimodal entityalignment models，DGSAN-EAachieveshigher hit@ kand MMRscores，demonstrating itseffectiveness in entity alignment tasks.

Key words：knowledge graph（KG）;entity alignment;adversarial network；dual generator;parameter sharing；progresive fusion；distribution consistency

0 引言

在大数据时代背景下，知识图谱（KG）作为结构化知识表示的重要工具，其应用已扩展至教育、医疗、金融等关键领域。特别是在智慧课堂流媒体的背景下，知识图谱能够将课件、教材、视频和实验等教育资源相互连接，构建一个高度关联的教育资源网络[1]。在此网络环境下，教师与学生能够迅速定位相关资源，便于知识的拓展和应用。例如，某一物理概念可以与相关视频、文章或实验案例相链接，使学生有更多的参考材料。然而，为了全面覆盖知识领域并满足跨学科需求，通常需要合并来自多个来源的知识图谱。因此，如何将不同来源、不同领域，甚至跨语言的知识图谱无缝整合为一个统一的网络，形成更丰富的教育资源池，成为知识图谱融合的核心挑战之一。

在此背景下，实体对齐（entityalignment，EA）技术作为知识图谱融合的关键步骤，显得尤为重要。实体对齐旨在判断不同知识图谱之间的真实世界的同一实体，将不同数据源中表示同一个现实对象的实体映射到一起[2]。传统的实体对齐研究方法主要侧重于比较实体关系的推理、利用实体属性的相似性计算等技术来实现实体对齐任务。而目前比较主流的实体对齐方法主要是基于深度学习的方法，包括但不限于基于对比学习、图神经网络等方法。这些方法都是通过训练实体的嵌人，将其映射到低维空间中进行处理，旨在提高不同空间中同一实体表示的相似性[3]。伴随着实体对齐的发展历程，研究者们利用除文本以外的其他内容作为EA的补充信息，以提高实体对齐的准确性和全面性，由此诞生出多模态实体对齐任务。……