郑涛，林亮景，邓永强

（广东科学技术职业学院，珠海519090）

0 引言

通常，网络中的图像，按事件主题的方式进行分组。尽管从整体的语义概念角度上看，这些图像类同度很高，但是同一主题的图像，有时候视觉效果却大相径庭，如图1所示。原因是图中的每一行都代表了一个独立的类别，与其他行完全不同。既便是同一行的图像，有的描述是图像的整体，有的却是细节部分。在这种条件下，人们较难从中提取出共同相似的、有代表意义的图像特征。所以，检索时仅仅靠判断图像表面现象来进行识别，较难达到完全理想的效果。

图1 四行分别代表四种不同的网络图像演示

由于在网络图像的基本属性中，含有所属用户提供的相关描述信息，像图像文本描述、语音、视频等。因此，为了获得更好的检索结果，许多学者已经开始寻求其他新的解决方案，即通过提取图像属性中的多个有用信息像文本、图像等，然后进行融合，生成新的融合后的多媒体表示空间，它表达的信息比较丰富，相对单一的图像空间，进而加强了原空间的图像识别能力。

1 数据集描述

无论与图像融合的是文本，还是语音、视频，它们的加权矩形与相似性度量准则都是一样的。但由于语音和视频的特殊性，需要先进行相关信息特征的过滤提取再融合，本文先以图像与文本描述为例进行信息融合，从中国疫情网站（https://www.ncovchina.com）上搜集了355个关于“疫情”的真实的网络多媒体目标，包括真实的疫情图像及对应的文本描述，如图2所示。……