肖雨寒,江爱文,王明文,揭安全

(江西师范大学 计算机信息工程学院，江西 南昌 330022)

0 前言

图像描述是计算机视觉、自然语言处理与机器学习的交叉领域多模态信息处理任务，是当前人工智能的研究热点。近年来，图像描述技术在早期幼儿教育、机器人视觉、人机交互、图像检索、视障人士帮护等领域得到了深入的研究和应用[1-2]。

图像描述任务需要算法能够有效地处理图像和语言两种不同模态的信息，在理解图像内容的同时，在不同语义层面用自然语言表述图像的内容。由于异构语义鸿沟的存在，该任务仍具有较大的挑战性。当前，图像描述的研究任务存在两个比较突出的不足。

首先，现有研究大多针对图像的英文描述。然而，中文是世界上使用人口最多的语言。研究图像的中文描述对于实现技术本土化、增强中国文化自信具有重要的意义。相比英文，中文在语法结构、词义表述等方面更为丰富。因此，在实现图像中文描述的算法学习过程中，模型不仅需要对中文语料进行必要的分词、词嵌入表示等预处理，还需要考虑词语的多义性。因此，研究图像中文描述需要考虑的技术问题更多、难度更大。

其次，现有图像语句描述的算法并没有并重考虑视觉和语言两方面的信息。多数算法对发展较为成熟的语言模型更为倚重，对图像的视觉信息，尤其是图像内容的分布信息，处理方式简单粗暴，信息利用不充分。因此，生成的描述语句通常表现为语法较为合理，但语句内容相对单调，与图像内容相关度比较低。……