王 茂，彭亚雄，陆安江

(贵州大学 大数据与信息工程学院，贵州 贵阳 550025)

视觉问答(Visual Question Answering，VQA)旨在将计算机视觉和自然语言处理结合起来，研究并拓展这两个领域，使得机器能够理解人类语言。VQA技术目前被广泛应用于字幕回答、盲人视觉辅助和视听感知对话等场景。VQA需要同时理解图像和文本信息，提取和编码必要的常识及语义知识，通过推理获得最终的答案。与自然语言处理相比，VQA更为复杂，常涉及到图像中所缺失的信息， 包括特定元素知识以及常识信息，因此对VQA进行研究可进一步推动人工智能的发展，改善人机交互，对盲人、儿童和医疗等领域的发展具有重要意义。

VQA可回答关于图像的自然语言问题，并以自然语言的方式生成答案。文献[1]利用注意力方案来突出问题中的重要单词及与问题相关的图像区域。文献[2]提出了一种深度级联的多模态编码器-解码器注意网络，通过将关键词与图像中重要的目标区域相关联，可以捕获更加丰富的问题特征和图像特征。文献[3]利用不同的多模态双线性池汇集方法，将来自空间网格的图像特征与来自问题的文本特征相结合来预测注意力。文献[4]提出了一种多级注意模型，即对图像本身进行自下而上的注意和剩余的自我注意，并采用问题引导的自上而下的注意方法提取图像特征。文献[5]通过迭代，关注答案相关的关键词来回答问题，而不考虑图像区域。文献[6]建立了共同注意，用于图像上的视觉注意和问题上的问题注意，但是单步注意网络不具备推理能力。……