葛梦颖 孙宝山

摘  要：随着互联网的发展，人类可以获得的信息量呈指数型增长，我们能够从数据中获得的知识也大大增多，之前被搁置的人工智能再一次焕发活力。随着人工智能的不断发展，近年来，产生了视觉问答（VQA）这一课题，并发展成为人工智能的一大热门问题。视觉问答（VQA）系统需要将图片和问题作为输入，结合图片及问题中的信息，产生一条人类语言作为输出。视觉问答（VQA）的关键解决方案在于如何融合从输入图像和问题中提取的视觉和语言特征。本文围绕视觉问答问题，从概念、模型等方面对近年来的研究进展进行综述，同时探讨现有工作存在的不足;最后对视觉问答未来的研究方向进行了展望。

关键词：深度学习;人工智能;视觉问答;自然语言处理

Abstract：With the development of the internet，the amount of information available to human beings increases exponentially，and the amount of knowledge we can get from the data also increases greatly. Artificial intelligence，which had been put on hold，is radiate vitality. With the continuous development of artificial intelligence， in recent years，visual question answer （VQA） has emerged as a hot topic in the field of artificial intelligence. Visual question answer （VQA） system needs to take pictures and questions as input and combine these two parts of information to produce a human language as output. The key solution for VQA is how to fuse visual and linguistic features extracted from input images and questions. This paper focuses on the visual question and answer，summarizes the research progress in recent years from the aspects of concept and model，and discusses the existing deficiencies. Finally，the future research direction of VQA are prospected.

Keywords：deep learning;artificial intelligence;visual question answer;natural language processing

0  引  言

随着互联网科技的光速发展，网络信息变得越来越包罗万象、数量庞大。面对庞大的数据，如何筛选有用信息成为互联网发展的一项重要任务。视觉问答（VQA）是最近几年出现的一个新任务，视觉问答（VQA）系统能够參考输入的图片内容回答用户提出的问题，它运用了计算机视觉和自然语言处理两个领域的知识。在视觉问答中，计算机视觉技术用来理解图像，NLP技术用来理解问题，两者必须结合起来才能有效地回答图像情境中的问题。这相当具有挑战性，因为传统上这两个领域是使用不同的方法和模型来解决各自任务的。给定一张图片，如果想要机器以自然语言来回答关于这张图片的某一个问题，那么，机器对图片的内容、问题的含义和意图以及相关的常识都需要有一定的理解。……