俞 俊 汪 亮 余 宙

(杭州电子科技大学计算机学院 杭州 310018) (复杂系统建模与仿真教育部重点实验室(杭州电子科技大学) 杭州 310018) (yujun@hdu.edu.cn)

近年来，随着社交网络的普及，图像和视频等视觉对象数据正在以前所未有的速度增长并广泛传播.如何有效地理解这些视觉对象的内容是一个基础问题.深度学习的成功使得我们可以使用深度神经网络模型对图像进行准确地物体识别和检测，对视频中的事件进行准确预测，然而，我们常说“一图胜千言”，我们通常无法使用简单的话语描述清楚图像或视频中所有的信息.在这样的背景下，如何使用交互式的方法，对视觉对象数据中信息进行有效地过滤，并以合理地形式呈现是一个亟需解决的问题.

在自然语言处理领域，问答(question answering, QA)系统在学术界和产业界都被广泛地研究.问答系统的目标在于设计合理的模型，对任意自然语言描述的问题，系统在充分理解输入问题后，使用自然语言自动进行准确地回答.由于问答系统在自然语言处理的成功，人们开始考虑将这种交互式的问答方式引入计算机视觉领域，对视觉对象进行交互式内容理解.在这样的背景下，视觉问答(visual question answering, VQA)被提出.该任务旨在输入一张任意的图像(或视频)和一个自然语言描述的问题，模型自动输出一个由自然语言描述的答案.由于涉及计算机视觉与自然语言处理2个领域的交叉研究方向，视觉问答受到广泛的关注，成为当前研究的热……