赵 磊，高联丽，宋井宽

(电子科技大学计算机科学与工程学院 成都 611731)

当前，计算机视觉[1]与自然语言处理[2]相结合的跨模态任务获得大量关注，如图像描述生成(image captioning)[3-4]、视觉问答(visual question answering)[5-6]等。视觉对话任务是指计算机根据图片、图片描述以及历史对话信息对人所提出的问题进行流畅自然地回答。视觉对话技术可以应用于大量的实际生活场景中，如协助视觉障碍患者完成对周围环境的感知；如升级客服系统，使之智能化地对消费者所提出的问题作答；或让机器人拥有类似于人的交流能力。

视觉对话是一项充满挑战性的任务。其中，视觉共指消解问题是关键的一个研究点，它是指如何找到问题中的代词在图片中的具体目标指代。在视觉对话任务中最常用的数据集VisDial 中，有近38%的问题以及19%的答案包含代词，如‘he’‘his’‘it’‘there’‘they’‘that’‘this’等。文献[7]通过神经模块网络确定问题中的代词在历史对话中所指代的具体实体，然后从输入的图片完成视觉定位。文献[8]提出了适用于视觉对话的双重注意力网络，它通过多头注意力机制学习问题与历史对话信息之间的潜在关联，然后利用自底向上的注意力机制完成视觉上的目标检测。文献[9]提出了递归的视觉注意力来对历史对话进行遍历，直至找到高置信度的视觉指代。总结先前的工作，它们都是通过文本定位和视觉定位两个步骤来解决视觉共指消解问题。然而，每一步过程都有可能产生误差，从而导致最终回答的问题精度不足。……