图像指代分割研究综述
2022-07-22韦世奎
信号处理 2022年6期
邱 爽 赵 耀 韦世奎
(1.北京交通大学信息科学研究所,北京 100044;2.现代信息科学与网络技术北京市重点实验室,北京 100044)
1 引言
图像指代分割问题是计算机视觉(Computer Vi⁃sion,简称CV)与自然语言处理(Nature Language Processing,简称NLP)交叉领域中的一个重要问题,它要求计算机能够同时理解图像与文本两种模态的数据,根据文本在图像中进行目标区域的像素级分类。近年来,图像以其丰富的内容信息常常在信息传递中作为载体,发挥重要的作用。随着具有拍照功能的智能设备的普及以及平安城市工程的启动,每天都有大量的图像和视频数据产生。同时,随着互联网技术的发展与人们分享习惯的转变,大量的视觉数据也在网络上快速传播。另一方面,以GPU 为代表的高性能计算工具被频繁地应用于研究与产品中,大大提升了视觉任务的处理速度。在这种背景下,计算机视觉方向取得了令人瞩目的进展和突破。与图像等视觉数据相比,文本数据具有更利于理解的特点,人们可以通过文本直观地表达需求。因此,由于图像丰富的信息和文本易于理解的特点,以图像与文本数据为研究对象的多模态任务是人工智能发展中重要的研究方向。
图像指代分割任务的目标是:给定输入图像和指代描述,通过对指代描述进行分析理解在图像中分割出相应的物体或区域。与图像描述生成[1-2]、视觉问答系统[3-4]等利用图像文本数据的问题不同,该任务中的文本特指指代描述。指代描述关注……
登录APP查看全文
