赵经阳，余昌黔，桑农

华中科技大学人工智能与自动化学院图像信息处理与智能控制教育部重点实验室，武汉 430074

0 引 言

语义分割是计算机视觉领域中的一项基本任务，目标是将图像中的每一个像素分配给对应的类别，是像素级别的多分类任务。在自动驾驶、虚拟现实和医学图像处理等领域具有重要意义。卷积神经网络促使神经网络迅速发展，在计算机视觉各项任务中均取得最好效果(Krizhevsky等，2012；Simonyan和Zisserman，2015；He等，2016)。而全卷积神经网络(Long等，2015)彻底改变了语义分割等领域的格局，依靠编码器—解码器的结构，降低了对图像尺寸的依赖，无论输入编码器图像尺寸如何，都可在解码器输出部分得到相同大小的分割图像。一系列基于全卷积神经网络的语义分割研究(Chen等，2017，2018a；Lin等，2016；Liu等，2015)极大地推动了语义分割的发展。

由于深度相机的出现(Zhang，2012)，可以比较方便地获取彩色图像对应的深度图像。深度图是单通道图像，图像中的每个值对应该像素点到相机平面的距离。显而易见，深度图含有彩色图像相对匮乏的空间深度信息。在语义分割任务中，彩色图像中外观相似的相邻物体是网络难以区分的，但深度图像的应用可以在一定程度上缓解这个问题。尽管外观特征相似，但其在3D空间中相距甚远，这可以帮助网络进行分类。Gupta等人(2014)将深度图转化为三通道的HHA(horizontal disparity, height above ground and angle with gravity)图像，丰富了深度图像信息。

近年有不少关于RGB-D语义分割的研究(Jiang等，2018；Xing等，2020)，但如何更有效地提取深度信息并嵌入到视觉特征仍是一个值得探索的问题。……