一种结合全局和局部相似性的小样本分割方法
2021-04-13刘宇轩孟凡满李宏亮杨嘉莹吴庆波许林峰
北京航空航天大学学报 2021年3期
刘宇轩,孟凡满,李宏亮,杨嘉莹,吴庆波,许林峰
(电子科技大学 信息与通信工程学院,成都610000)
小样本语义分割旨在使用少量有标注的图像对新类目标进行分割,其关键问题之一是如何提取支持图像(有标注的图像)和查询图像(待分割的无标注图像)的相似关系,实现先验知识的迁移。现有的小样本分割方法[1-5]常被建模为两分支卷积神经网络,分别是支持分支和查询分支。支持分支提取支持图像的分割先验,查询分支则用于提取查询图像在嵌入空间中的特征,根据支持分支的分割先验,构建两者之间的相似关系,实现对查询图像的分割。
然而,现有的方法通过单独考虑图像的全局线索或者局部线索构建支持图像和查询图像的相似关系。例如,一些方法[1-2,6-8]只考虑了全局线索,而忽略了蕴含细节信息的局部线索,使得模型难以实现细节的准确分割。另一方面,一些方法如LTM[3]只考虑了局部线索,忽略了携带有丰富语义信息的全局线索,导致模型的通用性和泛化性受限。综合两者的优劣,本文将全局线索和局部线索相结合,克服彼此的缺点,使得两者相互促进,获得更优的分割结果。
基于上述分析,在建模支持图像分割先验和查询图像特征之间的关系时,本文同时考虑了支持图像的全局线索和局部线索。具体地,本文提出了一个新的注意力谱生成器,根据支持图像和查询图像之间的关系,更准确地输出查询图像的注意力谱。注意力谱生成器包含2个级联的模块:全局引导器和局部引导器。……
登录APP查看全文
