APP下载

SAR图像飞机目标检测识别进展

2020-07-13王海鹏

雷达学报 2020年3期
关键词:飞机特征图像

郭 倩 王海鹏 徐 丰

(复旦大学电磁波信息科学教育部重点实验室 上海 200433)

1 引言

合成孔径雷达(Synthetic Aperture Radar,SAR)是一种主动式微波成像传感器,它可以穿透云、雨、雪和烟雾,具有全天时、全天候的成像观测能力。SAR自20世纪50年代诞生、发展至今,由于独特的成像机制,其在军事和民用领域都得到了广泛的应用[1–3]。在军事领域,SAR可用于全天候全球战略侦察,全天候典型目标探测与识别及隐形目标散射特性的静态与动态测量等;在民用领域,SAR在矿藏资源探测,灾情探测与防治、地形探测与绘制及海洋,农业,林业等方面也发挥着巨大的作用[4]。由于SAR的独特性能,SAR图像中典型目标解译技术受到了各国的重视,不断发展进步。飞机作为一类重要的目标,在民用领域,飞机检测有助于机场的有效管理;在军事领域,获取飞机的数量等信息具有重要价值[5–7]。因此,在高分辨率SAR图像中对其进行精确检测识别具有重要意义。

传统的SAR图像目标检测方法主要基于特征和分类器。一般来讲,目标自动识别包含由检测、鉴别和识别3个阶段[2],首先通过检测算法将包含目标和虚警的可疑目标检测出来,最常见的传统目标检测算法为基于杂波统计与阈值提取的恒虚警率算法(Constant False Alarm Rate,CFAR)[8],在此基础上,学者从统计特征,非均匀背景等方面进行了深入研究,提出多种改进的CFAR算法,如CA-CFAR(Cell-Averaging Constant False Alarm Rate)[9],SOCA-CFAR(the Smallest Of Cell-Averaging Constant False Alarm Rate)[10],GOCA-CFAR(the Greatest Of Cell-Averaging Constant False Alarm Rate)[11],OS-CFAR (Ordered Statistic Constant False Alarm Rate)[12]及VI-CFAR(Variability Index Constant False Alarm Rate)[13]等。在鉴别阶段可进一步通过其它特征如尺寸、形状、语义等信息来区分目标和虚警。在SAR图像中常用的特征包括目标的轮廓、尺寸、纹理、散射中心等[14–23]。在最后的识别阶段常用的方法包括:模板匹配、基于模型的方法和机器学习[24–29]。模板匹配通过计算目标与模板间相似度实现对目标的识别,结果依赖于模板的尺寸,方向与图像元素等特征。随模板数据库的不断完善,目标识别精度也会相对提高。基于模型的识别方法则需要通过多次迭代获取高精度模拟图像,对电磁计算的速度以及三维模型的精确度有较高要求。针对模板匹配与基于模型的识别方法中运算量大、效率低的问题,许多研究者开始研究机器学习算法,如支持向量机、神经网络、自适应增强等,来进行SAR目标自动解译。

近年来,随着深度学习理论和方法的不断发展和推广应用,其在多个领域都取得了较好的效果。目标检测作为图像解译中重要一环,是机器学习的核心问题之一。深度特征具有很强的描述能力[30],在检测和分类方面都表现出良好的效果,自此以后在目标检测领域涌现出了很多基于深度学习的方法,也取得了很大的研究进展[31]。现有深度学习目标检测算法主要分为两阶段检测与单阶段检测两大类,其具体发展过程如图1所示。

图1 深度学习目标检测算法发展Fig.1 Development of deep learning-based target detection algorithms

两阶段算法首先生成候选框作为样本,对候选区域应用图像分类算法;而单阶段检测算法直接对预测的目标物体进行回归。在两阶段检测算法中:Girshick等人[32]提出了R-CNN(Region-Convolution Neural Network),它采用生成候选区域、用CNN提取特征、图像分类、非极大值抑制4个步骤进行目标检测,但是R-CNN的候选框存在重复计算、各步骤串行操作等问题,导致运行效率很低。He等人[33]针对这一问题,引入了空间金字塔池化层,提出了SPP-net(Spatial Pyramid Pooling-net),大幅缩短了训练时间。Girshick[34]在此基础上提出了Fast R-CNN,将不同大小候选框的卷积特征图采样成固定大小,只使用一个尺度进行网格划分和池化,进一步提高计算速度。尽管Fast R-CNN成功地集成了R-CNN与SPP-net的优点,但其仍存在计算量大的问题。Ren等人[35]在Fast R-CNN基础上提出Faster R-CNN,在主干网络中增加了RPN(Region Proposal Network)网络,通过一定规则设置不同尺度的锚点在RPN的卷积特征层提取候选框,实现了网络的端到端训练。为了增强网络的平移敏感性,提升目标定位精度,Dai等人[36]将感兴趣区域的计算共享,提出了R-FCN(Region-based Fully Convolutional Networks)结构,并进一步提出了特征金字塔网络(Feature Pyramid Network,FPN),利用多尺度特征与自顶向下结构做目标检测,有效提升了网络对于小目标的检测性能[37]。2017年He等人[38]又提出了Mask R-CNN,通过双线性差值填补非整数位置的像素,使得下游特征图向上游映射时没有位置误差,不仅提升了目标检测效果,还使得算法能满足语义分割任务的精度要求。区别于R-CNN系列为代表的两阶段检测算法,Redmon等人[39,40]提出了一种快速有效的单阶段目标检测算法,被称为YOLO(You Only Look Once),该算法将检测问题简化为分类回归。在此基础上,Liu等人[41]结合了Faster R-CNN的锚点机制与YOLO的回归思想,提出了SSD(Single Shot multibox Detector)目标检测算法。SSD采用网格划分的思想,对不同卷积层的特征图像进行滑窗扫描,达到了和两阶段方法相当的精度,同时又保持了较快的运行速度。在此基础上,引入特征融合与多尺度信息,研究者相继提出了DSSD(Deconvolutional Single Shot Detector)[42]与FSSD(Feature fusion Single Shot Detector)[43]等算法。

随着合成孔径雷达成像及深度学习等技术的发展,人们获取到了更多高分辨率的SAR图像,从而使利用深度学习进行SAR图像处理成为可能。最近几年,国内外学者也在此领域做了大量工作[44–57]。纵观SAR中典型目标解译技术发展,从早期的基于杂波建模与阈值提取,模板匹配及基于模型的特征提取技术到现阶段的基于深度学习特征提取技术,本质上讲均为通过对典型目标的特征进行理解,从而实现对目标的高精度解译。而实际上SAR图像中既蕴含了目标的散射特征,也包含了场景与目标的结构,分布等空间线索,这些有效信息在目前的两大主流解译技术中尚未得到充分地挖掘与有机结合。本团队提出了一种新的SAR图像中飞机目标检测技术,通过对目标散射信息的建模和图像视觉语义的深度挖掘,有效增强待解译目标的散射特征信息,提升算法的精度与鲁棒性。本文首先对SAR目标自动识别中关键技术进行了论述与总结,再以飞机目标为例,深入分析了飞机结构特征、SAR图像中飞机目标散射机理及飞机目标检测及识别目前面临的挑战,介绍了当前基于传统方法提取与基于深度学习的两大主流方向的基本原理和研究进展。在此基础上,提出了基于散射特征信息增强与特征金字塔网络的飞机目标检测方法,并给出了初步的技术途径,最后对未来的发展进行了展望。

2 SAR图像中飞机目标检测及识别基本原理

2.1 SAR图像飞机目标检测识别流程

SAR图像中飞机目标检测识别算法的研究是一项热点,但由于高分辨率SAR图像飞机目标影像较少,飞机检测识别系统相关研究少有公开。本文将SAR图像中飞机目标检测识别系统的通用流程(如图2所示)大致分为5个步骤:图像预处理、机场检测、飞机目标检测、虚警剔除及飞机目标识别。

图2 飞机目标检测识别系统流程Fig.2 Flow of aircraft detection and recognition system

步骤1 图像预处理:预处理包括对图像灰度进行拉伸、直方图调整、斑点噪声滤除、目标对比度增强等。通过对图像进行预处理,增强目标、抑制背景、消除斑噪对检测过程的影响,提高机场目标、飞机目标的检测正确率;

步骤2 机场检测:由于飞机目标只分布在机场区域,对其余区域不做任何处理,因此要先进行机场检测,剔除图像中非机场区域。这样做既可以减小待处理图像的大小,又可以去除背景区域可能产生的虚警目标,从而提升检测速度与检测精度;

步骤3 飞机目标检测:这一步主要是利用各种检测算法将可能的飞机目标从机场区域进行提取,是整个流程的核心步骤。一般情况下,只针对飞机目标本身进行检测,当飞机部件信息清晰时,也可结合子部件检测,进一步提高检测的准确性;

步骤4 虚警剔除:结合飞机的几何特征和散射特征等先验知识对疑似目标进行鉴别,去除其中的虚警目标;

步骤5 飞机目标识别:在高分辨率SAR图像中,基于检测及虚警剔除结果,利用目标识别算法确定飞机型号,这一步也是流程中的核心步骤。通过对飞机目标典型特征的提取,可有效提高目标识别算法的鲁棒性。

2.2 SAR图像飞机目标散射特征分析

SAR是一种主动式微波传感器,它的成像方式形成了图像特有的特征,目标散射特征信息是SAR图像理解与应用的基础信息[58],如图3所示,这些特征包括目标几何特征、灰度统计特征、纹理特征、极化特征[59]与噪声特征等。

自从发明飞机以来,飞机的结构形式虽然在不断改进,飞机类型不断增多,但到目前为止,除了极少数特殊形式的飞机之外,大多数固定翼飞机基本构造大体相同,主要可以分为机头、机身、机翼、尾翼和动力装置5大部分(本文不考虑旋翼飞机)。由于合成孔径雷达对金属材料具有良好的探测性能,飞机在SAR图像中含有丰富的散射信息。如图4所示,本文以高分3号卫星聚束式卫星数据中飞机目标(图像分辨率为1 m×1 m)为例,讨论了各部件的主要散射机理(如表1所示)。

在高分辨率SAR图像中,由于飞机目标子部件远大于分辨率单元,因此SAR图像中飞机目标的散射信息主要由目标部件散射信息组成。基于飞机目标各部件的散射机制,单极化SAR图像中用于飞机目标检测识别散射信息主要包括目标几何特征、灰度统计特征与纹理特征3大类:

(1) 目标几何特征:SAR图像中飞机目标的几何形状是它们特有的标志,可用几何特征对其进行检测识别。比如,SAR图像中飞机目标表现为离散的强散射点的形式,具有明显的点目标特征,通过对点目标的检测与判别,可对飞机目标进行粗略的分类,识别和定位;此外,由于SAR图像中飞机目标(子部件)与背景具有较大的后向散射系数差别,而在灰度突变处会形成图像的边界点,因此SAR图像中飞机目标容易形成边界线性目标,具有较强的边缘信息。

图3 SAR图像散射特征Fig.3 Scattering features of SAR imagery

图4 飞机主要部件及散射机制Fig.4 Scattering mechanism of aircraft each component

表1 飞机各部件散射机理Tab.1 Scattering mechanism of each component

(2) 灰度统计特征:SAR图像中灰度的变化取决于目标物的后向散射截面,在成像条件相同的情况下,目标物的后向散射截面取决于目标的结构与材质等信息。因为SAR图像中飞机目标与其周围背景具有明显的结构与材质上的差异,因此其灰度振幅与统计特征都具有较大差异,可以通过对背景杂波的建模以及目标灰度分布的统计建模实现对SAR图像中飞机目标的提取。

(3) 纹理特征:纹理是指图像某一个区域的粗糙度或一致性[58],其取决于灰度的相对变化,而不是灰度的绝对值。一个图像的纹理随着雷达系统的波长、分辨率和入射角而变化,也会随着目标的组成成分和它的背景特征的排列状态而变化。不同类型的飞机目标之间的差异,往往不在于灰度大小,而在于它们的纹理差别。因此如何定义和计算目标局部纹理特征,对于虚警目标的鉴别以及不同型号飞机目标的分类是十分重要的。

2.3 SAR图像飞机检测识别面临的挑战

与光学图像不同,SAR成像波长更长,成像机制更复杂,成像结果也更难直观解读。最突出的是,目标在SAR图像中是不连续的,也即是由多个离散的不规则散射中心亮斑组成,而这些散射中心之间却隐含了目标识别的关键语义信息,因此如何将这些离散的亮斑组合成一个整体对目标检测识别十分关键。如图5所示为高分3号卫星聚束式SAR图像中飞机目标示例(图像分辨率为1 m×1 m,飞机翼展范围为30~40 m,机长范围为30~45 m)。

当对SAR图像中飞机目标进行检测识别时,因陆地杂波分布无规律,大量背景高亮散射点的存在对目标检测造成很大干扰,故仅基于杂波建模与亮度信息提取目标的CFAR算法并不适用。除此之外,由于SAR图像复杂的成像机制与散射条件的多变性,飞机目标成像呈特征多样性,手动设计的特征难以适应于多种情况。本文总结飞机检测识别所面临的挑战主要体现在以下3个方面:(1) 离散性,由于飞机表面大部分平滑,飞机在高分辨率SAR图像中呈现为散射点的形态,目标飞机很容易被分成许多小块,在这种情况下,检测完整的目标是困难的,该问题被称为离散性;(2) 多变性,由于飞机结构复杂,其不同部分具有不同的散射机理,包括腔体散射、边缘绕射等,在SAR成像过程中,随着入射角和方位角等散射条件的变化,目标的散射也发生着不同程度的变化,导致散射结果多变,难以确定目标型号,该问题被称为多变性。(3) 复杂背景影响,除飞机目标自身结构所导致的复杂与多变性影响之外,在高分辨率SAR图像中,复杂背景也会对SAR图像中飞机目标精确检测识别造成干扰,大量背景高亮散射点分布在飞机目标周围,难以准确建模,与飞机目标部件等会发生一定程度的混淆,使得飞机难以准确定位与识别,该问题被称为复杂背景影响。

图5 SAR图像中飞机目标示例Fig.5 Examples of aircraft in SAR imagery

3 传统的飞机目标检测识别研究进展

由于SAR图像中飞机目标成像具有离散性与多变性的特点,且容易受背景强散射点,如滑行道、储油库等的影响,因此设计鲁棒的特征提取方法,对飞机目标精确检测识别具有关键作用。El-Darymli等人[60]将传统的SAR图像中目标特征提取算法大致分为3类:基于单特征的、基于多特征组合的和面向专家系统的(如图6所示)。基于单特征的算法采用单一特征在SAR图像中进行检测识别,常用特征信息为图像灰度信息,该方法是其他两类方法的基础。基于多特征的方法从输入的SAR图像中提取两个或多个特征的融合来做出决策,除了亮度信息,还可以推断和融合其他特征。最后,面向系统的方法扩展了上述两个分类,利用关于成像的场景、杂波和目标的先验知识来在SAR图像中进行解译。随着算法复杂性的增加,出现了复杂度与性能的权衡,在选择某种方法时应谨慎,以便平衡此权衡。

如图7所示,本文将传统方法中的飞机目标检测识别方法主要分为基于目标结构特征与基于目标散射特征两大类。现有工作中大多数基于多特征方法与面向系统类方法,研究者通常采用多种特征信息与先验信息进行融合后作出决策。在此基础上,光学图像中部分飞机目标检测或识别算法也具有一定借鉴意义,本文在此一并概括。需要注意的是,由于成像波长与成像机理上的本质区别,在传统解译方法中,光学和SAR在图像处理上有着显著区别。因此,对于飞机目标结构特征,如目标轮廓,部件形状及结构分布等特征,二者方法可以互通;而对于飞机目标散射特征,如目标几何特征、灰度统计特征及目标纹理特征等,二者则有着巨大差别,难以直接迁移。

图6 传统SAR图像中目标特征提取算法分类Fig.6 Classification of traditional methods

3.1 基于目标结构特征的方法

目标的结构是重要的特征。目标准确的轮廓、部件形状或结构分布等特征可以为算法提供重要的先验信息,突出目标结构或形状等信息可以提高遥感影像中目标解译的准确性。在飞机目标检测识别中,常用的结构特征包括:由机身和翼展构成的“Y”型或“T”型骨架,飞机目标部件结构分布,飞机结构的对称性等,除此以外,飞机目标的尺寸,发动机数量等信息也可用于飞机目标的提取与鉴别。特别地,在高分辨率图像中,飞机目标的骨架与轮廓信息都得到了很好的保留,这些显著的结构特征对于飞机目标解译具有重大意义。

高君等人[61]提出了一种基于飞机目标结构特征的SAR图像中飞机目标检测识别方法,首先利用霍夫变换对飞机目标的骨架进行提取,结合飞机结构的共线性、对称性等特征对子部件进行提取,最后利用飞机关键尺寸等参数辅助实现飞机目标的分类。针对复杂背景下杂波的干扰问题,林煜东[62]提出了飞机几何部件模型及基于几何部件模型的分级检测算法,首先根据目标特有几何结构建立几何原子库,根据权重大小构建有序链式结构,在此基础上设计了分级检测算法。

图7 传统飞机目标检测识别方法Fig.7 Traditional aircraft detection and recognition methods

3.2 基于目标散射特征的方法

(1) 基于目标几何特征

与自然或光学图像中的目标不同,由于合成孔径雷达特殊的成像机制,目标主要包含多次反射,边缘绕射等几何特征以及散射中心特征,导致 SAR图像中的目标通常由一系列强散射点组成。因此,利用诸如目标散射点或边缘密度等形状特征用于SAR图像飞机目标特征提取是一条重要的技术路线。

Chen等人[63]对高分辨率TerraSAR-X图像中民用飞机散射特征进行了分析,在此基础上,利用Harris-Laplace角点检测器提取强散射点并提出利用凸点矢量对其进行描述,实现对飞机目标散射特征地提取与描述。考虑到飞机目标边缘是其重要的形状信息,郭倩等人[64]采用基于Canny算子的边缘检测算法对飞机目标候选切片进行提取;Hu等人[65]提出了一种基于像素局部窗口边缘分布的密度与均匀性的分割方法,对于飞机等人造目标的检测具有较高的有效性和准确性。

(2) 基于灰度统计特征

基于统计信息的方法一般先对已知真值的实测数据提取特征,再把这些特征作为样本建立数据库或迭代模型,在此基础上实现对未知目标的鉴别。基于统计信息的方法本质上仍是设计合适的特征,利用特征的鲁棒性和区分性提升目标识别的精度。

考虑到对于真实SAR图像,难以选取合适的杂波统计分布模型的问题,Li等人[66]提出了一种基于双域稀疏重构显著性的SAR图像中目标检测算法,实验结果表明该算法具有更好的鲁棒性。Dou等人[67]使用高斯混合模型(Gaussian Mixture Models,GMM)对飞机目标候选切片和模板切片进行建模,将其视为结构特征,在识别阶段,提出了一种新的基于K-L(Kullback-Leibler)散度的GMM模型相似度度量算法进行分类。Fu等人[68]提出一种基于散射结构特征的模板匹配飞机识别方法用于提高SAR图像的识别精度和识别效率:首先通过高斯混合模型对飞机目标散射结构特征进行建模,在识别阶段,通过提出的样本决策优化算法实现模板匹配。He等人[69]提出了一种基于混合统计分布的多分量模型,同时考虑目标结构信息与统计分布,利用混合统计分布对目标与背景进行区分,实现SAR图像中飞机目标的检测。

(3) 基于目标纹理特征

SAR图像中飞机目标分类常用的纹理特征包括方向梯度分布以及视觉显著性等特征。视觉显著性是一种显著的感知特性,其是指对于真实世界中的场景,人会自动识别出感兴趣的区域,并对感兴趣的区域进行处理而忽略不感兴趣的区域。“自底向上”作为视觉注意机制的策略之一,是指由图像本质特征引起的视觉注意,是由颜色、亮度、方向等一系列底层感知数据驱动的。由图像底层数据可知,图像不同区域内具有很强的特征差异性,通过判断目标区域与其周围像素的差异计算图像区域的显著性。基于显著性的目标检测识别算法首先通过亮度等信息提取图像的显著图,然后再通过显著图边缘信息、梯度方向等信息对目标进行分割与鉴别。

Chen等人[63]提出了含两个松弛变量的模板匹配方法,对飞机目标的显著特征向量进行匹配,具有一定范围内平移和旋转不变性,提升了算法的鲁棒性,该算法对于TerraSAR-X图像中波音747类飞机目标的识别率达到80%。考虑到目标的散射结构特征对于合成孔径雷达图像分析非常重要,Dou等人[67]提出了一种结合梯度显著图的强度和散射结构特征的SAR图像高分辨率机场区域飞机识别算法,该算法先利用基于阈值分割与杂波建模的CFAR来分割目标图像,在此基础上,提出了一种基于方向局部梯度图的有效目标定位方法以检测飞机目标,其在3.0 m分辨率的数据集上进行了实验,识别结果证明了该方法的准确性。Tan等人[70]基于图像显著图,提出了一种基于方向局部梯度分布的梯度纹理显著性映射方法,实现SAR图像中飞机目标的检测。该方法通过局部窗口中的局部梯度点密度计算像素属于目标的概率,在相邻像素之间施加交互约束,将目标的明暗像素连接起来,实现完整飞机目标的提取与组合。

4 基于深度学习的飞机目标检测识别研究进展

随着人工智能技术的不断发展,深度学习在图像处理领域展示了强大的特征提取及学习能力,它将以往需要人工设计的特征交给复杂的网络结构便可以获得一个较好的结果。深度学习在SAR图像处理领域的应用已成为新的研究热点。本文以算法是否利用目标的散射特征进行区分,将现有基于深度学习方法中的飞机目标检测识别方法分为直接应用深度学习和基于目标散射特征与深度学习结合两类。

4.1 直接应用深度学习的方法

本文将现有深度学习研究方法中典型网络主要分为3大类:卷积神经网络(Convolutional Neural Network,CNN)、深度置信网络(Deep Belief Network,DBN)以及区域卷积神经网络(Region Convolutional Neural Network,RCNN)。在卷积神经网络应用方面,王思雨等人[71]提出了基于数据增强与卷积神经网络的SAR图像中飞机目标检测算法,首先通过滑动窗选取候选切片,再通过卷积神经网络对候选切片进行鉴别。在深度置信网络应用方面,Dou等人[72]提出了一种利用形状先验来精确提取轮廓形状特征飞机目标重建方法,该方法分为两个阶段:在深度形状先验提取阶段,使用生成式深度学习建模方法获得目标形状先验;在重建阶段,提出了一种结合优化算法的从粗到精的目标姿态估计方法,为目标识别提供有效的先验信息。在区域卷积神经网络应用方面,He等人[73]为了探索目标与部件间的结构关系,从不同分辨率描述目标,并搭建了整体目标与部件目标组成的多尺度检测器实现对目标与部件的检测,最后采用小区域非极大值抑制算法进行网络检测结果的合并,基于TerraSAR-X数据的实验证明了该方法是可行的。An等人[74]基于旋转最小邻接矩形框,采用特征金字塔网络改善小目标检测效果,同时提出了一种结合困难样本挖掘及焦点损失的方法改善在目标检测中正负样本不均衡的问题,并在高分3号等数据集上验证了其算法的可行性。类似的,在光学图像中也有同样的处理方法,赵丹新等人[75]首先构建图形与模板金字塔进行多尺度检测,然后利用全卷积网络提取不同层的上下文信息,实现对遥感图像中飞机目标的高精度检测。Zhang等人[76]提出了一种级联三视的网络结构用于SAR图像中飞机目标检测,基于faster R-CNN网络结构实现机场检测,在此基础上通过切片及图像处理的方法对目标进行检测与鉴别;He等人[77]针对TerraSAR-X图像中飞机坟场的飞机目标具有明显的部件分离结构的特点,提出了一种基于飞机组件的多层并行网络,利用训练后的模型检测出整体目标和相应的部件,采用最大概率和先验信息来滤除虚警。随着计算机视觉网络的不断迭代更新,谭振宇等人[78]提出了一种改进型faster R-CNN目标检测算法,将非顶层特征图与顶层特征图进行融合,并结合自适应阈值进行训练,该算法应用于小样本飞机目标检测时效果有明显提升。针对现有深度学习算法直接应用到SAR图像中目标检测时存在冗余特征映射的问题,Lin等人[79]提出了一种基于压缩与激励机制的faster R-CNN算法用于SAR图像中舰船目标检测,对神经网络提取的特征向量进行编码及筛选,反向校正子特征图,改善网络检测效果。

4.2 目标散射特征与深度学习结合的方法

然而,深度学习对训练数据依赖很强,而SAR图像中目标的多变性使得同一目标在不同的成像条件下成像结果往往会有较大差异,这对强烈依赖训练数据的神经网络是非常不利的。因此,对于SAR图像中飞机目标检测与识别问题,直接应用深度学习典型网络,或者简单结合目标结构特征并不能获得一个鲁棒的结果。本文认为如何将深度学习与目标散射特征结合,提高网络或模型的泛化能力,是提升SAR图像中目标解译精度的关键问题。

在深度学习与目标电磁散射信息相结合方面,国内学者也做了一些工作。本文将现有研究中目标电磁散射信息与深度学习结合的方法主要分为隐式结合散射信息改进网络结构与显式结合散射信息增强图像信息两大类。在改进网络结构方面:针对SAR图像中舰船检测,考虑到SAR图像中小尺度舰船强散射点占用像素少的问题,Cui等人[80]提出了一种基于密集注意力的金字塔网络,将卷积注意模块与金字塔网络各个级联特征图相连,该方法将显著特征与全局非模糊特征进行结合,有效提升SAR图像中目标检测精度。针对高分辨率SAR图像中区域级舰船目标灰度对比度低的问题,Wei等人[81]提出了一种高分辨率特征金字塔网络结构,并行连接从高分辨率到低分辨率的子网络,从而增强网络中的目标显著信息,改善算法对区域级舰船目标的检测效果。考虑到SAR图像中飞机目标具有离散的强散射点的特征,Zhao等人[82]提出了一种金字塔注意膨胀网络(Pyramid Attention Dilated Network,PADN)结构,其关键组成部分为多分支膨胀卷积模块(Multi Branch Dilated Convolution Module,MBDCM)和卷积块注意模块(Convolution Block Attention Module,CBAM)。MBDCM用于改善飞机离散特征之间的关系,而CBAM对重要信息进行提炼,建立了一种精确检测SAR图像中飞机的方法。在增强图像信息方面,考虑到SAR图像中飞机易表现为离散的强散射点,并且飞机目标部件分布满足混合高斯模型的特征,本团队[83,84]提出了一种基于散射信息与深度学习融合的SAR图像中飞机目标检测方法,首先通过对目标散射特征的分析与提取,进行图像散射信息的增强;然后利用神经网络强大的特征提取能力,结合目标与背景的上下文信息,实现对飞机目标的高精度检测。

5 一种散射信息与深度学习融合的飞机目标检测方法

本团队提出的基于散射信息与深度学习融合的飞机目标检测算法框架如图8所示。

5.1 实验数据介绍

本实验采用C波段的高分3号卫星与X波段Terra-SAR卫星图像数据对算法进行验证。高分3号卫星数据分辨率为1 m×1 m,极化方式为HH极化;TerraSAR-X卫星数据分辨率为1 m×1 m,极化方式为HH极化。在64景图像上对算法进行了验证,其中,在飞机检测步骤中,将图像制作为2000像素×2000像素的切片,按照9:1的比例划分了训练集与测试集。

5.2 机场检测算法

针对高分辨SAR图像中飞机目标检测,本实验采用了一种基于自适应鉴别算子的机场检测算法,通过对连通域的形态,面积及孔洞占比等特征分析,精确地提取机场区域。机场检测算法有利于在SAR图像的大场景中快速定位机场区域,减少计算量。精确的机场检测算法对于场景图中机场以外区域与机场除停机坪外区域的虚警都具有良好的剔除效果,有效提升算法性能。如图9展示了在大场景SAR图像下机场检测前后的飞机目标检测结果对比。

详细性能比较结果如表2所示。分析实验结果后可以发现,通过精确的机场检测算法,飞机目标检测算法的虚警率可降低7.2%,检测结果中精确率有显著提升。此外,有效的机场检测算法也可大幅减少后续飞机目标检测识别流程中的计算量,提升算法效率。

图8 融合散射信息与深度学习的SAR图像中飞机目标检测算法框架Fig.8 Framework of the proposed aircraft detection algorithm in SAR imagery

图9 机场检测算法效果Fig.9 Effectiveness of the proposed airport detection algorithm in SAR imagery

表2 机场检测算法效果论证Tab.2 Demonstration of airport detection algorithm effectiveness

5.3 飞机检测算法

图像散射特征信息增强后的多通道图像可为特征金字塔网络提供有效先验信息。虽然在SAR图像中飞机的不同部件具有不同的散射机理,但其中大部分都可以描述为强散射点的组合。强散射点随几何结构和外部条件的变化波动较小,且不需要先验知识,具有更好的应用能力。因此算法选取具有尺度不变性和旋转不变性的Harris-Laplace检测器对强散射点进行提取,然后采用高斯混合模型对散射点进行建模。除此之外,算法采用初始聚类算法DBSCAN(Density-Based Spatial Clustering of Applications with Noise)进行目标初始聚类。基于散射信息增强后多通道图像,采用特征金字塔网络进行目标检测。

在高分3号与TerraSAR卫星图像上飞机目标检测结果分别如图10和图11所示。其中,上半部分为未经散射信息增强检测结果,下半部分为散射信息增强后检测结果,绿色框代表正确检测目标,黄色框代表虚警目标,红色框代表漏检目标。通过对实验结果进行分析,可以发现图像散射信息增强有利于提升算法对目标的检测率,同时在一定程度上抑制了虚警的产生。因为对图像进行散射信息增强在一定程度上相当于为神经网络提供先验目标信息,与原始图像相比,突出了目标特征而弱化了背景杂波的影响,有利于特征金字塔网络提取并学习有效特征。

在高分3号与TerraSAR-X卫星数据上的实验验证了本实验算法的鲁棒性与可行性,算法效果比较如表3所示。测试结果表明在未进行散射信息增强时,特征金字塔网络算法检测率为92.4%,虚警率为10.7%;而在散射信息增强后,该算法可在虚警率为7.9%的情况下检测率达到95.4%,验证了散射信息增强的有效性。

6 存在的问题及展望

6.1 存在的问题

目前,SAR图像中飞机目标检测识别算法已经取得了一定的成果,SAR-ATR系统也日臻完善。统一的算法评价标准是用来衡量所研究算法价值的有效途径。本文概括现有算法评价标准主要基于如下3个方面:

(1) 算法的精度:SAR图像中飞机目标检测识别算法应具有较低的虚警率与极高的检测识别率。过高的虚警率会导致算法检测结果可信度降低,不具有实际应用价值;漏检或错误识别目标则会导致关键目标的遗失。

图10 高分3号图像飞机检测结果Fig.10 Results of aircraft detection in Gaofen-3 SAR images

图11 TerraSAR-X图像飞机检测结果Fig.11 Results of aircraft detection in TerraSAR-X SAR images

(2) 算法的速度:SAR图像中目标检测识别算法应尽可能减少操作的数据量,减少网络训练及推理所需要的时间,提升运行速率,满足实际应用中的需求。

(3) 算法的稳定性:算法应当具有较高的鲁棒性,能够克服由于SAR成像所导致的噪声及杂波的干扰,同时能够在成像角度与目标背景发生变化时,对同一目标仍能实现高精度的检测识别;同时一个稳定的算法应具有可扩展性,能够处理大规模数据集。

上文对目前已有的SAR图像中飞机目标检测识别算法做了较为详细的阐述。为了便于比较,本节结合上述评价标准,提纲掣领地指明各类算法具有的优势及存在的问题,如表4所示。

表3 基于GF-3与TerraSAR-X卫星数据的散射信息增强效果对比Tab.3 Results of algorithm without/with scattering information enhancement based on GF-3 and TerraSAR-X data

表4 SAR图像飞机目标检测识别算法对比Tab.4 Comparison of different aircraft detection and recognition methods in SAR imagery

6.2 发展趋势

针对上述各类算法存在问题,结合目前国内外已有的各类算法,本文认为SAR图像中飞机目标检测识别的下一步研究方向可以考虑如下几个方面:

(1) SAR专用神经网络的设计:现有基于深度学习的目标检测算法网络结构主要是基于计算机视觉网络架构的迁移,着重考虑光学图像中目标特征,未在网络结构中显式结合SAR成像机制及飞机目标独特的散射特性,事实上,SAR与光学的成像机理具有本质的区别,对观测角度极为敏感。因此,在成像角度或背景发生变化的情况下,网络检测识别效果总会有一定程度的下降,泛化能力较差。后续研究可以结合现有的深度学习技术,发展适应电磁信息的认知智能算法[84]。考虑结合背景散射杂波的复杂性与不均匀性、飞机目标的离散性与多变性等SAR图像特性,设计SAR专用的神经网络基本单元结构,提升算法的泛化能力。

(2) 复数图像特征的挖掘:SAR图像以复数形式记录某个波段的回波信息,而复数信息可对应变换提取为图像的振幅与相位信息。SAR图像独有的相位信息是其余传感器所无法获取的。事实上,目标和杂波在实图像上表现出差异的本质是由二者的回波特性不同所导致的[6]。现有大多数目标检测识别算法仅基于图像的幅度信息而忽略了可用于目标特征分析的相位信息。因此,从理论上来讲,通过对二维SAR回波特性和成像机理的深入研究,提取目标复数特征,进一步发展更为精确的目标检测与识别算法具有探索意义。

(3) 少样本或样本不均衡条件下的算法设计:现有基于深度学习的目标检测识别算法普遍存在对训练样本需求量大的特点。而在实际应用中,由于SAR成像机制较为复杂,数据来源较少,且图像中目标离散、尺寸较小,存在相干斑噪声干扰,获取大量且均衡的训练数据是非常困难的。因此,如何在少样本或样本不均衡的条件下,结合SAR图像目标仿真等技术,设计弱监督或无监督学习算法具有重要研究意义。

(4) 算法的普适性与不同传感器数据的处理:受数据集的限制,本文算法只在GF-3 SAR和TerraSAR-X数据上进行验证。不同传感器数据必定会影响算法性能,可以通过建立对应的数据集来训练或者迁移学习形成新的网络。机场检测与飞机检测算法对数据的依赖性比较小,具有较强的鲁棒性;但对于飞机目标的识别,建立特定传感器的数据集来训练分类是非常有必要的。通过多源数据集的融合,提高目标检测识别的性能也值得进一步研究。

7 结束语

合成孔径雷达作为一种全天时、全天候的微波成像雷达,是空间对地观测的有效工具,在军用与民用领域都发挥着重要的作用。本文回顾了合成孔径雷达图像解译技术的发展,介绍了SAR图像中飞机目标检测识别的通用流程,指出SAR图像中飞机目标高精度定位与识别技术受限于目标的离散性、多变性以及复杂背景的影响,现有技术存在适用范围小、鲁棒性不强,或缺乏理论支撑的短板,限制了SAR图像中飞机目标检测及识别技术大规模推广应用。本文着重从算法是否采用目标散射特征为出发点,从传统方法与深度学习两个方面对SAR图像中飞机目标检测识别进行了较为全面的综述,并提出了一种基于散射信息增强与深度学习结合的飞机目标检测算法。随着SAR技术的不断发展,检测识别算法也将随之变化,相信随着更多学者的深入研究,这一领域会有更多实际性成果。

猜你喜欢

飞机特征图像
飞机失踪
离散型随机变量的分布列与数字特征
基于生成对抗网络的CT图像生成
浅析p-V图像中的两个疑难问题
巧用图像中的点、线、面解题
“拼座飞机”迎风飞扬
抓特征解方程组
不忠诚的四个特征
乘坐飞机
神奇飞机变变变