APP下载

基于自适应锚框分配与IOU监督的复杂场景SAR舰船检测

2023-11-06胥小我张晓玲张天文邵子康徐彦钦曾天娇

雷达学报 2023年5期
关键词:锚框边框舰船

胥小我 张晓玲 张天文 邵子康 徐彦钦 曾天娇

①(电子科技大学信息与通信工程学院 成都 611731)

②(电子科技大学航空航天学院 成都 611731)

1 引言

合成孔径雷达(Synthetic Aperture Radar,SAR)是一种主动式微波成像传感器,在地质遥感、灾害监测、应急救援、海洋监视等领域[1–4]得到了广泛应用。SAR具有全天时、全天候工作特点,十分适用于监视气候多变的海洋。目前,越来越多学者开始关注SAR舰船检测,并将其应用于海洋交通监测、港口舰船调度、海洋主权维护、海上应急救援、海洋渔业管理等领域[5–8]。

近年来,深度学习在计算机视觉等领域推动着多种算法演进和各项技术革新,受此启发,越来越多SAR智能解译领域学者开始研究基于卷积神经网络(Convolutional Neural Network,CNN)的SAR舰船检测。例如,Tang等人[9]提出了一种噪声分类器和一个目标提取器,用于在不同程度噪声下进行舰船检测。Zhang等人[10]提出了用于复杂场景舰船检测的混合级联网络,其中结合了目标检测和实例分割思想。He等人[11]提出了一种基于成对分支子网络和特征增强模块的舰船检测网络用于斜框SAR舰船检测。Xu等人[12]针对实时星载SAR舰船检测问题,建立了一种基于YOLOv5的轻量级检测器用于实时舰船检测。Zhang等人[13]提出了一种超轻型深度学习网络(A Hyper-Light Deep Learning Network,HyperLi-Net),在保障检测效率的前提下有效提升了SAR舰船检测精度。Zhang等人[14]还建立了掩模注意交互和尺度增强网络来同时提升SAR舰船检测和实例分割精度。Xu等人[15]针对双极化SAR图像中舰船检测问题,构建了一种分组增强融合网络(A Group-Wise Feature Enhancement-and-Fusion Network,GWFEF-Net)用于提取双极化SAR舰船特征。此外,Li等人[16]总结了177篇基于深度学习的SAR舰船检测算法,并对SAR舰船检测领域的过去、现状和未来发展趋势进行了分析。

上述方法大多基于锚框与真实边框的交并比(Intersection over Union,IOU)手工阈值来将舰船锚框分配为正负样本,然而这种经典锚框分配准则存在不合理现象。该准则忽略了锚框与真实边框相交区域的实际内容,对于复杂场景下的靠岸舰船、并排舰船而言,一方面,被分配为正样本的锚框包含背景噪声、相邻目标等干扰信息;另一方面,被分配为负样本的锚框也包含有利于网络分类回归的有价值信息。然而,在SAR舰船复杂场景中,可能没有一个锚框与真实边框有高IOU值,经典锚框准则不会将某些有价值锚框分配为正样本,而会将所有锚框都分配为背景负样本。因此,经典锚框分配准则易导致正样本多、负样本少的不合理锚框分配现象,这将导致复杂场景下的舰船样本学习能力低下,最终影响模型检测性能。同时,现有研究大多只采用分类得分评估检测框质量,忽略了利用定位信息,导致了有限的舰船定位精度。此外,现有方法大多不能有效排除靠岸金属设施、相邻舰船等复杂场景下的背景杂波干扰,这给进一步提高复杂场景SAR舰船检测精度带来了困难。

为此,本文提出了一种基于自适应锚框分配与IOU监督的复杂场景SAR舰船检测方法A3-IOUSNet,主要创新性工作如下:

(1) 自适应锚框分配:建立高斯混合模型来自适应分配锚框,增强了复杂场景的舰船样本学习能力。

(2) IOU监督:增加IOU预测头来监督检测框定位质量,使得网络能够精确定位复杂场景舰船目标;此外,在该IOU预测分支中引入了坐标注意力模块,抑制了背景杂波干扰,进一步提高了舰船检测精度。

2 方法描述

2.1 网络框架

A3-IOUS-Net网络结构基于主流单阶段检测器(即RetinaNet[17])设计。RetinaNet兼顾检测速度与检测精度,因此选择该网络作为模型基线进行研究。

A3-IOUS-Net网络结构如图1所示。其网络结构由骨干网络、特征金字塔网络(Feature Pyramid Network,FPN)和检测头组成。此外,A3-IOUS-Net核心贡献是自适应锚框分配机制和IOU监督机制。

图1 A3-IOUS-Net网络结构Fig.1 Overall framework of A3-IOUS-Net

首先,A3-IOUS-Net使用骨干网络提取舰船特征。在不失一般性情况下,选择ResNet-50作为骨干网络[18]。然后,使用FPN对骨干网络提取到的特征进行空间信息增强。最后,使用FPN生成的特征进行分类、回归及IOU预测,获得检测结果。特别地,A3-IOUS-Net通过自适应锚框分配机制合理分配正负样本。此外,A3-IOUS-Net通过IOU监督机制来提高检测框定位质量并抑制背景杂波干扰。

2.2 锚框分配策略

2.2.1 经典锚框分配

RetinaNet在光学目标检测领域提供了先进检测性能,但在SAR舰船检测领域的检测性能却欠佳。这可能是由于其采用的经典锚框分配准则不适配于SAR舰船复杂场景。

一般地,经典锚框分配准则由预测框和真实边框之间的IOU阈值确定样本分配,IOU即为预测框和真实边框的交并比,定义为

其中,BP表示预测框(即Predicted Box),BG表示真实边框(即Ground Truth Box),则IOU表示预测框和真实边框交集和并集的面积比值,如图2所示。

图2 预测框和真实边框之间的IOU示意图Fig.2 Schematic diagram of IOU between the predicted box and the ground truth box

具体而言,对于每个真实边框,若存在锚框与真实边框的IOU超过阈值,对应锚框分配为正样本,其余锚框分配为负样本或者忽略样本,定义为

其中,锚框→正样本表示锚框被分配为正样本,忽略样本表示锚框被分配为不参与网络训练的样本,锚框→忽略样本表示锚框被分配为忽略样本,锚框→负样本表示锚框被分配为负样本。

经典锚框分配准则下SAR舰船复杂场景的锚框分布如图3所示,其中绿色矩形代表舰船真实边框,蓝色矩形代表负样本锚框,红色矩形代表正样本锚框。根据经典锚框分配准则,图3中的舰船真实边框只与单个锚框的IOU(即0.56)大于指定阈值(即0.50),该锚框分配为唯一正样本。然而,真实边框附近的另一锚框(即图3中棕色矩形框)也包含了目标舰船的有价值区域,具有分配为正样本的潜力,应当定义为正样本来参与网络训练。因此,经典锚框使用固有的IOU阈值来分配正负样本,这往往导致复杂场景下正样本少、负样本多的不合理分配,限制了复杂场景下网络的舰船样本学习能力。

图3 经典锚框分配准则下SAR舰船复杂场景的锚框分布Fig.3 The detection result of complex scenes under the classical anchor box allocation criteria

综上,在进行实际复杂场景SAR舰船检测时,经典锚框分配准则与实际模型当前学习场景存在严重失衡。这将导致网络的舰船样本学习能力低下,最终影响模型检测性能。

2.2.2 自适应锚框分配

为了使得锚框分配准则能够适用于SAR舰船复杂场景,提出了一种自适应锚框分配机制,该机制能够根据概率分布模型拟合当前学习场景下的锚框得分分布,自适应地将锚框分配为正负样本,从而避免了IOU阈值和正样本数量的手工设定。具体而言,该机制首先计算锚框在当前学习场景下的得分,其次利用得分进行概率分布建模,最后利用该概率分布模型来自适应分配正负样本。

自适应锚框分配如图4所示。其中,黄色矩形代表锚框,圆点代表基于分类分数和定位分数的锚框得分。锚框得分越高,圆点颜色越红;锚框得分越低,圆点颜色越蓝。自适应锚框分配机制首先计算锚框分数并将锚框分数建模为双模态(一种用于正样本,一种用于负样本)高斯混合模型的分布样本。然后根据分布模型指导锚框自适应分配为正负样本,这避免了预设IOU阈值或正样本数量。

图4 自适应锚框分配示意图Fig.4 Schematic diagram of adaptive anchor assignment

首先,自适应锚框分配机制定义了锚框的评分准则,该评分准则可以反映出当前场景下锚框的正负样本分类及定位质量,其初步定义为

其中,a表示锚框,x表示输入的SAR图像,fh表示具有超参数h的网络模型,g表示真实边框,Scls表示锚框的分类得分,Sloc表示锚框的定位得分,E1表示分类得分权重,E2表示定位得分权重。不同于文献[19],该评分准则的分类得分权重及定位得分权重由网络自适应学习得到,有利于提升当前复杂场景下的锚框学习能力。

特别地,锚框的分类得分可以由分类检测头的分类得分直接得出,然而锚框的定位得分并不能由定位检测头直接得出,这是由于定位检测头的输出是编码后的坐标偏置量而非定位得分。考虑到预测框与真实边框的IOU能够体现定位质量且其取值范围为[0,1],采用预测框与真实边框的IOU作为定位得分,定义为

将式(3)等号两边取负对数:

其中,Lcls表示交叉熵损失函数,LIOU表示IOU损失函数。因此,给定一个真实边框,自适应锚框分配机制将上述两个损失函数的和作为锚框评分准则。

其次,该机制利用上一步骤得到的锚框得分进行概率分布建模。概率分布建模目标是根据锚框分数样本区分正负样本,由于目标检测任务锚框分数样本分布符合高斯混合分布模型[19],采用双模态高斯混合模型(Gaussian Mixture Model,GMM)[20]来建模锚框得分分布。具体而言,采用最大似然估计来确定概率模型的分布参数。高斯混合模型定义如下:

其中,N1表示正模态高斯模型,w1表示正模态高斯模型权重,µ1表示正模态高斯模型均值,q1表示正模态高斯模型标准差;N2表示负模态高斯模型,w2表示负模态高斯模型权重,µ2表示负模态高斯模型均值,q2表示负模态高斯模型标准差,s表示锚框分数。实现过程中,给定一组锚框分数,通过使用期望最大化函数(Expectation-Maximization,EM)[21]来优化GMM的似然函数并估计出GMM的参数。

最后,自适应锚框分配机制利用概率分布模型来自适应分配正负样本,从而避免了手工调优IOU阈值等超参数。具体而言,通过估计的GMM参数,可以确定每个锚框自适应分配为正样本或者负样本的概率值。如图4左侧所示,通过将正样本分布曲线与负样本分布曲线的交点视为分配边界,可以将锚框分数大于该边界的锚框分配为正样本,将其余锚框分配为负样本。为了便于将该机制嵌入到网络的训练过程中,自适应锚框分配机制具体实现如下:

其中,Ppos(a,h,g)和Pneg(a,h,g)分别代表一个锚框被判定为正样本或者负样本的概率,Spos(a,h,g)和Sneg(a,h,g)分别代表被分配为正样本或者负样本的锚框对应得分,∅代表背景类。因此,在每次训练迭代过程中,网络会先计算Ppos和Pneg,然后再通过随机梯度下降法(Stochastic Gradient Descent,SGD)进行梯度优化。

自适应锚框分配基本流程详见算法1。首先,为了计算锚框分数,采用式(5)定义的锚框评分函数来获得统一的分类和定位得分。然后,为了使用锚框分数进行概率分布建模,采用EM来估计GMM相应参数。最后,使用得到的概率分布模型指导锚框分配为正负样本。

通过自适应锚框分配,网络可以自适应地将锚框分配为正负样本,这有助于增强复杂场景下SAR舰船样本学习能力,有利于提高SAR舰船检测性能。

2.3 IOU监督

以往深度学习SAR舰船检测算法在推理阶段往往只采用分类得分作为检测框分配准则,然而这些算法检测框的分类得分缺乏定位信息,导致复杂场景下有限的舰船定位质量。同时,复杂场景下舰船检测常常受到靠岸金属设施、相邻舰船等背景杂波干扰,这给进一步提高SAR舰船检测精度带来了困难。此外,受到光学遥感目标检测领域同时考虑分类分数以及位置分数的思想启发[22],提出了一种IOU监督机制,在检测器预测头部增加IOU预测分支来监督网络推理阶段的非极大值抑制(Non-Maximum Suppression,NMS)后处理中的检测框定位质量。此外,在IOU预测分支中引入了坐标注意力模块,抑制了背景杂波干扰,从而提高最终的SAR舰船检测性能。

算法 1 自适应锚框分配基本流程Alg.1 Basic process of adaptive anchor assignment

具体而言,IOU监督在NMS后处理中使用了IOU预测分支监督检测框定位得分,监督了检测框定位质量;在IOU预测分支中引入了坐标注意力模块,抑制了背景杂波干扰。结合IOU监督的NMS后处理基本流程详见算法2。

IOU预测分支示意图如图5所示。可以看出,IOU预测分支具有两部分:坐标注意力模块和IOU预测头。具体而言,首先,通过坐标注意力模块精炼输入特征,提取更显著的全局方位信息。然后,遍历IOU预测头对应特征图每个像素点xi,j ∈RH×W×1,则可以得到每个金字塔层级上所有锚框的IOU预测输出标量,其中xi,j表示空间坐标为(i,j)的像素点,H表示特征图高度,W表示特征图宽度。接下来将详细介绍坐标注意力模块。

图5 IOU预测分支示意图Fig.5 Schematic diagram of IOU prediction branch

坐标注意模块示意图如图6所示,该模块可以学习获取方位感知的特征图,有利于关注感兴趣舰船特征,抑制背景杂波干扰。经典SE-Net通过二维全局平均池化获得全局空间信息[23],但丢失了目标位置信息。与之不同,坐标注意力模块应用两个一维平均池化来解耦垂直方向和水平方向,以便保持两个方向的位置信息。对于给定的输入特征I=[i1,i2,...,ic]∈RH×W×C,使用H ×1池化层来编码垂直坐标,使用1×W池化层来编码水平坐标。以上编码操作的具体实现如下:

算法2 结合IOU监督的NMS后处理基本流程Alg.2 Basic process of NMS combined with IOU supervision

图6 坐标注意力模块示意图Fig.6 Schematic diagram of coordinate attention module

通过上述过程,生成的特征同时具有方向和位置感知,这可以促使网络更加关注舰船目标。

在上述空间方向解耦之后,得到具有精确位置信息的方向张量X(h)∈RH×1×C和X(w)∈R1×W×C。然后通过卷积运算生成自适应坐标注意力,其定义为

其中,Conv(⋅)是共享的1×1卷积层,BN(⋅)代表批归一化层,此外,的通道数是C/r,其中超参数r是通道压缩比,将其设置为16。然后,将分别输入到不同的1×1卷积层,以恢复通道原始数量,其定义为

其中,sigmoid(·)是sigmoid激活函数,Y(h)和Y(w)被视为自适应坐标注意力权重。

根据输出Y(h)和Y(w),沿着垂直和水平方向进行注意力加权。此时,坐标注意力模块的最终输出Y=[y1,y2,...,yc]∈RH×W×C定义为

不同于文献[24],这里把坐标注意力模块集成到IOU预测分支中,如图5所示。最终,得到细化的舰船语义特征,这有助于关注舰船边界位置信息,有利于抑制背景杂波干扰。

特别地,为了便于将该机制嵌入到网络的训练过程中,该机制引入了IOU预测损失函数来监督锚框的定位质量。此时,训练阶段的损失函数为

其中,LIOUP表示真实IOU和预测IOU间的交叉熵,即IOU预测损失函数,E3表示IOU预测损失权重。

具体地,采用了GIOU Loss作为IOU预测损失函数。其定义为

其中,BP代表绿色预测框,BG代表蓝色真实边框,BS表示两者的红色最小矩形包围框(即Smallest Rectangle Enclosing Box)。图7为预测框和真实边框之间的GIOU示意图。考虑到IOU Loss对于两个目标框的距离不敏感,而GIOU Loss能反映两个非重叠目标间的距离,这有利于提高模型检测定位性能。因此,使用GIOU Loss作为IOU预测损失函数。

图7 预测框和真实边框之间的GIOU示意图Fig.7 Schematic diagram of GIOU between the predicted box and the ground truth box

此外,Focal Loss作为分类损失函数,定义为

其中,pt表示预测类别概率,at表示平衡因子,b表示调制因子。

通过IOU监督,网络可以提升复杂场景下SAR舰船检测框定位质量,同时抑制靠岸金属设施、相邻舰船等背景杂波干扰,从而进一步提高最终的SAR舰船检测性能。

3 实验结果与分析

3.1 实验数据

本文使用国内公开的SAR舰船检测数据集(SAR Ship Detection Dataset,SSDD)[25]来验证所提出网络A3-IOUS-Net的有效性。SSDD数据集的信息概览如表1所示。从表1中可以看出,SSDD数据集有1160张来自3个不同SAR卫星的SAR图像,其中包含了2587艘船,即平均一张图像中有2.23艘船。该数据集中的SAR图像来自不同的卫星传感器,具有不同的海况、不同的极化模式、不同的分辨率、不同的地点、复杂的场景和丰富的舰船数量和舰船尺寸等特点。因此,本文使用SSDD数据集来验证A3-IOUS-Net的有效性。

表1 SSDD数据集信息概览Tab.1 Information of SSDD

3.2 实验配置

本文使用SGD优化器对A3-IOUS-Net进行优化,一共训练12个epoch。网络输入大小设置为512像素×512像素,学习率设置为0.005,动量设置为0.9,权重衰减设置为0.0001。学习率在每个第8和第11个时期减少10倍。此外,由于GPU能力有限,训练批次大小(Batch Size)设置为8。为了加速收敛,训练过程加载了ResNet-50的ImageNet预训练权重。其他未提及的超参数与RetinaNet保持一致。在网络推理过程中,NMS的IOU阈值设置为0.60。

实验运行在GPU型号为NVIDIA RTX3090、CPU型号为i9-9900K、内存大小为32 GB的个人计算机上。该计算机采用基于Python 3.10语言的Pytorch[26]和MMDetection[27]作为深度学习框架。此外,实验中使用CUDA11.7调用GPU进行训练加速。

3.3 评估指标

精度(P)定义如下:

其中,TP是True Positives的缩写,表示正确检测的舰船样本数量;FP是False Positives的缩写,表示错误检测的舰船样本数量。P可以衡量模型的查准率。

召回率(R)定义如下:

其中,FN是False Negatives的缩写,表示漏检的舰船样本数量。R可以衡量模型的查全率。

平均精度(AP)定义如下:

AP可以全面衡量检测模型的查准率和查全率,反映了模型的综合性能。因此,本文将其作为核心评价指标。此外,还使用参数量(Parameter Size,Params)来衡量模型的计算空间复杂度。

3.4 实验结果

由表2可知,相比其他15种模型(其中前10种模型属于通用目标检测领域,后5种模型属于SAR舰船检测领域),A3-IOUS-Net在所有场景上取得了最高SAR舰船检测精度,Libra R-CNN在全部场景上取得了次优SAR舰船检测精度。A3-IOUS-Net在全部场景上的AP指数高达94.05%,与次优方法Libra R-CNN相比,AP值高出2.46%。特别地,A3-IOUS-Net在复杂靠岸场景上的精度优势显著,其复杂靠岸场景对应的AP值达到了82.04%,比次优方法Libra R-CNN高出8.38%,这表明了A3-IOUSNet优越的复杂场景SAR舰船目标检测性能。特别地,Quad-FPN和GWFFE-Net均为本课题组所提出的SAR舰船目标检测方法,其中Quad-FPN局限于网络结构优化策略,GWFFE-Net旨在利用SAR舰船极化特征,然而上述两种方法忽略了正负样本分配不合理及定位质量较差的问题,导致了受限的SAR舰船检测精度。此外,A3-IOUS-Net的复杂靠岸场景上的各项评估指标均高于其他方法,因此A3-IOUS-Net可以在复杂场景中提供更准确、更全面的舰船检测结果,即在P,R和AP指标上的结果均最优。以上结果显示了A3-IOUS-Net优越的复杂场景SAR舰船检测性能。

表2 A3-IOUS-Net和其他方法性能对比Tab.2 Comparison of performance of A3-IOUS-Net and other methods

图8展示了不同方法在不同场景(即全部场景、复杂靠岸场景和简单离岸场景)上的精度-召回率曲线(Precision Recall Curve,PRC),图中PRC越靠近坐标轴右上方代表检测性能越好。如图8所示,与其他方法相比,A3-IOUS-Net对应曲线在不同场景上始终位于最右上方。特别地,A3-IOUS-Net对应曲线在复杂靠岸场景上的精度优势更为显著,这直观地揭示了A3-IOUS-Net具有最优越的复杂场景SAR舰船检测性能。此外,A3-IOUS-Net在原始网络上只增加了少量模型参数。

图8 不同方法在不同场景上的精度-召回率曲线Fig.8 Precision-Recall curves of different methods in different scenes

图9展示了在SSDD数据集上不同模型的复杂场景SAR舰船检测定性结果对比,图中展示了A3-IOUS-Net和次优模型Libra R-CNN的SAR舰船检测定性对比结果。图9中,绿色框表示真实边框,黄色椭圆表示漏检舰船,红色椭圆表示虚警舰船。图9(a)展示了复杂场景下的SAR舰船真实边框,图9(b)展示了Libra R-CNN在复杂场景下的SAR舰船检测结果。图9(c)展示了A3-IOUS-Net在复杂场景下的SAR舰船检测结果。可以发现,A3-IOUSNet提供了更优的复杂场景SAR舰船检测性能。例如,对比图9(b)与图9(c)第1行第1列图像的舰船检测结果,A3-IOUS-Net检测出靠岸金属设施干扰下的靠岸舰船,Libra R-CNN却漏检了该艘舰船。例如,对比图9(b)与图9(c)第1行第3列图像的舰船检测结果,A3-IOUS-Net准确无误地检测出3艘靠岸舰船,Libra R-CNN却错误地漏检了1艘并排靠岸舰船。以上都表明了A3-IOUS-Net具有更优越的复杂场景SAR舰船检测性能。

3.5 消融实验

3.5.1 自适应锚框分配机制消融分析

本节共开展了两组实验对自适应锚框分配机制进行消融分析。其中,实验1验证了是否使用自适应锚框分配机制对检测精度的影响,如表3所示;实验2验证了使用不同的概率分布模型对检测精度的影响,如表4所示。

表3 A3-IOUS-Net是否使用自适应锚框分配机制对精度的影响(%)Tab.3 Effect of whether A3-IOUS-Net using adaptive anchor assignment mechanism (%)

表4 自适应锚框分配机制使用不同概率分布模型对精度的影响(%)Tab.4 Effect of adaptive anchor assignment mechanism using different probability distribution models (%)

表3展示了是否使用自适应锚框分配机制对舰船检测精度的影响。如表3所示,在加入自适应锚框分配后,由于实现了自适应地将锚框分配为正负样本,提高了网络中舰船样本学习能力,模型在复杂靠岸场景上的检测精度AP值提高了11.17%,模型在全部场景上的检测精度AP值提高了3.33%,这充分表明了自适应锚框分配机制的有效性。在表4中展示了使用不同的概率分布模型对舰船检测精度的影响。如表4所示,高斯混合模型能够更好地建模SAR舰船复杂场景下的锚框得分分布,有利于网络将锚框合理地分配为正负样本,这与高斯混合分布模型能够形成任意形状密度分布的平滑近似[20]以及目标检测任务中锚框分数样本分布符合高斯混合分布模型[19,41]的理论一致。如图10所示,采样训练阶段的2013个锚框得分,将锚框分数建模为双模态(一种用于正样本,一种用于负样本)高斯混合模型的分布样本;可以发现,锚框分数样本分布符合高斯混合分布模型,其中锚框负样本分数符合一种均值为0.57标准差为0.16的高斯分布,锚框正样本分数符合一种均值为0.67标准差为0.10高斯分布;然后通过将正样本分布曲线与负样本分布曲线的交点视为分配边界(图中为0.56),可以将锚框分数大于该边界的锚框分配为正样本,将其余锚框分配为负样本。相较于采用次优概率分布模型,网络在复杂靠岸场景上的检测精度AP值提高了8.75%,网络在全部场景上的检测精度AP值提高了3.04%,这充分表明了高斯混合模型的有效性。此外,采用部分其他分布(如狄利克雷混合分布和T混合分布)的实验效果较差,说明了自适应锚框机制对于概率分布模型的类型选择比较敏感,若采用不适配的概率分布模型拟合符合高斯混合分布分数样本,这种不合理拟合模型反而会加剧正负样本的不合理分配,导致最终效果可能会比基于IOU阈值的锚框分配方法更差。

图10 锚框分数样本分布图Fig.10 The distribution figure of anchor score samples

3.5.2 IOU监督机制消融分析

本小节共开展了3组实验对IOU监督机制进行消融分析。其中,实验1验证了是否使用IOU监督机制对检测精度的影响,如表5所示;实验2验证了IOU监督机制使用不同的IOU预测损失函数对检测精度的影响,如表6所示;实验3验证了IOU监督机制是否使用坐标注意力模块对检测精度的影响,如表7所示。

表5 A3-IOUS-Net是否使用IOU监督机制对精度的影响(%)Tab.5 Effect of whether A3-IOUS-Net using IOU supervise mechanism (%)

表6 IOU监督机制使用不同IOU预测损失函数对精度的影响(%)Tab.6 Effect of IOU supervise mechanism using different IOU prediction loss functions (%)

表7 IOU监督机制是否使用坐标注意力模块对精度的影响(%)Tab.7 Effect of whether IOU supervise mechanism using coordinate attention module (%)

如表5所示,在单独加入IOU监督后,由于获取了IOU预测得分,提高了检测框定位质量,模型在复杂靠岸场景上的检测精度AP值提高了17.38%,模型在全部场景上的检测精度AP值共提高了6.86%,这充分表明了IOU监督机制的有效性。

如表6所示,IOU监督机制采用GIOU Loss相较于采用IOU Loss对模型具有更佳的增益效果。这是由于IOU Loss对于两个目标框的距离不敏感,而GIOU Loss能够反映两个非重叠目标间的距离,所以后者有利于进一步提高模型检测定位性能。在IOU监督机制采用GIOU Loss后,模型在复杂靠岸场景上的检测精度AP值提高了7.54%,模型在全部场景上的检测精度AP值共提高了2.37%,这充分表明了GIOU Loss的显著优势。

如表7所示,IOU监督机制采用坐标注意力模块后,由于关注了舰船方位信息,抑制了背景杂波干扰,模型在复杂靠岸场景上的检测精度AP值提高了5.4%,模型在全部场景上的检测精度AP值共提高了1.31%,这充分表明了坐标注意力模块的有效性。

3.6 大场景SAR图像迁移实验

为了进一步验证A3-IOUS-Net的复杂场景SAR舰船检测性能,使用在SSDD数据集上训练得到的深度学习模型在高分辨率SAR舰船检测数据集AIR-SARShip-1.0[42]上进行迁移实验,如图11所示。测试图片包括近岸大场景下的多尺度舰船目标,由于海况复杂、靠岸建筑干扰等元素导致检测场景相对复杂。图11展示了A3-IOUS-Net迁移到大场景SAR图像上的检测结果。其中蓝色框代表检测目标,红色框代表误检舰船目标,黄色框代表漏检舰船目标。从图11中可以看出,A3-IOUS-Net可以准确检测出所有离岸舰船,可以检测出部分靠岸舰船,但在密集河道区域仍存在一定的虚警。由此得出结论,A3-IOUS-Net具有一定的迁移能力,能够一定程度上适应多传感器下的复杂场景SAR舰船检测。

图11 大场景SAR图像舰船检测结果图Fig.11 Ship detection results in large scene SAR images

4 结语

针对复杂场景SAR舰船检测任务中舰船目标锚框分配不合理和检测网络定位精度不理想的问题,本文提出了一种名为A3-IOUS-Net的基于自适应锚框分配与IOU监督的复杂场景SAR舰船检测方法。首先,文中设计了自适应锚框分配机制,通过建立概率分布模型将锚框合理地分配为正负样本,以增强网络对于复杂场景舰船样本的学习能力,以提升检测精度。其次,提出了IOU监督机制,通过在预测头部增加IOU预测分支来对检测框的定位质量进行监督,使得网络能够精确地定位复杂场景舰船目标。另外,通过在该预测分支中引入坐标注意力模块,可以抑制背景杂波干扰,从而进一步提高检测精度。基于公开数据集SSDD开展了实验,结果表明所提出的A3-IOUS-Net具有优越的复杂场景SAR舰船检测性能。特别地,A3-IOUS-Net在复杂场景中SAR舰船检测精度AP值较次优模型Libra R-CNN提高了8.38%。消融实验也证明了A3-IOUS-Net每项改进的有效性。在未来工作中,将更加关注复杂场景下并列和靠岸的舰船目标检测,采用更适用于长宽比大舰船的斜框检测数据集Official SSDD[25],结合斜框检测思想对网络结构进行优化,进一步提高检测模型的鲁棒性和适应性。

猜你喜欢

锚框边框舰船
基于YOLOv3锚框优化的侧扫声呐图像目标检测
舰船通信中的噪声消除研究
锚框策略匹配的SSD飞机遥感图像目标检测
基于SSD算法的轻量化仪器表盘检测算法*
基于GA-RoI Transformer的遥感图像任意方向目标检测
舰船测风传感器安装位置数值仿真
用Lightroom添加宝丽来边框
给照片制作专业级的边框
摆脱边框的束缚优派
舰船腐蚀预防与控制系统工程