基于深浅层特征融合的舰船要害关键点检测算法

2021-11-10李晨瑄胥辉旗

系统工程与电子技术 2021年11期

李晨瑄, 钱坤, 胥辉旗

(海军航空大学岸防兵学院, 山东烟台 264001)

0 引言

现代海战中,高精度、全方位的态势感知能力是精确制导武器的关键技术之一。反舰导弹导引头对舰船要害部位的精确检测能力、引信与战斗部的精确打击能力,是提升装备作战效能、建设海洋强国的重要保障。

反舰导弹毁伤效果受舰船姿态、命中点影响较大,传统的导引策略无法应对瞬息万变的战场态势。末制导段,导引头捕获的舰船目标轮廓细节逐渐放大,传统基于角点[1]的检测与跟踪方法对特征利用不充分,易出现跟踪目标漂移,检测准确度不足;不同的攻击进入角条件下,导引头探测到的舰船投影一致性、规律性差,舰船要害部位易发生大尺度变化,基于局部特征提取、融合的检测方法鲁棒性不足;多角度、多尺度要害部位检测精度有待提升。因此,亟需研究鲁棒性较强的舰船要害部位精确检测算法,在实现舰船要害部位关键点检测的同时,配合引战控制导弹命中姿态与战斗部爆炸方向,可有效增强反舰导弹打击效能。

深度学习以类人脑的分层机构模型为基础,利用卷积神经网络从数据中抽取有效特征,并进行整合与学习,有效促进了舰船目标检测[2-3]等任务的工程实现。文献[4]基于分割算法,有效利用图像中的连通区域,提取方向梯度直方图(histogram of oriented gridients，HOG)特征训练分类器,实现了舰船目标的离线分类与在线检测;文献[5]将Faster R-CNN算法与恒虚警率相结合,以算法生成的对象建议作为保护窗口,获取小尺寸目标后,重新评估得分相对较低的预测框,改善了复杂背景下的舰船目标检测效果;文献[6]将注意力机制引入RetinaNet[7],利用Focal Loss改善样本不均衡等问题,在多分辨率成像的舰船检测实验中,均达到了较高的检测精度;文献[8]将串行修正线性单元添加到SSD[9]的浅层网络,提升特征传递效率,采用特征金字塔网络逐级融合不同层次的多尺度特征图,提升了舰船目标的定位与分类精度;文献[10]基于SSD网络融合高层与低层特征,利用特征图关联性提升噪声影响下的小目标检测准确性。以上算法均可实现不同任务下的舰船目标识别,但仍存在一定不足:一是无法实现舰船要害部位的精确检测,预测框到舰船要害关键点信息的转化耗时长,特征映射导致检测坐标漂移误差较大;二是提取目标特征时,对于舰船要害尺度、形态差异大等问题,已有算法尚未制定针对性的解决方案;三是算法参数与模型规模冗余,无法满足弹载设备对检测模型的轻量化要求。

基于关键点的人体姿态估计[11]算法通过给定图像,确定图像中人体各部位位置,推断行为与动作。自顶向下的姿态估计方法首先检测出图像内所有目标,再分析目标框内特征信息输出姿态关键点,精度较高但实时性有待提升,易受到目标检测效果制约,主流自顶向下的检测方法有G-RMI[12]、Mask R-CNN[13]及Simple Baselines[14]。自底向上的方法首先检测图像中所有关键点,再利用关联与分组思想实现关键点聚类,精度略低于自顶向下算法,但时效性较好,自底向上的检测算法如PAFs[15]、DeepCut[16]及Associate Embedding[17]等。

综合分析精确制导反舰导弹作战需求,受关键点检测算法[18]启发,提出了一种端到端的舰船要害关键点检测算法,无需繁重的预测框后处理,利用热力图回归关键点特征,直接检测舰船要害点。可直接供给弹载计算机解算当前命中点与任务打击点的导引误差,为精确制导武器的设计与改进提供了新思路。

本文主要研究了反舰导弹末制导段,导引头对舰船要害关键点的精确检测问题,旨在提升反舰导弹对敌舰毁伤概率,以最小的弹药消耗,实现最大毁伤效能。构建了舰船要害部位关键点检测数据集,针对传统算法对特征质量要求高、受噪声影响大等问题,提出了基于深度学习的舰船要害关键点检测算法,设计了针对性的优化方案。对用于抽取特征的残差模块进行轻量化改进,利用高效通道注意力(efficient channel attention,ECA)机制增强有效特征,抑制无效特征,提高精度的同时,有效降低参数冗余;针对舰船要害部位检测数据尺度、角度变化剧烈等问题,增加多种不同尺度的感受野模块(receptive field block，RFB)融合多尺度特征,改善算法对多尺度特征图的回归精度。实验表明,算法可实现多角度、多尺度成像下舰船要害关键点检测,鲁棒性较好,并能够有效降低参数冗余,兼具检测精度与速度优势。

1 基于关键点网络的舰船要害部位检测

1.1 算法框架

针对舰船要害关键点检测任务,综合分析弹载设备运算能力,提出了深浅层特征融合的舰船要害关键点检测算法Warkp-DLA。深度卷积神经网络浅层特征语义信息少,定位信息丰富;深层特征语义信息丰富,对热力图中心点回归效果好,但定位信息粗略,深浅层特征融合算法设计遵循的主要原则是在主干网络中降低信息损失,充分融合深层语义信息与浅层定位信息,有效利用细粒度多尺度特征图,提升检测精度。Warkp-DLA算法主要结构如图1所示。

Warkp-DLA算法使用DLA网络作为基础编码-解码结构,如图1所示。在编码阶段,使用卷积与池化缩减特征空间维度,在解码阶段,利用反卷积及特征聚合恢复目标细节。舰船要害关键点检测效果对解码后生成的特征热力图要求较高,为更好实现多尺度、多角度以及目标不完整时的舰船要害关键点检测,利用RFB融合多尺度特征,提升检测鲁棒性;部分舰船要害关键点特征相似性高,最大值池化易损失小尺度关键检测信息,利用SoftPool可保留细粒度特征,改善小尺度目标漏检现象;利用深度可分离卷积与ECA改进残差结构,在保证检测精度的同时精简算法参数;采用在线难例挖掘改善样本不均衡,并使用梯度累加提升训练效率与收敛效果。最后将生成的特征图输入检测结构,获取要害关键点与目标中心点坐标、相应偏移量以及预测框尺度,实现舰船要害关键点精确检测。

图1 Warkp-DLA算法结构图

1.2 多尺度感受野特征融合

不同的攻击进入角下,导引头探测到的舰船投影一致性差,舰船要害部位易发生大尺度变化,单一尺度的卷积核无法适应变化剧烈的图像数据,为增强对多尺度要害部位的检测敏感度,在高分辨率特征图中引入RFB多尺度特征融合模块,分别利用空洞率为1、3、5的空洞卷积,提取不同感受野的细粒度特征,再利用通道叠加操作与1×1的卷积核实现特征融合。RFB能够较好融合不同感受野的特征信息,仅增加极少计算量,使算法具备多尺度的特征表达能力,RFB模块原理如图2所示。

图2 多尺度特征融合模块

常规卷积求取图像相应位置像素的加权和,空洞卷积在相邻采样点间增加间隔,扩大感受野的同时,保持与常规卷积相同的计算量,适用于提取多尺度的特征信息。空洞卷积的卷积核计算如下:

K=(rate-1)(k-1)+k

(1)

式中:K为空洞卷积的卷积核尺度;rate为空洞率,k为常规卷积核尺度。

距要害关键点越近的特征,蕴含的信息越具有区分性,应使用小尺度的卷积核;大尺度要害部位、距关键点较远的采样点,则需用空洞率较大的卷积核。RFB卷积结构如图3所示,两个连续的3×3卷积替代5×5的卷积,可降低参数并增强小目标的特征表达;1×1的卷积核用于跨通道的特征融合;深度可分离卷积可减少算法参数。RFB融合多尺度感受野特征,使特征图获取更精确的语义与定位信息,有效增强尺度、角度剧烈变化时的舰船关键点检测鲁棒性。

图3 RFB结构

1.3 SoftPool

池化操作可用于特征降维,缓解过拟合风险,降低卷积层对检测信息的过度敏感性。最大值池化保留池化内核中的局部最大值,用于突出特征图中响应较为强烈的部分。对于像素特征差异小的要害关键点,利用最大值池化进行特征映射,易损失重要检测信息,映射过程中的信息混叠致使目标误检。高质量的特征信息可提升相似关键部位的检测敏感度,因此用SoftPool[23]改进最大值池化,保留更多细粒度特征信息。SoftPool以指数为基础,结合softmax的加权方法,能够保留特征图的重要属性,增强更大强度的特征激活。在池化内核中,SoftPool为每一个激活因子ai分配一个权重wi,权重wi与激活值ai一同完成非线性变换如下:

(2)

与最大值池化不同,SoftPool是一种可微的池化方式。每一次反向传播的梯度均可得到更新,SoftPool可综合利用池化内核所有的激活因子,仅增加极少内存占用,保留特征图的细粒度信息。SoftPool前向与反向传播过程如图4所示。SoftPool替代最大值池化,有利于算法获取细粒度的特征划分,增大相近特征信息区分度的同时,保留了全局感受野的特征信息,可显著提升舰船要害关键点的检测精度。

图4 SoftPool处理

1.4 残差结构的轻量化改进

增加卷积神经网络的宽度与深度,能够提升算法特征提取能力,然而层数的加深容易导致反向传播中的梯度弥散、梯度爆炸等问题,妨碍浅层网络收敛。残差网络缓解了网络加深引起的性能退化问题。为削减算法参数、降低模型规模,Warkp-DLA算法利用深度可分离卷积改进基本残差块。深度可分离卷积将常规卷积分解成两部分,先后在空间与通道上实现卷积映射,可降低算法参数。设输入特征图尺寸为DF×DF×M1,输出特征图尺寸为DF×DF×M2,卷积核尺寸为DK×DK×M1,标准卷积参数量为(DF×DF×M1)×M2,深度可分离卷积[24]与标准卷积参数量比值如下所示：

(3)

由于数据集包含多角度舰船目标,部分关键点较集中,特征差异小,经实验测试,利用深度可分离卷积替换所有卷积核,引入了一定检测误差,因此仅替换第一层卷积,并引入ECA模块实现空间注意力聚合,增强有效特征表达,抑制无效特征,1×1卷积用于实现跨通道信息整合。改进后的残差模块为Liblock,如图5所示,能够增强算法对细粒度特征的学习能力,有效融合深层语义信息与浅层定位信息,在降低运算成本的同时,提升检测效果,利于导引头的移动端部署。

图5 改进后的Liblock

1.5 轻量级的高效注意力机制

Warkp-DLA算法生成多分辨率特征图的过程中,会产生对最终检测结果有效的特征,与大量干扰检测效果的特征。采用ECA[25]能够抑制无效特征,增强有效参数。ECA首先进行特征整合,利用全局平均池化获取每个特征图的重要信息,输出的特征维度为C×1×1,C为特征通道数。降维过程易损失较多特征信息,ECA直接利用卷积核为k的一维卷积处理特征图,如下所示:

(4)

式中:C为特征通道数；|*|odd表示最邻近奇数；γ=2；b=1。k由通道数自适应确定,无需交叉验证;确定k后，ECA再利用Sigmoid激活函数输出反应了不同通道的重要性与相互关联度的权重参数;最后,将新的权重参数与输入特征图进行乘积运算,重新分配不同通道特征权重,抑制无效特征,增强了有效特征的权重。

ECA模块结构如图6所示。

图6 ECA结构

1.6 在线难例挖掘与梯度累加

在线难例挖掘:在线难例挖掘(online hard example mining,OHEM[26])可用于解决数据难易样本不均衡等问题。OHEM分析每个样本当前损失,将样本按照置信度误差降序排列,选取误差较大的作为训练负样本重新训练。

在难易样本比例适中的数据中,加入OHEM易强制性去除部分有利于训练的样本,影响损失函数的计算。受船体外部涂层影响,部分图像不同关键点区分度低;不同角度拍摄的舰船,相同关键点特征差异性大。此外,舰船图像占比小,同样导致了难易样本不均衡,损失函数与训练效果部分退化。为提升算法精度,由OHEM与数据增强思想启发,设置负检测样本池,在训练30轮后,将每批训练量中检测准确率小于0.5的训练样本置于负检测样本池,累积64个负样本后,将其重新送入网络训练,改善算法对困难样本的特征学习能力。

梯度累加:Warkp-DLA算法融合深层与浅层特征,深度学习的训练效果与GPU显存以及训练批处理规模密切相关。较大的处理规模利于算法收敛。同时计算多个损失函数时,计算机需存储多个计算图,硬件内存要求高。利用梯度累加,能够在保存较少计算图的同时,实现多任务训练,有效扩充显存,使Warkp-DLA算法具备更好的收敛能力。

2 舰船要害关键点检测数据

末端命中点打击阶段,轻型反舰导弹多以超低空掠海姿态飞行。执行对敌舰精确打击任务时,导引头视角以侧舷为主。当前用于舰船目标检测数据多为点状合成孔径雷达(synthetic aperture radar,SAR)[27]图像,SAR舰船数据多为俯视。红外热像仪获取的灰度图具备舰船轮廓信息、舰船蒙皮灰度值相近、近距导致灰度值饱和等,造成舰船纹理信息缺失,不适用于舰船要害部位关键点检测任务;此外,由于拍摄角度受限,获取舰船多角度图像较为困难。

实际战场环境采拍方法具有较大时间、空间上的局限性,文献[28]论证了利用相似数据作为正样本扩充军舰数据集,经迁移学习[29]与算法训练[3]后,可辅助实现军舰的准确检测。实验室利用高仿真度舰船模型实现海战场战法推演与模拟,结合任务需求,利用导引头同型摄像设备获取多尺度、多视角舰船目标图像，如图7所示。

图7 数据集部分样本

综合分析反舰导弹突防与精确打击任务需求,标注舰船要害部位关键点及可见性信息,建立舰船要害部位关键点检测数据集。数据囊括多尺度、多角度舰船图像。打击雷达能够遏制舰船对来袭目标探测能力;打击驾驶舱可实现较大毁伤效能,瘫痪敌舰指挥作战能力;打击天线可阻碍信息传输,破坏敌方数据链;打击水线能够击沉舰船,使其失去作战能力。故以炮台、天线架、重要火力设施、驾驶舱等作为要害检测关键点标注,如图8所示。数据集共计4 672张图像,像素为1 024×768,COCO关键点标注格式,按照8∶1∶1划分后,训练集3 736张、测试集468张、验证集468张。

图8 舰船关键点

3 实验结果

3.1 实验环境

初始输入图像的降采样率为R。R取值较小,保留的细粒度特征信息更多,但硬件运算负担大;R取值较大计算量低,但会引入较大检测误差。为较好地平衡检测效率与检测精度,实验设置R=4。使用Adam优化器迭代训练,输入图像统一缩放为512×512分辨率。训练过程学习率逐步下降,初始学习率为5×10-4,在第37Epoch、第45Epoch与第70Epoch下降为先前的1/10,设置初始迭代次数为90,批处理规模为8。实验环境如表1所示。

表1 实验环境

3.2 损失函数

热力图关键点预测分支:目标关键点中心点唯一,非目标位置易产生较多中心点,故使用改进的Focal Loss损失函数,改善样本不均衡等问题,关键点预测损失函数如下所示：

(5)

关键点偏移预测分支:将所得特征图与原图建立映射,在映射期间,关键点坐标不可避免会产生偏移。算法获取热力图中关键点特征,引入偏移量将各关键点分配给最接近的特征实例。定义关键点偏移损失函数如下:

(6)

舰船尺度预测分支:与常规卷积相比,可变形卷积训练初期易发散,因此结合舰船中心点与预测框尺度损失共同训练,可提升舰船关键点检测精度。利用关键点空间关系生成舰船目标预测框,通过回归热力图与特征图,首先计算舰船中心点预测损失,同式(5),再求得每个舰船目标的宽高,舰船尺度预测损失函数如下:

(7)

损失函数分别与不同权重相乘,即为Warkp-DLA算法的总体损失函数如下:

Ldet=Llocation(keypoint+boxcenter)+λoffLoff(keypoint+boxcenter)+λsizeLsize

(8)

由于检测数据不影响预测分支惩罚函数,参照原CenterNet算法,设置关键点预测分支逻辑回归惩罚系数α=2,β=4,关键点与目标中心点偏移损失权重λoff=0.1,检测尺度损失权重λsize=0.1。

3.3 评价指标

采用目标关键点相似度(object keypoint similarity,OKS)作为分段标准,计算OKS分别取0.5,0.55,…,0.9,0.95时的检测准确度,计算平均准确率的均值,OKS计算如下:

(9)

式中:q表示检测类别；i表示关键点标识；dqi表示关键点真实值与预测值的欧式距离；Sq表示预测目标的尺度因子；σi表示第i个关键点的归一化因子,对数据集中所有标签真实值计算标准差得到；vqi表示关键点的标志位。各关键点检测相似度取值介于[0,1]之间,检测值越接近1,表征检测效果越好。

平均准确率(average precision,AP)定义为给定阈值s,预测舰船关键点在整个测试集上的平均准确率。采用AP的均值(mean AP,mAP)评价算法检测性能如下:

(10)

采用每秒处理帧数(frame per second,FPS)评价检测速度。FPS、mAP值越大,表征算法检测性能越好。

3.4 实验结果与分析

3.4.1 舰船关键点检测数据集实验结果

为更好评估Warkp-DLA算法检测效果,分别使用Resnet18、Res-dcn18、DLA34、DLA-dcn、Hourglass网络作为对比试验,测试结果如表2所示。

表2 舰船关键点检测结果

表2可知,Resnet18、Res-dcn18、DLA34、DLA-dcn、Hourglass网络用于舰船要害关键点检测时,相应mAP分别为81.3%、80.8%、82.8%,83.2%,86.0%。Hourglass虽检测精度较高,检测速度仅12 FPS,检测速度无法满足任务需求,故选择DLA-dcn网络作为主干特征提取结构。Warkp-DLA算法将深层网络逐层反卷积,并聚合前层网络有效特征,融合深层语义信息与浅层定位信息,改善深浅层特征映射造成的信息混叠,提升算法对多尺度舰船要害关键点的检测鲁棒性。Warkp-DLA算法准确率可达87.6%,相较于以上网络分别提升6.3%,6.8%,4.8%,4.4%,1.6%,检测精度较高,性能提升明显。由于Warkp-DLA算法引入了注意力机制与多尺度特征融合模块,以SoftPool池化保留了细粒度特征,检测速度略有下降,为27 FPS,仍高于Resnet、DLA-dcn与Hourglass,具备实时性检测优势。网络训练过程中的损失函数变化如图9所示。

图9 损失函数曲线

由于可变形卷积的比常规卷积更复杂,训练初期Resdcn18特征学习能力较弱,因此损失函数值较大;Dla34、DLA-dcn首先对图像下采样,再利用反卷积逐步恢复高分辨特征图信息,深浅层特征映射时易造成检测精度误差,故曲线波动较为明显;Warkp-DLA算法收敛性与拟合效果更好,损失函数值更低,证明了算法改进的有效性。对训练后的模型进行测试,关键点检测结果如图10所示(为了明显展示结果细节,检测效果图经过裁剪,为原图的3/5区域)。实验表明,多角度、多尺度舰船成像条件下,Warkp-DLA算法均可实现舰船要害关键点精确检测。

图10 检测结果

由关键点热力图可知,算法能够较好地检测出具有相似特征的不同关键点,舰船外包轮廓利用关键点空间结构生成,定位精度较高。由舰船中心点热力图可知,视场占比大,距离近的舰船热力图中心点较大,距离远的舰船热力图中心点较小。算法对多尺度、多角度舰船均可实现关键点精确检测与中心点准确定位。Warkp-DLA算法不依赖整体舰船检测图,直接回归关键点检测结果,当舰船目标不完整或局部遮挡时,可实现要害关键点的精准分类与回归,适用于复杂场景下的舰船要害关键点检测。此外,要害关键点检测结果可辅助导引头实现舰船位姿估计等任务,算法功能有效扩展。

3.4.2 算法模型与参数分析

舰船要害关键点检测模型需兼具检测精度与检测速度,较少的参数与模型规模更有利于导引头移动端的部署,实验对比分析了不同网络的参数与模型规模,如表3所示。

表3 模型参数

表3可知,Resnet18网络结构较简单,算法参数较少;DLA网络在编码-解码过程中,聚合了多分辨率的特征图,不同分支具备不同的上采样倍数,复杂的深浅层特征聚合导致参数增加;DLA-dcn网络引入了可变形卷积,为标准卷积核的规格采样点增添了偏移变量,对不同尺度或形变目标具有更优的检测鲁棒性,精度得到提升,DLA-dcn网络参数更多,模型规模更大;Hourglass为多层级联的沙漏结构,在旁路添加了跳跃连接,降低编码-解码过程中造成的精度损失,并引入中级监督增强网络学习能力,参数量高达191.25 M,模型为779.88 M,对硬件配置要求高;Warkp-DLA算法改进DLA-dcn结构,利用深度可分离卷积替换部分标准卷积层,削减了算法参数,训练后的模型为73.4 M,在保证检测精度与速度的同时,参数更少,模型规模更小,可较好适应导引头移动端的部署。

分析不同模块改进后的参数与模型规模,由表4可知,利用深度可分离卷积替换残差连接中的部分卷积,相较于原始网络,参数减少11.55%,模型规模缩减19.64%,可实现模型的轻量化改进;SoftPool池化替代最大值池化几乎不增加参数量;增添RFB提升了算法对多尺度舰船要害的检测能力,ECA增强了有效的特征表达,算法对高质量特征的提取与表达能力得到提升,造成参数少量增长,模型规模增大2.43%;SoftPool池化以指数为基础,结合softmax思想,保留较多用于细粒度检测的特征信息,有效改善了具有相似特征的舰船要害关键点区分度,特征信息更多,规模更大。与原DLA-dcn相比,Warkp-DLA算法模型规模更小,参数更少。

表4 改进后模型参数

3.4.3 消融实验

设计消融实验评估Warkp-DLA算法中,不同模块改进对舰船要害关键点的检测效果,消融实验损失曲线如图11所示,实验结果如表5所示。

图11 消融实验损失曲线

表5 消融实验结果

表5与图11可知,SoftPool池化保留的细粒度特征更多,利于算法区分具有相似特征的不同关键点,mAP提升1.8%,检测速度由26 FPS提升至28 FPS,证明SoftPool池化用于多尺度、多角度舰船要害关键点检测的有效性;残差结构可使深层特征迅速获取浅层的反馈信息,深度可分离卷积替代部分常规卷积,能够在降低算法参数的同时,小幅度提升检测速度。针对舰船要害部位尺度变化剧烈的问题,RFB利用空洞卷积实现多尺度特征融合,较好地扩展了网络宽度,提升算法对多尺度、多角度下的舰船要害关键点检测敏感度,RFB与ECA能够降低不同分辨率特征图中的关键点映射损失,提升关键点偏移量的检测准确度,较好改善算法对多尺度目标的特征提取能力,mAP提升3.6%。

Warkp-DLA算法有效融合深层语义信息与浅层定位信息,在迭代聚合的过程中不断增强有效的特征信息,充分利用细粒度高质量的特征图,mAP提升4.4%,训练损失更低,收敛速度更快,满足实时检测需求。

改进后测试结果如图12所示,图12(a)～图12(e)上层为原算法检测效果,下层为Warkp-DLA算法检测效果,与真实坐标对比可知,原算法检测结果误差较大,Warkp-DLA算法关键点热力图高斯分布更集中,检测效果更清晰、准确,可使导引头获取更精准的舰船要害关键点检测信息,满足多尺度、多角度的舰船要害关键点检测任务需求。由图12(d)与图12(e)可知,Warkp-DLA算法不依赖整体舰船检测结果,在舰船目标不完整的情况下,可直接定位要害关键点,算法鲁棒性更强;当视场中有多个舰船时,可分别准确地检测出不同舰船要害关键点,舰船中心点回归准确,利用关键点检测结果表征的舰船轮廓准确清晰,可为舰船航向及姿态的评估提供有力技术支撑。