APP下载

基于混合型复数域卷积神经网络的三维转动舰船目标识别

2022-07-07化青龙姜义成

电子学报 2022年5期
关键词:池化层复数舰船

张 云,化青龙,姜义成,徐 丹

(哈尔滨工业大学电子与信息工程学院,黑龙江哈尔滨 150001)

1 引言

星载合成孔径雷达(Synthetic Aperture Radar,SAR)具有全天候、全天时、高分辨观测优势,已成为对海监视不可或缺的手段[1].在中高海情下,航行中的舰船在海浪作用下存在三维摆动和平动分量.非平稳运动分量使得SAR 回波近似为多分量多项式相位信号,SAR成像处理后存在剩余多普勒相位,导致成像结果呈现不同程度的散焦现象,进而给舰船识别带来困难[2].三维转动舰船目标成像处理主要用SAR/ISAR 混合成像方式获得重聚焦图像,进而进行特征提取与目标识别[3].非合作舰船目标受到本身运动与海浪作用的随机摆动复合作用,使得SAR/ISAR 成像处理复杂.同时在大场景SAR 图像中,存在多目标交叠、强目标淹没弱目标等问题,导致实测运动舰船的识别率不高.传统舰船识别方法主要对SAR 静止舰船图像或聚焦后的清晰图像进行识别,较少考虑舰船随机摆动特性、平动特性导致图像模糊之后的识别问题.

随着深度学习的快速发展[4],卷积神经网络(Convolutional Neural Network,CNN)在SAR图像处理领域展现出应用优势.国内一些学者已经研究了CNN 在SAR舰船检测领域的应用[5,6].张晓玲等[5]提出一种基于深度分离卷积神经网络的SAR 舰船检测方法SARShipNet-20,该方法能够实现高速和高精度的舰船检测.SAR 回波本质是电磁波与成像场景相互作用的电磁相干叠加,SAR 图像本身是带有相位信息的复数数据[7].但是以上研究通常仅考虑SAR 图像的幅度信息,而忽略了与目标复杂运动特性有关的相位信息.徐丰等[8]将复数域卷积神经网络(Complex-Valued Convolutional Neural Network,CV-CNN)引入极化SAR 地物识别,CV-CNN 相对于实数域卷积神经网络(Real-Valued Convolutional Neural Network,RV-CNN)具有明显识别优势,一些研究学者开始将SAR 成像机理、目标回波特性与深度学习结合,并提出基于数据和模型联合驱动的识别方法.

与光学图像不同,SAR 图像相位蕴含了目标的丰富信息.近年来,一些学者利用CV-CNN 开展SAR 目标识别研究,复数域深度学习逐渐成为一个深度学习领域较受关注的分支,尤其在SAR 目标识别上表现了优越性能.YU 等[9]提出了复数域全卷积神经网络用于SAR 目标分类,该网络隐藏层中只包含卷积层,避免了复杂的池化操作和过拟合.TAN 等[10]利用复数域网络提取协方差/相干矩阵中包含的物理散射机制,提出了CV-3D-CNN 网络进行PolSAR 图像分类.SUNAGA 等[11]提出了一种CV-CNN 架构处理InSAR 数据,并证明该CV-CNN 可自适应地对斜坡和平原进行分类.GAO J等[12]通过数据驱动的方式,利用CV-CNN 实现了对SAR舰船目标的重聚焦.

CV-CNN 在处理复数域数据具有一定优势,网络中的全部元素可扩展到复数域.但激活函数在扩展过程中会出现不解析的问题.文献[8]提出的实虚型复数域卷积神经网络(Real-Imaginary-type Complex-Valued Convolutional Neural Network,RI-CV-CNN)将复数分为实部和虚部分别激活处理,但该方法并不直接处理相位信息,不利于网络对舰船复杂运动信息的感知.文献[11]将复数分为幅度和相位分别处理,但直接推导反向传播公式较为困难.因此,本文提出一种混合型复数域卷积神经网络(Mix-type Complex-Valued Convolutional Neural Network,Mix-CV-CNN),在卷积层将输入分为幅度和相位两部分,充分考虑SAR 舰船复杂运动信息的感知识别,在全连接层和输出层设计了实虚型网络,进行误差反向传播公式的推导.由于随机海浪使得舰船目标存在三维转动,Mix-CV-CNN 不需要对运动目标进行SAR/ISAR 混合成像的重聚焦处理,即可解决三维转动目标识别问题,提高识别精度.

2 三维转动舰船目标成像分析

舰船在海上航行时,由于受风力、气压和重力等影响,会随着海浪起伏摆动,产生随机非平稳运动,并表现为三维转动:俯仰、侧摆和偏航.三维转动使得舰船目标回波的多普勒相位时变,常规SAR 成像处理后仍有多阶相位信息剩余,从而影响SAR成像质量.舰船三维转动示意图如图1所示.

图1 舰船三维转动示意图

从图1中可以得到,三维转动角速度分别为偏航角速度ωy、俯仰角速度ωp和侧摆角速度ωr.由三维转动产生的舰船转动角度分别为偏航角θy、俯仰角θp和侧摆角θr.当舰船发生偏航、俯仰和侧摆时,多普勒频率可以分别表示为[13]

式(1)~(3)中,(xP,yP,zP)为舰船一散射点的坐标,为坐标单位,λ为入射波波长.

由式(1)~(3)可得,舰船三维转动分量引起目标回波多普勒频率变化,进而导致SAR 图像模糊散焦,仿真成像结果如图2 所示,图2(a)~(d)为点目标仿真结果,图2(e)~(h)为第800距离单元方位剖面图,不同转动分量均会引起目标像散焦.

图2 SAR点目标三维转动仿真示例

3 基于Mix-CV-CNN的SAR舰船识别算法

本文构建了一种混合型卷积神经网络,该网络结合幅相型与实虚型卷积神经网络的优点,在卷积层使用幅相型激活函数,在全连接层与输出层使用实虚型激活函数[14],在一定程度上解决了幅相型神经网络反向传播过程较为复杂的难题,并提升了SAR 三维转动舰船目标的识别性能.

3.1 Mix-CV-CNN算法原理

Mix-CV-CNN 由输入层、卷积层、池化层、全连接层和输出层组成,Mix-CV-CNN 的所有元素均为复数.本小节介绍Mix-CV-CNN的前向传播与反向传播算法.

3.1.1 Mix-CV-CNN前向传播算法

(1)卷积层前向传播

第l个卷积层的输出al可以表述为:前一层的输出al-1经过卷积核Wl的卷积运算,得到中间参量zl,再经过幅相型激活函数σA-P(·)[15]激活,得al,即

式中,|z|与arg(z)分别代表复变量z的幅度与相位,σ(·)为实数域激活函数,如sigmoid[16]、ReLU[17]等,j 是虚数单位,*表示卷积操作.

(2)池化层前向传播

除了卷积层,深度学习网络也常用池化层缩减模型的大小,提高计算速度,同时增强所提取特征的鲁棒性.池化层的操作相当于下采样,并减小特征图尺寸.本文采取平均值池化,即选取池化窗口内平均值作为池化层输出.池化层前向传播过程为:前一层的输出al-1经过平均池化,得到池化层输出al,即

式中,Re(z)与Im(z)分别代表z的实部与虚部,ave(·)表示平均池化操作.

(3)全连接层前向传播

全连接层中的每个神经元都与前一层中的所有神经元相连,在整个网络中起到分类器的作用.如果L表述为输出层,则输出层的输出aL可以表述为:全连接层的输出aL-1经过连接权重WL的矩阵相乘运算,得到中间参量zL,再经过实虚型激活函数σR-I(·)激活,得到输出层的输出aL.即

输出层采用独热编码,对应真值位置为1+1j,其他位置为0.计算输出向量中每个元素幅度,幅度最大元素的位置编号即为输出类别.

3.1.2 Mix-CV-CNN反向传播算法

Mix-CV-CNN 有监督训练的实质是优化权重和偏差,使得网络输出与训练数据的期望输出或给定标签相匹配.在多特征提取阶段之后,网络输出和目标之间仍然存在误差,该误差可以描述为损失函数.因此,网络参数通过优化算法进行训练,并将反向传播中的损失函数最小化.

(1)全连接层反向传播

令aL为网络输出,h为期望输出,则总的分类误差J可以表示为

定义输出层误差项为

由式(9)可知,式(10)的第二、三项为零,因此式(10)可简化为

式中σ′(·)为σ(·)的导数.

通过式(12)与(13)完成全连接层的权值更新.

式中(·)H代表取共轭转置.

(2)池化层反向传播

在池化层中并没有需要学习的参数,但是仍然需要计算池化层的误差项,以便在反向传播中获得较低层的误差项.若第l层是池化层,该层误差项δl与后接卷积层的误差项δl+1及权重Wl+1有关,池化层误差项δl为

式中rot(·)代表矩阵旋转180度.

(3)卷积层反向传播

Mix-CV-CNN 在卷积层使用幅相型激活函数,采用全连接层误差项公式推导方式,通过求取卷积层误差项的实部和虚部完成误差反向传播.

若第l层是卷积层,该层误差项δl与后接池化层的误差项δl+1以及池化因子β有关.为了保持误差项尺寸相同,需要将δl+1进行上采样,上采样过程表示为up(δl+1).则J对该卷积层输出al的偏导为

则卷积层误差项为

通过式(20)与(21)完成卷积层权值更新.

3.2 算法描述

在舰船三维转动条件下,SAR 回波数据经过常规SAR 成像算法的距离向与方位向压缩后,仍有多阶相位信息剩余,使得三维转动目标不能很好地聚焦成像.本文所提的基于Mix-CV-CNN 的SAR 舰船识别算法利用复数域网络相位信息提取与处理能力,提高对模糊散焦SAR 三维转动舰船目标的识别效果.识别算法示意图如图3所示.

图3 SAR舰船识别算法示意图

首先,通过SAR 成像处理构造SAR 三维转动舰船目标训练集与测试集;然后,利用训练集训练Mix-CVCNN,通过Mix-CV-CNN 自学习并提取样本的深层本质特征;最后,通过全连接层与输出层,实现对SAR 三维转动舰船目标的识别.

步骤如算法1所示:

4 实验结果与分析

4.1 数据集

4.1.1 仿真数据集

仿真数据由基于3D 模型与射线追踪法的SAR 成像方法得到,图像为未进行运动补偿和重聚焦处理的原始成像结果.仿真参数:轨道高度755 km、斜视角0°、下视角42.3°、雷达平台速度7568 m/s、载频5.4 GHz、脉冲重复频率为1178 Hz.仿真数据集包含五类目标,分别为阿利伯克级驱逐舰、黑天鹅级护卫舰、不来梅级护卫舰、日向级驱逐舰、罗津级护卫舰.仿真不同姿态、信噪比、三维转动角速度的样本数据11520 个.SAR 三维转动舰船目标仿真示例如图4所示.

图4 五类SAR 三维转动舰船目标仿真示例(a) 五类舰船目标光学图像;(b) 3D模型;(c) 静止状态;(d) 三维转动状态

4.1.2 实测数据集

基于船舶自动识别系统数据对七景高分三SAR 数据进行标注,再结合部分OpenSAR[18]数据集,构建SAR实测数据集,包含货船、油船、其他船三类目标等样本数据2000个,示例如图5所示.

图5 三类SAR 舰船目标实测示例(a) 光学图像;(b)~(d) SAR 实测图像

4.2 网络架构

Mix-CV-CNN 架构如图6 所示.除了输入输出层外,它还包括五个卷积层,三个平均池化层和两个全连接层.Mix-CV-CNN 的自由度是同类RV-CNN 的两倍.为了公平对比,实验所用RV-CNN 架构具有与Mix-CVCNN 相同的自由度,其两维输入数据由SAR 复图像的实部和虚部组成.

图6 Mix-CV-CNN网络架构

4.3 模型训练

网络训练优化方法采用CvAdam 算法[19],共训练1000 批次,每批次32 个样本,学习率为0.0001.卷积层与全连接层中包含的实数域激活函数为ReLU.输出层包含的实数域激活函数为sigmoid.训练曲线分别如图7 所示.在相同条件下,Mix-CV-CNN 的收敛速度快于RI-CV-CNN 与RV-CNN,体现了Mix-CV-CNN 的优越性.

图7 损失函数收敛曲线

4.4 识别结果

4.4.1 仿真数据识别结果

仿真识别结果如表1 所示.Mix-CV-CNN 识别混淆矩阵如表2 所示.由表1、表2 可得,RV-CNN 中仅有三类目标的准确率超过85%,其中罗津级的准确率仅有75.67%.采用复数域深度学习网络可以有效提高存在三维转动分量的目标识别能力,RI-CV-CNN 中各类目标准确率均超过了90%.VGG16[20]和ResNet18[21]均有两类目标的准确率低于90%.Mix-CV-CNN 对目标识别的准确率均超过了RV-CNN和RI-CV-CNN,尤其是第五类目标的准确率比RV-CNN 高出21.65%.Mix-CV-CNN的平均准确率达到了最高的97.46%,体现了Mix-CVCNN相对于RI-CV-CNN、RV-CNN及其他经典骨干网络的性能优势.

表1 仿真数据识别测试结果(%)

表2 Mix-CV-CNN仿真数据识别混淆矩阵(%)

算法运算效率方面,在Inte(lR)i7-6700 CPU 与Ge-Force RTX 1080 显卡的环境中,训练1000 批次,每批次训练32个样本.运算效率统计如表3所示.

由表3 可得,Mix-CV-CNN 耗时是RV-CNN 的3 倍,而与RI-CV-CNN 差异较小,Mix-CV-CNN 在全连接层和输出层使用实虚型激活函数,有利于并行化计算.相比于实数运算,复数运算更为复杂,使得Mix-CV-CNN 训练速度较慢.ResNet18 的参数量为11.51 M,原生VGG16 的参数量约为138 M,本实验将VGG16 全连接层的神经元个数设置为1024,VGG16 的参数量下降为24.15 M.相较于经典骨干网络VGG16 和ResNet18,本文所提的Mix-CV-CNN 在参数量及运算效率上是具有明显优势的.

表3 运算效率统计

4.4.2 实测数据识别结果

实测数据集包含货船、油船、其他船等,每一类别所包含的实测目标样本情况较为复杂多样.实测数据识别结果如表4 所示.Mix-CV-CNN 识别混淆矩阵如表5所示.

由表4、表5 可得,VGG16 中仅有一类目标的准确率超过了90%.RV-CNN 中仅有一类目标的准确率超过了95%,且油船的准确率低于85%.RI-CV-CNN 与ResNet18 中三类目标准确率均超过了90%.Mix-CVCNN 中货船、油船两类目标的准确率超过了95%,仅其他船一类目标的准确率低于95%,但也达到了93.10%,平均准确率达到了最高的96.09%,体现了Mix-CV-CNN在卷积层使用幅相型激活函数并利于网络对SAR 舰船目标复杂运动信息进行感知处理的优势.

表4 实测数据识别测试结果(%)

表5 Mix-CV-CNN实测数据识别测试结果(%)

5 结论

本文针对SAR 三维转动目标的复数域信息特征,将复数域卷积神经网络应用于SAR 舰船目标识别.在设计网络构架时考虑目标相位信息的深度挖掘,结合现有幅相型与实虚型复数域卷积神经网络的优点,提出了混合型复数域卷积神经网络,并推导了前向传播与反向传播模型,给出算法实现流程.实验验证了Mix-CV-CNN 可在未进行目标重聚焦的情况下,较好地实现三维转动舰船目标的识别.相较于RV-CNN、RI-CVCNN 及其他经典骨干网络VGG16 和ResNet18,所提Mix-CV-CNN可显著提高识别精度.

猜你喜欢

池化层复数舰船
舰船通信中的噪声消除研究
评析复数创新题
卷积神经网络模型研究分析*
求解复数模及最值的多种方法
数系的扩充和复数的引入
舰船测风传感器安装位置数值仿真
基于卷积神经网络的纸币分类与点钞
基于深度学习卷积神经网络的人体行为识别研究
复数
基于全卷积神经网络的SAR图像目标分类*