张祥辉 封斯嘉 马晓杰 张思乾 孙 浩 计科峰 陈 珲

（1.国防科技大学电子科学学院电子信息系统复杂电磁环境效应国家重点实验室，湖南长沙 410073；2.东南大学信息科学与工程学院、毫米波国家重点实验室，江苏南京 210096）

1 引言

合成孔径雷达（Synthetic Aperture Radar，SAR）是一种不受天气和光线等环境条件约束的有源微波成像设备，常用来对各类目标如车辆、舰船、飞机等进行观测，在国防和民用领域发挥着重要作用［1-2］。随着深度学习技术的不断发展，SAR 目标识别研究也产生了很大的突破。

目前，通过改进网络结构、添加注意力模块、增强特征表达、引入复数相位信息等方法［3-6］，深度学习网络在SAR 目标识别领域取得较高的识别率。然而，好的分类模型的训练需要大量的目标样本数据，而实际应用中SAR图像获取难度大、成本高，很难获取完备训练样本。因此，为了提高识别性能，需要进行有效地数据扩充。现有的SAR图像数据扩充方法主要借鉴光学图像的处理方式，可以分为2种：一种是通过数据旋转、裁剪、平移等方法进行扩充，另一种是以白噪声作为输入，利用生成对抗网络（Generative Adversarial Network，GAN）方法［7-8］，通过网络判别器和生成器的对抗博弈生成与真实样本分布相同的样本，并利用改进网络损失函数［9-10］、增加条件约束［11-13］、引入姿态角信息［14-15］等手段提高生成图像的实测化程度。上述两类方法虽然能扩充训练样本数量，但并没有结合SAR成像机理和散射特性，难以带来SAR目标识别模型性能的有效提升。

通过电磁散射模型计算得到目标仿真图像是一种有效的SAR图像样本数据扩充手段［16-19］。但是在实际中待识别目标部件状态和表面形态随机多变，还存在非合作目标情形，几何模型往往是不精确的，导致现有目标电磁模型面临建模条件不足的局限性，电磁模型特性及特征与实测SAR 图像存在固有误差，使得仿真图像与实测样本不可避免的存在差异，难以直接支撑实测样本的分类任务。为了提高电磁仿真图像的质量，减小仿真和实测图像的差异，基于分割、特征迁移等预处理［20］以及基于方差的联合稀疏性去噪、量化和杂波转移技术［21-22］等传统方法在识别网络下得到较高的识别率。但传统方法的处理过程较为繁琐，依赖于仿真和实测样本的完整性，且通常只针对特定目标类型，生成的图像质量较差，具有一定的局限性。循环生成对抗网络（Cycle Generative Adversarial Networks，Cycle-GAN）［23］在图像风格迁移领域展示出较好的性能优势，可以生成更高质量的图像。文献［24］将Cycle-GAN网络应用在SAR领域，以SAR电磁仿真图像作为输入，对SAR 飞机目标数据进行风格迁移，得到实测化风格的生成图像，实现对飞机目标的辅助识别。文献［25］将原始的CycleGAN 网络应用在SAR车辆目标的MSTAR 数据集上，实现对车辆目标电磁仿真图像的实测风格迁移，但该研究只局限于T72 一种目标类型，且生成图像的特征细节较为模糊，不利于进行目标识别。上述研究表明，Cycle-GAN 网络在SAR 图像生成方面有很好的应用前景，但这些研究多基于目视特征实现图像整体的风格迁移，对散射特性和电磁机理利用不足，这对SAR目标识别的支撑是有限的。

为此，本文针对现有方法生成图像与SAR 实测图像之间目标散射特征差异大的问题，提出了一种基于散射特征增强的SAR 目标电磁仿真图像质量提升方法。主要研究创新点如下：

（1）基于CycleGAN 网络框架，对损失函数进行改进，一方面使用最小二乘损失替代交叉熵损失，实现对目标细节纹理的调整优化；另一方面在循环一致性损失中引入MS-SSIM-L1损失函数，加强对目标细节和结构轮廓的表征，增强生成图像的散射特征，提升仿真图像的质量。

（2）利用特征相似度评价指标对本文方法生成的图像进行评价。选取了目标轮廓、阴影轮廓和目标强度三种特征，通过极化映射径向积分的方法，对生成图像与实测图像之间的特征相似度进行评估和分析，验证了本文方法增强了目标细节纹理和结构轮廓等散射特征。

（3）结合电磁仿真数据对SAR 图像车辆目标识别开展研究。通过设计不同的样本缺失条件，使用本文方法生成的图像对训练样本集扩充，结合深度卷积网络，提升在样本缺失条件下车辆目标实测数据的分类精度。

2 基于散射特征增强的SAR 目标电磁仿真图像质量提升方法

SAR 图像主要由目标区域、阴影区域和背景区域三部分构成。背景区域表现为目标所处的位置、地域、环境等纹理特征，阴影区域表现为目标的形状、方位角、高度等特征，目标区域表现为几何构造、姿态角、灰度强度、结构轮廓等特征。因此，散射特征是SAR 图像目标的本征特征，对分类识别具有重要意义。由于原始CycleGAN 仅实现了目标的风格迁移，没有充分考虑面向识别的散射特征的保留和增强，因此本文提出了一种散射特征增强的SAR目标电磁仿真图像质量提升方法。

2.1 算法基本流程

本文以CycleGAN 作为网络框架，设计了一种基于散射特征增强的SAR 目标电磁仿真图像质量提升方法。算法网络包括两个生成器和两个判别器，具体结构和流程如图1所示。

图1 本文算法的整体框架Fig.1 The overall framework of the algorithm in this paper

原始仿真图像Y经过生成器GX后生成具有实测化特征风格的仿真图像Xfake，再经过生成器GY后得到重建的仿真图像Yrec，使用LossMS-SSIM-L1表征重建图像与原图像的特征差异，判别器DX用来判断生成的图像Xfake与真实的实测图像X之间的差异性，这是算法的正向生成过程。同理，反向生成过程为原始实测图像X经过生成器GY后生成具有仿真化特征风格的实测图像Yfake，再经过生成器GX后得到重建的实测图像Xrec，同样使用LossMS-SSIM-L1表征重建图像与原图像的特征差异，判别器DY用来判断生成的图像Yfake与真实仿真图像Y之间的差异性。本算法的主要目的是为了增强生成图像的目标散射特征，保留细节纹理和结构信息，提升仿真图像的质量，因此主要关注算法的正向生成过程，即将仿真图像生成具有实测化特征风格的图像。通过使用最小二乘损失代替交叉熵损失，并在重建图像和原始图像之间引入MSSSIM-L1损失函数，更准确地表征重建图像与原始图像的细节纹理差异和结构信息，保持生成图像的结构轮廓，提高判别器的鉴别能力，提升仿真图像的质量，同时有效避免模型的过度学习问题。

2.2 损失函数设计

本文算法的损失函数主要包括2个对抗损失函数和1 个循环一致性损失函数。假设实测图像为X域，仿真图像为Y域，实测图像经过生成器GY后得到生成的仿真图像，仿真图像经过生成器GX后得到生成的实测图像，DX和DY分别是判断生成实测图像和仿真图像真实程度的判别器。其中，对抗损失函数主要包括生成器损失值LossG和判别器损失值LossD，原始网络的具体损失函数如下所示。

生成器GY与判别器DY之间的对抗损失函数LGAN表示为

生成器GX与判别器DX之间的对抗损失函数LGAN表示为

其中，Pdata(x)表示实测图像的数据分布，Pdata(y)表示仿真图像的数据分布。

循环一致性的损失函数表示为

网络总损失函数值是两个对抗损失函数以及循环一致性损失的总和，可以将其表示为

在上述原始网络的损失函数中，传统的对抗损失使用的是交叉熵损失来表征生成图像与原始图像的差异，当生成的图像被判定为真实图像时，生成器便停止对模型进行优化，容易产生梯度消失问题。尽管在这种方法下交叉熵损失已经达到较小的数值，但是随着优化过程的结束，图像只能在背景上学习到实测化的风格，而不能再对纹理特征和结构轮廓进行细微的调整，这使得生成器只停留在单纯的图像风格迁移上，而生成图像与真实图像在纹理细节和结构轮廓上并没有得到调整优化，导致生成图像质量不高。此外，对于传统的循环一致性损失函数来说，其计算方法采用L1范式，将重建图像和原始图像的像素值进行简单的绝对差值比对。由于SAR图像本身灰度像素分布不均匀，目标外形轮廓特征差异大，目标尺寸较小的部位在图像上表现为亮点，图像具有一定的相干斑噪声，且背景杂波较为明显，因此原始的逐像素的比对差值方法忽略了SAR 本身具有的散射机理，没有考虑具体的特征纹理和结构轮廓信息，不能准确反映图像的结构一致性，无法表征重建图像与原始图像在亮度、对比度和细节结构上差异性，导致生成图像与原始图像的特征细节差异较大。为了解决原始网络生成图像时特征细节和结构信息丢失的问题，本文对损失函数进行了如下设计和改进：

（1）对传统的对抗损失函数进行改进，使用最小二乘损失代替传统的交叉熵损失。最小二乘损失可以在生成图像被判定为真实图像后持续对模型和细节进行优化，对生成图像的细节和纹理进行不断微调，对奇异像素点进行调整，使目标的部件细节和特征纹理得到进一步的优化，避免梯度消失问题，减弱杂波噪声的影响，实现对生成图像质量的显著提升。改进后两个对抗损失函数表示为：

（2）对传统的循环一致性损失函数进行改进，引入了MS-SSIM-L1 损失函数。该损失函数使用多尺度结构一致性MS-SSIM（Multi-scale Structural Similarity）损失函数［26］和L1损失函数组成的加权函数来代替原本单一的L1损失值。一方面，MS-SSIM损失函数考虑到SAR 图像特有的电磁散射特性，可以表征图像的细节特征和结构轮廓，较好反映图像间的结构一致性；另一方面，L1损失函数可以表征SAR 图像上像素点的亮度和灰度值，两种损失函数的结合能够弥补原始算法只针对背景风格优化的局限性，对目标纹理特征和结构轮廓等进行微调和优化，更好地表征重建图像与原始图像之间的差异，使生成图像保持原有的细节特征和结构信息，提升判别器的鉴别能力，避免过度学习。

MS-SSIM损失函数可以表示为

L1损失值可以表示为

改进后的循环一致性损失函数为LMS-SSIM-L1，包括MS-SSIM 损失函数和L1损失函数两部分，其计算公式可以表示为

其中，α为权值系数，由经验可知α取0.7，Gσ为高斯分布参数。

本文设计的损失函数使用最小二乘损失替代交叉熵损失作为对抗损失函数，并在循环一致性损失函数中引入了MS-SSIM-L1 损失函数。该方法考虑了SAR 图像的散射机理，减弱了斑点噪声的影响，更注重保留目标结构轮廓和细节纹理特征，保持生成图像与实测图像之间的结构一致性，提升判别器的鉴别能力，避免梯度消失和过度学习问题，实现对目标纹理和结构特征的迭代优化，使生成图像更好地应用于目标识别中。

2.3 生成器网络设计

本文生成器网络的输入图像尺寸大小为128 ×128。输入的图像通过编码器的三个卷积层，每一层都比前一层提取更高级的特征，得到高维度的特征向量；然后经过转换器的ResNet6 模块，在保持图像尺寸大小不变的前提下保留仿真图像的电磁散射特征，加快模型收敛；最后，经过两个反卷积层和一个卷积层后输出128 × 128 × 3的图像。在生成器网络中使用ReLU函数作为激活函数，每个卷积层和反卷积层后面都使用InstanceNorm 函数对特征图像进行归一化处理，加快网络模型的收敛，如图2所示。

图2 生成器网络结构Fig.2 Generator Network Structure

2.4 判别器网络设计

本文设计的判别器网络主要由5个不同的卷积层构成，每一个卷积层都采用4 × 4 的卷积核。第一个卷积层采用64 个卷积核，第二个卷积层采用128 个卷积核，第三个卷积层采用256 个卷积核，第四个卷积层采用512个卷积核。判别器模型使用感受野为70 × 70 大小的PatchGAN 形式，经过每一个模块卷积操作后，图片尺寸大小都减小为原来的一半。网络中使用的归一化函数是InstanceNorm 函数，使用的激活函数是LeakyReLU，激活函数的泄漏值为0.2，具体结构如图3所示。

图3 判别器网络结构Fig.3 Discriminator Network Structure

3 实验结果与分析

3.1 数据集

本文以SAR 车辆目标为例开展相关实验，使用了两种车辆目标数据集，分别为仿真数据集和MSTAR实测数据集，两种数据集与对应光学图像的对比示例如图4。仿真数据集是利用东南大学研究团队自主研制的目标环境SAR 图像特性仿真软件，通过电磁仿真建模计算生成的，其模拟的是MSTAR数据的成像方式，采取和实测数据相同的量化方式。该数据集包括4 种目标类型，分别为T72、2S1、BRDM2、ZSU234，覆盖的方位角范围是0°～360°，俯仰角范围包括17°和15°两种。

图4 光学、实测和仿真图像的对比示例Fig.4 Examples of comparison of optical，measured and simulated images

MSTAR 实测数据采取HH 极化方式和聚束式成像模式，分辨率为0.3 m × 0.3 m，覆盖的方位角范围为0°～360°，共有10类目标类型，分别为BMP2、BTR70、T72、BTR60、2S1、BRDM2、D7、T62、ZIL131、ZSU234。在SOC 配置条件下采用17°俯仰角下的数据为训练集，15°俯仰角下的数据为测试集。

3.2 实验设置

本文采用GPU 加速，运行机器的显卡设置为NVIDIA GeForce RTX 3070Ti。实际训练中初始学习率为0.0002，前100 轮始终保持学习率为0.0002，后100轮学习速率线性衰减，衰减权值由高斯分布N（0，0.02）初始化。风格迁移所使用的源域数据为仿真数据的4 种仿真目标类型T72、2S1、BRDM2、ZSU234，目标域数据为实测数据的T72、2S1、BRDM2、ZSU234 目标类型。以实测数据作为目标域，仿真数据作为源域，在不同样本缺失比例下进行风格迁移，具体的数据设置如表1所示。

表1 风格迁移的数据设置Tab.1 Data settings for style migration

3.3 结果分析

本小节分别从特征相似度指标和目标分类识别效果两个方面，对本文方法的生成图像质量和特征相似性进行验证与评价。

3.3.1 生成图像特征相似度评价

针对缺失1/2 样本比例的情况，图5 给出了4 类目标的MSTAR 实测图像、原始仿真图像、原始CycleGAN 生成图像和本文方法生成图像。从直接观察结果对比分析，可以发现原始仿真图像与MSTAR 实测图像差异最大，经过原始CycleGAN 生成的图像稍有改善，而本文算法生成的图像在背景杂波风格、细节特征和结构轮廓方面与MSTAR 实测图像更加相似，验证了本文提出的方法对目标结构信息的保留效果更好，图像提升质量更高。

图5 生成图像与实测图像对比Fig.5 Comparison between the generated image and the measured image

为了对生成图像所包含的散射特征进行评价，将SAR 图像的目标区和阴影区进行分离，得到图像的阴影轮廓、目标轮廓和目标强度三种特征。阴影轮廓能够表征出目标的高度信息和方位角；目标轮廓能够表征出图像的结构信息和纹理细节；目标强度能够表征SAR 图像的灰度信息，反映出像素灰度特征的分布特点。这三种特征与目标的细节纹理和结构轮廓密切相关，较好地表征了目标的散射特征。结合极化映射径向积分的方法［27］，通过计算生成图像和实测图像之间的特征相似度，进而对生成图像中所包含的散射机理信息进行评价，间接地反映出算法的性能。特征相似度R计算方式如公式（10）所示，其中，p和q分别代表仿真图像和实测图像的特征向量。R的数值越大，表明图像之间特征相似度越大，R的数值越小，表明图像的特征相似度越小。

针对缺失1/2 样本比例下生成图像进行评价，以2S1 目标类型为例，计算生成图像与实测图像之间特征相似度，特征相似度计算结果如表2所示，得到特征分割结果如图6所示，其中，红圈标注为增强的特征相似区域。从图6的目标和阴影轮廓图可以看出，本文算法得到的结构更加清晰，较好地保留了结构信息，目标轮廓与实测目标更相似，阴影区域的面积的位置和大小更接近于实测图像。从目标强度图可以看出，本文算法较好地保持了图像的灰度分布，增强了目标部分散射特征，对关键部位的目标散射点进行了强化。从表2的指标结果可以看出，原始CycleGAN 算法会使目标的散射特征得到恶化，使得原始目标的阴影轮廓和目标结构发生一定的改变，导致原始算法生成的图像与实测图像在结构轮廓和细节纹理上差异较大，特征相似度降低。而本文算法能够很好地保留SAR 目标原有的结构轮廓，特征细节和灰度信息，保持图像的结构一致性，有效缩小实测图像和仿真图像之间的差异，增强目标的散射特征。

表2 图像的特征相似度Tab.2 Feature similarity of image

图6 特征分割结果图Fig.6 Results of feature segmentation

3.3.2 基于目标识别的生成图像有效性验证

为了验证生成图像的有效性，本节基于深度学习的识别框架，通过设计目标识别实验对生成图像的有效性进行评估。目标识别的具体实验流程如图7所示。首先，按照方位角0°～360°的顺序将实测图像的样本缺失a%的比例，利用剩下未缺失的1-a%比例的实测图像和对应范围的1-a%比例的仿真图像分别作为目标域和源域，并使用CycleGAN算法生成实测特征风格的迁移模型。接着，再利用其余a%比例的原始仿真图像进行测试，生成缺失的a%比例的实测图像。然后，使用生成图像补全缺失的实测样本集。最后，利用A-ConvNets 网络对样本扩充前后的实测样本集进行分类，通过比较识别准确率比较生成图像的质量。

图7 目标识别的具体流程Fig.7 Specific process of target identification

基于上述目标识别框架，下面设计了6 种不同样本缺失条件下的目标识别实验。实验采用17°俯仰角下实测图像的10 类目标类型作为训练集，将T72、2S1、BRDM2、ZSU234 这4 类目标类型的实测样本部分缺失，其余目标类型的实测样本不缺失，并将15°俯仰角下的10 类实测目标类型的全样本数据作为测试集。图7 中缺失样本比例a%对应取值分别为1/4、3/8、1/2、5/8、3/4、7/8。对每一种样本缺失条件分别设计四个实验，第一个实验使用样本缺失的实测数据集作为训练样本集，第二个实验使用原始仿真图像补充缺失的实测样本，第三个实验使用原始CycleGAN 生成的图像补充缺失的实测样本，第四个实验使用本文算法生成的图像补充缺失的实测样本，未缺失的样本仍然使用实测数据。T72、2S1、BRDM2、ZSU234 这4 类目标的具体训练样本配置如表3所示。分类网络使用A-ConvNets网络模型，模型结构如图8所示。

表3 不同条件的4类目标训练样本设置Tab.3 Setting of four types of target training samples under different conditions

图8 A-ConvNets网络结构Fig.8 A-ConvNets Structure

（1）目标识别性能比较与分析

针对不同条件和算法，使用A-ConvNets 分类后得到的识别结果如表4所示。从表中结果分析可以得出，相比于原始算法，使用本文方法对仿真图像的质量提升后，能够在网络中引入更多的散射特征细节和结构轮廓信息，增强对特征的表达，目标识别性能提升更明显，对实测数据的辅助识别性能更好。在不同的样本缺失条件下，实验的准确率均有提升，以缺失7/8 比例样本的实验为例分析。使用原始方法优化所得到的10 类目标准确率为71.13%，改进算法后，准确率提高至78.84%，结果表明本文算法能够显著缩小SAR 车辆目标电磁仿真图像与实测图像的差异，增强面向识别的目标散射特征，提升仿真图像的质量，提高在样本缺失条件下车辆目标识别的性能。

表4 不同实验条件下的结果Tab.4 Results under different experimental conditions

在表4的基础上，表5给出了4类仿真目标类型在不同样本缺失比例下所得到的识别准确率，并将其绘制成识别率柱状分布图，如图9 所示。从图表中分析得出，利用本文方法对仿真图像进行实测化特征风格迁移可以取得较好的辅助识别效果。这里以缺失1/4 比例和7/8 比例样本的实验为例开展对比分析，在缺失1/4 比例样本条件下，使用本文算法提升仿真图像质量后，得到的4 类仿真目标准确率提高了2.98%，而在缺失7/8 比例样本条件下，准确率提高了16.11%。结果表明，随着样本缺失数量的增多，即训练样本中生成图像占比增加、实测图像占比减小，引入的电磁散射特征信息更多，网络拟合得到的高维特征更丰富，本文方法与原始CycleGAN算法相比分类识别性能提升更加明显。

表5 4类仿真目标类型的识别准确率Tab.5 Recognition accuracy of four types of simulation targets

图9 不同实验条件下识别率比较Fig.9 Comparison of recognition rate under different experimental conditions

（2）基于特征可视化结果分析

为了对加入不同图像后样本集目标识别性能进行对比，本文使用t-SNE 方法［28］对A-ConvNets 的网络输出层的前一层的数据特征进行可视化，比较T72、2S1、BRDM2、ZSU234 目标类型的特征分布情况。针对缺失1/4 比例样本条件下的目标识别结果，比较原始算法和本文算法的图像迁移效果，特征可视化结果如图10 所示。可以看出，使用原始CycleGAN的生成图像进行目标识别，所得到的特征分布较为杂乱，特征可分性不好，目标识别性能不强。使用本文方法提升仿真图像的质量后，类间特征差异分布明显，类内差异缩小，目标识别性能得到一定的提升，尤其是2S1 和ZSU234 目标类型，分类性能提升明显。

图10 4类目标的分类识别特征可视化Fig.10 Feature visualization of classification of four types of targets

此外，为了进一步对比实测图像和生成图像的特征分布，使用缺失1/4 样本比例条件下的实测特征风格迁移模型得到全样本的生成图像。利用AConvNets 分类网络模型对实测图像和生成图像的混合样本集进行分类，其中混合样本集中实测图像和生成图像均包含全样本数据。然后用t-SNE 方法对网络输出层的前一层进行降维可视化，得到实测和生成图像混合样本的特征分布，可视化结果只标记出实测图像和生成图像两类，结果如图11 所示，红色和蓝色的特征点分别代表实测图像和生成图像。特征可视化结果表明，使用本文方法提升质量后的生成图像与实测图像在特征分布上更加接近，散射特征得到增强，类内差异缩小，特征差异性更小，与实测图像的特征相似性提高，表明质量提升后的生成图像能够在分类网络中引入更多的电磁散射信息，目标识别性能得到提升，本文算法在提升仿真图像的质量上具有明显效果，验证本文方法的有效性。

图11 实测图像和生成图像的特征可视化Fig.11 Feature visualization of measured and generated image

4 结论

本文针对仿真数据和实测数据在细节纹理和结构轮廓上的差异性，提出了基于散射特征增强的SAR 电磁仿真图像质量提升方法，并结合电磁仿真数据开展目标识别相关研究。本文算法以Cycle-GAN 为主要框架，考虑了电磁散射机理，通过使用最小二乘损失替代交叉熵损失，并在损失函数中引入MS-SSIM-L1损失，实现对目标散射模型的持续迭代优化，并对细节纹理进行微调，更好保留生成图像的细节特征和结构轮廓，保持图像间的结构一致性，提升图像的质量。通过计算生成图像和实测图像在三种特征上的相似度，表明本文方法在保留目标特征细节和轮廓信息方面的优势。从目标识别性能来看，使用本文算法生成的图像可以有效辅助目标识别任务。目标识别实验表明，随着样本缺失数量的增多，生成图像在训练样本中所占比例提高，引入的目标散射特征信息增多，识别率提升更加明显，尤其在缺失7/8 比例样本的条件下，识别率可以提高16.11%。目标识别实验的特征可视化结果表明，使用本文算法生成的图像与实测图像的特征分布更接近，散射特征得到增强，目标的类间特征差异明显，类内特征差异缩小，同类目标生成图像和实测图像的特征融合性得到提高，验证了本文方法在提升SAR 仿真图像质量和目标识别性能上的有效性。本文方法在SAR 车辆目标上能够达到较好的效果，可进一步拓展应用在飞机、舰船等SAR目标的电磁仿真图像质量提升上。

致谢鸣谢东南大学毫米波国家重点实验室提供本研究的目标环境SAR图像特性仿真软件。