牟金震，朱文山，盛延平，李 爽，梁 彦

（1 上海航天控制技术研究所 上海 201109 2 上海空间智能控制技术重点实验室 上海 201109 3 南京航空航天大学 航天学院 南京 211106）

引言

空间飞行器在轨服务与维护属于我国科技创新2030 重大专项，对卫星的在轨服务与维护提出了更高的要求[1,2]。卫星部组件的高可靠识别技术是实现上述需求的核心技术。服务航天器对卫星实施在轨服务之前，需要对卫星及其部组件进行精确的识别与定位，为下一步操控任务做准备。但是在太空环境中，相机对太阳光照等外界干扰信息十分敏感，传统的目标检测算法需要人为提取特征，泛化能力较差，在卫星部组件检测任务上表现不佳[3]，因此，卫星部组件的稳定识别仍然是一个难题[4-6]。传统卫星部组件识别采用基于知识或基于分类的识别方法，算法会对采集到的图像首先进行去噪或图像增强处理，之后采取基于手工特征描述算法与分类器结合的方式进行识别[7]。

近年来，深度学习在该领域的应用日益增多，如文献[8,9]则使用深度卷积网对卫星进行了较为准确的识别。应用深度学习实现卫星部组件识别，模型无法有效实现训练场景与实际应用场景的迁移。因此，如何将训练场景下学习到的知识，自适应地迁移到其他场景，从而更好地适应环境变化和识别目标需求变化是一个亟待解决的问题[10-12]。

本文基于域适应YOLO[13]算法实现了对复杂光源、动态干扰等复杂多变空间环境下卫星部组件的稳定识别，并基于半物理仿真实验验证了算法的有效性。实验结果表明，本文所提出的域适应识别算法可以适应复杂的空间环境。本文的创新之处在于：

①提出一种变化场景下自适应迁移的目标识别算法；

② 半物理方式制作卫星部组件的数据集；

③解决不同环境条件下卫星部组件识别难易度差别大的问题。

1 基于特征关联性的样本加权自适应迁移

用F来表示特征提取器。对于一个样本x，f=F(x)，为f的每一个特征通道计算空间上的均值μc(f)和方差σc(f)，并将均值方差拼接成一个新的向量svec2c来表征样本特性：

其中H与W分别表示图像的高和宽。对于任意一个源域样本特征fs和目标域样本ft，得到svec(fs)和svec(ft)，并且用归一化的内积sr来表示这两个样本的关联性

为近似度量源域样本和目标域空间的关联性，在模型训练过程中，将源域数据集打乱并进行顺序采样，对目标域数据集进行随机采样。迭代m次后，可以得到均值。在一个epoch 定义内，以μrele作为阈值，源域样本计算得到的sr＞μrele，则表示该源域样本被击中，与目标域场景关联性较强。在训练多个epoch 后，可以得到

其中μrele代表相关性的均值，nep为epoch 次数，为在nep中各源域样本被击中的次数。初始时每个源域样本权重都为1，nep＞I后对源域样本进行加权，其中I=5 表示对源域样本进行加权的阈值。对于一个源域样本，在迭代epoch=nep时其被击中的概率为

综上，空间卫星图像的源域样本训练权重可写成

其中bs表示源域样本数量最大值，j表示源域样本个数，j∈[1,bs]。

2 深度神经网络参数自适应迁移模型

假设通过训练，源域模型θs已经从数据中学习到了大量的结构知识。将该结构知识迁移到与源域相似的目标域θp中，在使用少量目标域有标签数据情况下，可获得更为精准的目标域模型θt。算法分两个阶段：第一阶段是在大体量数据集上进行监督学习，也称为预训练阶段；第二阶段，利用少量的标注信息微调参数模型。计算类别k所有源样本的激励函数的softmax的平均值，可提取类别k的软标签l，其平均值用lk表示。如果仅使用简单的softmax 容易生成一个较陡的分布，因此还需使用一个高温度τ的softmax 来保留足够多的类别关系信息。基于软标签的类别间关系知识损失可形式化定义为：

其中f(xT)表示正态分布函数，xT表示特征，xt与yt分别表示源域与目标域样本。

3 基于最优特征变换的自适应迁移

假设有一组带标签的源域数据{Xs,Ys}，其中xs∈Xs为源域中的样本图片，而Ys为样本标签，其中y∈Ys为源域中的样本图片，同时有一组无标签的目标域数据xt∈Xt。在真实场景下，源域数据和目标域数据的特征往往不重叠。在这种情况下，需要考虑对特征进行变换实现自适应迁移，如图1 所示。

其中，虚线椭圆框代表源域，实线框代表目标域；F1和F2为独立的两个分类器；阴影部分为差异区域，即分类器分类错误的区域。训练过程共有四个阶段，分别对应图1 中从左至右四个子图。

①第一阶段，产生了一些阴影，目标是要最大化阴影区域。

② 第二阶段，最大化两个分类器差异的结果。

③第三阶段，最小化分歧的结果。

④ 第四阶段，交替优化的目标。

特征迁移模型由一个特征生成器域和两个独立的分类器构成，如图2 所示。

学习过程分为Step A、Step B、Step C 三个阶段。其中Step B、Step C 阶段的对抗训练如图3 所示：

在Step A 阶段，首先训练出两个不同的分类器F1和F2，即求源域上的分类误差。优化目标如下：

在Step B 阶段，固定特征提取器G，训练两个不同的分类器F1和F2，使得它们的差异最大。两个分离器的差异用最简单的1L 损失来衡量，优化目标如下：

其中第一项为源域上的分类损失，目的是让F1和F2继续拟合源域；Ladv为F1和F2的差异度量，其中K表示将图片分为K类，d(p1(y|xt),p2(y|xt))表示测量目标样本的差异，d表示测量两个概率输出之间差异的函数。

在Step C 阶段，固定两个分类器，优化特征生成器G，使得特征对两个分类器效果尽可能一样，优化目标如下：

本文选择YOLO的主干网络Darknet53 作为特征提取器，网络的其余部分作为识别器（对应图3 中的分类器F），架构如图4 所示（红色虚线框为特征提取器G，其余为识别器F，其中F被复制为F1和F2）。

针对YOLO，算法对损失函数进行重新设计，模型中的 Ladv被替换为了三个部分：

其中 Ladv_conf为描述F1和F2输出的置信度分歧损失：

Ladv_cls为描述F1和F2输出的类别分歧损失：

Ladv_giou为描述F1和F2输出的GIOU 分歧损失：

4 实验

4.1 实验环境

实验的硬件及软件系统组成如表1 所示。实验所需要的半物理数据采集环境如图5 所示。

表1 实验的系统环境Table 1 The system environment of the experiment

4.2 实验数据集

sat1 与sat2 两个数据集的共同标签域如表2 所示。在实验中，分别验证sat1（源域/目标域）与sat2（目标域/源域）之间的迁移过程。

表2 sat1 与sat2 目标对象所有标注Table 2 All labels of sat1 and sat2 target objects

由表2 可知，sat1 数据集标签域含有9 个标签分别是[2,3,5,11,12,13,14,15,17]，sat2 数据集标签域含有8 个标签分别是[1,3,4,8,10,12,13,16]。两个数据集共有的标签是[3,12,13]。sat1 中有2 颗不同形状的卫星，如图6 所示。sat2 数据集包含有3 颗不同类型的卫星图片，如图7 所示。

4.3 实验结果与结论

4.3.1 基于特征关联性的样本加权自适应迁移

迁移实验包括两部分内容，其一是将sat1 作为源域迁移到sat2 中测试检测精度，其二是将sat2 作为源域迁移到sat1 来测试检测精度。

4.3.1.1 源域sat1 迁移到目标域sat2

将sat1 设置为源域，sat2 设置为目标域。测试源域sat1 模型的训练效果，其精确率为85.5%，召回率为98.5%，总精度为97.6%。由总精度为97.6%可知，该模型在源域上已经训练得足够好。

接下来，使用源域sat1 训练好的模型应用到目标域sat2 中，其精确率为0.502%，召回率为0.274%，总精度为0.129%，可知YOLO 检测精度不足0.2%。由此可知源域与目标域之间差距较大，所以下一步将考虑如何利用已知的少量目标域图片来微调源域的模型，使之更能适用于目标域场景。如果不利用源域信息，使用随机初始化权重来训练sat2的少量已知图片，可得到精确率为46%，召回率为61.1%，总精度为55.2%。使用源域sat1 已经训练得比较好的权重，然后再使用5%目标域图片进行微调，可得到精确率为57.5%，召回率为71.1%，总精度为68.1%。

4.3.1.2 源域sat2 迁移到目标域sat1

第二个实验设置中，sat2 作为源域，sat1 作为目标域。目标域sat1 数据集仅有5%的图片可用于模型训练，剩余95%的图片作为测试集。首先，测试仅使用sat2 训练之后的模型来测试sat1 数据集，可得到精确率为0.402%，召回率为0.174%，总精度为0.049%。总体来说其识别精度小于0.01。

接下来，加入少量的已知目标域的图片来对源域上的权重进行微调，从而进一步提升该模型在目标域场景下的检测精度。如果不利用源域标注信息，在随机初始化权重情况下，利用5% sat1 数据集训练模型，可得到精确率为59.8%，召回率为84%，总精度为79.8%。利用源域sat2 数据集训练源域模型。在训练源域模型时基于特征关联性对源域样本进行加权。以源域模型的权重作为预训练权重，使用5%目标域sat1 图片进行再学习之后得到精确率为76.3%，召回率为90.7%，总精度为98.9%。对比两种设置可知，基于特征关联性学习到的权重要优于随机初始化的权重。

4.3.1.3 结果分析

通过上述实验结果可知，sat2 数据集作为源域，sat1 作为目标域，会取得更好的结果。可能存在的原因是：sat2 数据集图片中，虽然光照条件充足，拍摄得比较清晰，但是每一张图片中存在多个卫星目标，各类型元器件比较复杂；而sat1 数据集虽然光照不足，并且存在远近距离的切换，但是每张图片都只含有一个卫星目标，各种元器件组成比较清晰，所以只许通过少量的已知图片也能够比较轻松地学习到卫星各个部件的特征。为了验证分析结果，接下来的实验设置以sat1 作为源域，sat2 作为目标域。

4.3.2 参数自适应迁移

设置sat1 为目标域。使用源域sat2 数据训练检测模型，然后使用该模型在sat1 上测试，得到sat2迁移到sat1的基线结果，可得到精确率为3.69%，召回率为0.123%，总精度为0.24%。利用ImageNet训练yolov3，然后随机选择sat1 数据集中5%的图片对训练权重进行微调训练，最后使用sat1 目标域中剩余95%的图片作为测试集，可得到精确率为74.7%，召回率为93.3%，总精度为92.4%。对比两种设置可知，参数自适应迁移的实验结果显著提升了目标域的测试精度。

4.3.3 最优特征变换的自适应迁移

在sat1 中，选择金色卫星图片作为源域，银色卫星图片作为目标域。利用源域数据的基线测试可得到精确率为73.7%，召回率为38.5%，总精度为52.4%。利用最优特征变换迁移策略可得到精确率为70%，召回率为89.4%，总精度为83%。由两种设置可知，最优特征变换可以显著提升模型的泛化性。

4.4 可视化结果

为进一步展示方法迁移效果，通过设置不同的光照环境、不同的识别距离以及不同的目标，以此验证域适应有效性。模型经过本文算法的训练，有效地适应了多种典型空间环境，有效地识别出多类型卫星，如图8 所示。

5 结束语

本文设计了变化场景下卫星部组件识别的自适应迁移YOLO 算法，用于实现多种干扰因素环境下的小样本卫星识别问题，特别是样本难以收集、样本量不足导致的识别精度差的问题。实验证明，本文算法对多个域可实现适应，同时对域样本数量不平衡及样本识别难度不一致情况下的卫星部组件识别非常有效。