柴源，罗建军，王明明

1. 西北工业大学 航天学院，西安 710072

2. 西北工业大学 航天飞行动力学技术重点实验室，西安 710072

为了满足深空探测、战略侦察等未来空间任务的需求，诸如空间望远镜[1]、大型通信天线[2]等大型空间设施的建设至关重要。然而，大型空间设施的大体积、大跨度特征限制了利用运载工具以独立单元发射的可能[3]。为了解决这一难题，研究人员提出了在轨装配的大型空间设施构建方式，即在空间中进行装配结构的搬运和组装[4]。美国凤凰计划项目[5]和德国在轨卫星服务和装配的智能建造模块(iBOSS)项目[6]等研究表明，利用一些低成本的微小卫星与装配结构形成组合体，通过互相协同将装配结构搬运至装配主体结构附近的期望位置，递交给装配机器人进行安装，是空间在轨自主装配的重要方式。然而，多星协同搬运过程的轨道转移过程中存在如下挑战：① 微小卫星在行为上存在协同需求；② 微小卫星在控制过程中存在多种约束；③ 微小卫星的星载资源宝贵且有限。

多星协同搬运涉及到微小卫星间的协同。目前，大多数多星协同的研究是面向编队和集群任务。中心式协同控制通过中心卫星进行卫星状态的收集、控制指令的解算和分发[7]，而分布式协同控制通过每个个体进行局部信息的感知和独立的控制计算[8]，来实现多微小卫星的长期在轨飞行。然而，不同于编队、集群任务中的每个微小卫星能够独立飞行，多星协同搬运任务的多微小卫星与装配结构固连，在动力学上存在输入耦合。针对此类问题，传统集中式方法是结合单刚体航天器控制和控制分配来得到每个微小卫星的控制量。Han等[9]针对多星协同姿态接管控制问题，首先利用自适应控制方法进行总控制力矩解算，之后将力矩分配描述为二次规划问题进行求解。为避免将计算负担集中在中心节点上，Chang等[10]研究了基于市场法的分布式控制分配方法。由于传统方法均要求中心节点进行总控制量解算，当中心节点出现故障时，整个协同任务会失效，因此其容错性差。微分博弈提供了一种交互式决策框架，其中，基于博弈系统的整体动力学模型，每一位参与者通过对各自局部目标函数的优化获得控制策略[11]。这是解决多智能体协同的一种有效思路，已广泛应用各种工程问题中，如编队飞行[12]、轨迹规划[13]、空间突防[14]、多微小卫星接管失效目标[15]。通过将装配结构的多星协同搬运问题描述为多个微小卫星间的微分博弈，各个微小卫星可独立优化各自局部目标函数来获得控制策略，避免控制分配以提高容错性。

然而，在多星协同搬运过程中需要考虑控制幅值约束以及为避免干扰姿态的力矩约束，这使得博弈的纳什均衡求解变得复杂。典型求解微分博弈问题的方法是基于动态规划法将原二次型博弈问题转化为一组耦合的哈密尔顿-雅可比 (HJ) 方程进行求解，无法处理约束[16]。Zhang等[17]对二次型形式的局部目标函数进行改进，并利用强化学习算法逼近HJ方程的数值解得到纳什均衡策略，能够有效处理控制幅值约束。但是该方法要利用大量的数据进行在线学习，较为耗时。韩楠等[18]将带有控制幅值约束的微分博弈问题转化为约束优化问题，在通信达到一致的全局态势感知后，各个微小卫星均在各自的处理器上进行全局约束优化问题的求解。虽然该方法可以处理约束，但全局约束优化问题的计算复杂性高，各个微小卫星的计算负担重；而且该方法求得的是一种开环控制策略，鲁棒性差。进一步，韩楠[19]设计了基于模型预测控制的分布式纳什均衡求解方法，能够有效实现对控制幅值约束的处理。相较于全局优化方法[18]，该方法将计算负担分布在各微小卫星之间，减轻计算压力；且该方法是闭环控制策略，鲁棒性较好。然而，该方法无法直接解决本文问题。一方面该方法需要在每个采样时刻多次通信获取其他微小卫星的策略并迭代求解纳什均衡，通信负担重，计算实时性要求较高。另一方面，该方法仅考虑了微小卫星各自解耦的控制幅值约束，无法直接处理多星协同搬运中微小卫星之间耦合的力矩约束。

本文针对多星协同搬运过程中的轨道转移控制问题，为满足多种控制约束以及减少星上通信消耗，提出了脉冲推力下的预测博弈控制方法。在多星协同方面，以相对轨道动力学为模型、以控制精度和能量消耗的二次型为局部目标函数构建多星博弈问题，个体能够通过局部目标函数的优化获得控制策略，避免了传统集中式方法所需的控制分配，提高了方法的容错性；在控制约束处理方面，以模型预测控制为框架构建预测时域上的优化问题，便于对约束的显式处理，将耦合的力矩约束从绝对约束转化为目标约束再处理，便于微小卫星分布式逼近纳什均衡策略；在星载资源的利用上，引入脉冲推力形式并将其与控制幅值约束合并描述为存在周期及幅值限制的力约束，使得微小卫星仅在脉冲施加时刻进行分布式控制策略求解，降低了控制更新次数和通信次数，节省了燃料消耗。

1 问题描述

为了实现装配结构的搬运，多个微小卫星利用自己的执行机构实现对装配结构的轨道和姿态控制。假设微小卫星能够通过飞轮的控制保持装配结构的姿态稳定，本文重点研究多个微小卫星的轨道转移控制问题。图1给出了多个微小卫星协同搬运的示意图，其中，微小卫星在除了与装配结构相接的面以外的每个面均安装有推力器。

本文为满足多种控制约束以及减少星载资源消耗，进行了脉冲推力下的预测博弈控制方法设计。首先，通过多星协同搬运轨道动力学的构建、局部目标函数的设计以及考虑脉冲推力的力约束和力矩约束的描述，建立多星协同搬运的博弈模型；其次，基于模型预测控制思想，通过对博弈模型进行离散化和连续迭代得到预测时域下的多约束多星博弈模型；最后，通过对上述模型的解耦处理得到仅优化微小卫星自身策略的二次规划问题，并通过预测博弈控制算法的设计实现均衡策略的逼近。

图1 微小卫星协同搬运示意图

所涉及的坐标系定义如下：

1) Clohessy-Wiltshire-Hill(CWH)坐标系Ocxcyczc。该坐标系以期望位置为原点，xc轴沿轨道径向，yc轴垂直于xc轴指向前，zc轴由右手定则确定。

2) 微小卫星本体坐标系Oixiyizi。该坐标系以微小卫星的质心为原点，微小卫星的3个惯量主轴分别为坐标轴xi、yi、zi。设微小卫星与搬运结构的相接面与+zi垂直，则微小卫星只能沿±xi、±yi和+zi方向产生推力。

3) 组合体本体坐标系Obxbybzb。该坐标系以组合体的质心为原点，其坐标轴与任一微小卫星的惯性主轴平行。

2 多星协同搬运的博弈建模

为了实现微小卫星控制策略的独立优化，本节基于动力学模型的建立、局部目标函数的设计以及多种约束的表述，将多星协同搬运问题建模为多约束多星博弈。其中，脉冲推力被描述在力约束中。

2.1 协同搬运系统动力学模型

考虑包含N个微小卫星的协同搬运系统。微小卫星按顺序标记为1，2，…，N，并假设微小卫星之间的通信拓扑是无向连通结构。由于组合体的初始位置和期望搬运位置之间的距离远远小于轨道半径，因此组合体相对于期望位置的轨道运动可由CWH方程描述

(1)

2.2 多星博弈建模

面向多星协同搬运的需求，将多个微小卫星视为博弈参与者，通过各个微小卫星的决策互动进行策略优化。为实现期望位置的接近，每个微小卫星的局部目标函数定义为

(2)

微小卫星在力施加过程中可能会产生力矩，对组合体姿态运动造成不必要的扰动。为了在搬运过程中不改变装配结构的姿态，要求所有微小卫星产生的合力矩为零,即

(3)

式中：rbi为组合体质心指向微小卫星质心Oi的矢量，右上角标a×表示叉乘运算。该力矩约束为耦合约束。

图2 脉冲推力示意图[20]

为了提高燃料利用率和减少通信及计算次数，采用脉冲推力形式[20]，其具体形式如图2所示。轨道运动由多个脉冲周期组成，每个脉冲周期包括一个脉冲作用段和一个自由运动段。脉冲作用时间为一个采样周期τ，且脉冲幅值限制为umax。自由运动段为相邻2个脉冲推力之间没有推力作用的时间段。一个脉冲周期时长为T=nτ，其中n为一个脉冲周期的采样次数。首先，脉冲推力只在脉冲作用段施加，且具有控制幅值限制

(4)

ui(t)=03×1, ∀t∈[twn+1,t(w+1)n)

(5)

式中：twn+1为第w个脉冲周期的自由运动段开始时刻；t(w+1)n为第w个脉冲周期的自由运动段结束时刻。

因此，针对式(1)所示的多星系统，考虑局部目标函数(2)以及力矩约束(3)、力约束(4)-(5)、初始边界约束的情况下，微小卫星的协同搬运问题可以描述为如下的多约束博弈问题

(6)

在每个控制时刻，各个微小卫星通过优化求解上述问题进行博弈策略的调整，实现各自局部目标函数的优化。当如下N个不等式成立时，各个微小卫星则获得ε-Nash均衡策略[21]

(7)

即一旦微小卫星的博弈策略达到ε-Nash均衡状态，则任意微小卫星无法通过单方面的策略调整使其局部目标函数的优化量超过ε。

3 预测博弈控制器设计

模型预测控制以预测模型为基础，在控制过程中处理多种约束，通过滚动优化的方式实现闭环控制。本节利用模型预测控制处理约束的优势，期望通过多星之间的局部信息交互实现均衡策略的逼近。

3.1 预测时域的博弈模型

为了建立预测时域的博弈模型，需要将建立的博弈模型(6)进行离散化和连续迭代。定义多星协同搬运任务的开始和结束时间分别为t0和tf，采样周期为τ，则根据采样时间将[t0,tf]分为Ns个时间段[t0,t1,…,tl,…tNs-1,tf]。其中，tf=tNs。定义预测时域的步长Np为一个脉冲周期采样次数n的p倍，控制时域的步长Nq为一个脉冲周期采样次数n的q倍，预测时域等于控制时域。

首先对动力学约束进行处理。在tk处，式(1)可离散化为

(8)

式中：k={0,Nq,2Nq,…}为每次进行新的策略求解的时刻下标;xk=x(tk);ui,k=ui(tk)，且

在预测时域[tk,tk+Np-1]，通过对离散动力学模型的连续迭代，可以得到预测时域内的动力学模型

(9)

式中：Xk表示预测状态向量；Ui,k表示预测时域内各微小卫星的控制向量。具体形式如下

其次，对局部目标函数进行处理。在tk处，局部目标函数式(2)的离散形式为

(10)

则在预测时域内，局部目标函数具有如下形式

(11)

其中：Qi,k=INp⊗Qi;Rij,k=INp⊗Rij。

最后，对力矩约束和力约束进行处理。式(3)在预测时域内可表示为

(12)

式中：⊗表示克罗内克积。由于脉冲作用段为一个采样周期，因此力约束式(4)和式(5)在预测时域内可表示为

(13)

综合式(9)～式(13)可得预测时域内博弈模型为

(14)

式(14)描述了多星协同搬运在一个预测时域内的博弈。基于多步预测思想，利用未来Np步的预测信息来求个体的博弈策略；基于滚动优化思想，各个微小卫星施加控制序列中前Nq控制作用来进行装配结构搬运过程中的轨道控制。然而，由于式(14)中耦合的动力学模型和耦合的力矩约束，无法进行微小卫星的独立求解。

3.2 二次规划建立

为了使微小卫星能够独立优化各自的策略,分别对式(14)中耦合的动力学模型和力矩约束进行处理。

针对耦合的动力学模型，将式(9)代入式(10)中，可得个体的局部目标函数为

(15)

通过这样的处理，个体的目标函数中可消除Xk项，其自变量仅包含各微小卫星控制序列。进一步考虑到每个微小卫星仅能优化自身的控制序列Ui,k，因此式(15)中不包含Ui,k的项可舍去，得到如下局部目标函数

(16)

式中：

同时，将力矩约束式(12)从约束约束转化为目标约束

(17)

同时，考虑到每个微小卫星仅能优化自身的控制序列Ui,k，将式(17)改写为如下形式

(18)

式中:

∈R(3Np+1)×(3Np+1)

综合式(16)和式(18)，微小卫星的优化问题表示如下二次规划问题

(19)

式中：

在协同搬运过程中的每个tk处，微小卫星i基于其他个体的优化序列Uj,k求解这样一个优化问题，解得控制序列Ui,k只施加前Nq个控制作用。

3.3 预测博弈控制算法

微小卫星在每个tk处求解式(19)所示二次规划问题时，需要知道其他所有微小卫星的优化控制序列。但是，其他个体的控制序列在一开始求解时也都是未知的。因此，需要进行初始策略的求解和均衡策略的调整。

(20)

在得到所有微小卫星的初始序列后，各个微小卫星依次求解式(19)的二次规划问题来对初始策略进行连续调整，记为

(21)

EJk=maxEJi,k≤ε

(22)

综上，本文设计多星协同搬运的预测博弈控制算法流程如算法1所示, 各个微小卫星通过局部信息交互实现了在线优化。

算法1 预测博弈控制算法输入tk,xk,U0i,k=03Np输出Uiteri,k的前Nq个控制作用1.iter=12.初始化U1i,k:微小卫星i根据式(20)计算初始控制序列3.iter=24.While iter≤itermax or EJi,k>ε do5. 微小卫星i根据式(21)计算本轮控制序列Uiteri,k6. iter=iter+1;EJi,k=maxEJi,k7.End

4 仿真分析

本节通过数值仿真对所设计的脉冲推力下的预测博弈控制方法进行验证分析，同时对比不同脉冲周期对控制效果的影响。

不失一般性，假设有4个微小卫星参与多星协同搬运任务，微小卫星之间的通信为环形拓扑结构。期望位置的轨道半径为r0=42 164 km，轨道角速度为ω0=7.292 2×10-5rad/s，轨道倾角为30°，升交点赤经为20°。组合体的初始位置为r=[0,-20,0]Tm，组合体质量为m=100 kg。4个微小卫星在Obxbybzb下的坐标分别为r1=[0,-1,1]T，r2=[0,1,1]T，r3=[0,-1,-1]T以及r4=[0,1,-1]T。各微小卫星的转换矩阵分别为

目标函数中的加权矩阵设置为

Q1=Q2=Q3=Q4=0.001I6

R11=R22=R33=R44=0.001I3

微小卫星的脉冲推力幅值为umax=0.5 N。采样周期为τ=0.5 s，脉冲周期的采样次数为n=10。预测时域参数为p=20，即Np=200，控制时域等于预测时域。最大更新次数为itermax=3。

4.1 多星协同搬运的轨道控制

为了说明本文方法的优势，本节分别从约束处理、容错性以及鲁棒性3个方面进行仿真分析，并与传统集中式方法进行对比。

4.1.1 对约束处理的有效性分析

基于上述参数设置，图3和图4是组合体的相对轨道位置和相对轨道速度随时间变化曲线。在多个微小卫星的控制作用下，组合体的轨道位置可以在200 s左右达到期望位置，轨道控制精度优于1×10-3m。

图3 组合体相对轨道位置变化曲线

图4 组合体相对轨道速度变化曲线

图5给出了4个微小卫星的控制力随时间的变化情况。可以看出，在协同搬运过程中，各个微小卫星的控制力始终满足力约束要求。随着组合体的轨道位置逐渐逼近期望位置，各个微小卫星的控制力逐渐趋于0 N。

图6为所有微小卫星产生的各坐标轴的总力矩随时间变化情况。从图中可以看出，合力矩被约束在3×10-4N·m以内，完全能够通过姿态控制系统的鲁棒性进行抑制。

为说明本文方法的先进性，将所提出的预测博弈控制方法与传统集中式方法进行比较，其中，以微小卫星4为中心节点进行计算和分配，总控制量解算采用传统的线性二次型调节器(LQR)控制方法，控制分配采用基于序列二次规划的动态控制分配。如图7所示，通过对LQR控制的加权矩阵Q和R的调节，使得传统方法能够在200 s左右达到期望位置，以便于其他性能的对比。图8为采用传统方法得到的微小卫星1的控制力变化图，可以看出传统方法在初始控制阶段违反了控制幅值约束。这是因为在总控制量解算时LQR方法无法处理控制约束，总控制量的大小会影响分配后的微小卫星控制力大小。图9为采用传统方法得到的微小卫星的各坐标轴的力矩，能够满足合力矩约束。这是由于多个微小卫星对称排布，对应的构型矩阵决定了合力矩能够满足要求。上述对比分析说明了本文所设计的方法在约束处理上的显著优势。

图5 4个微小卫星的控制力

图6 微小卫星产生的各坐标轴的总力矩

图7 传统方法下组合体相对轨道位置变化曲线

图8 传统方法下微小卫星1的控制力

图9 传统方法下微小卫星产生的各坐标轴的总力矩

4.1.2 对个体失效的容错性分析

为了验证所设计方法的容错性，设置微小卫星4在仿真的第50 s发生故障，无法通信和提供控制力。其他仿真参数与4.1.1节相同。

图10给出了微小卫星4失效时组合体的相对轨道位置随时间变化曲线，可以看出，在微小卫星4失效的情况，其他微小卫星仍旧能够控制组合体到达期望位置。图11给出了其中一个正常的微小卫星1的控制力变化情况，表明微小卫星能够在单个个体失效情况下正常进行控制力的更新，这是因为剩余正常微小卫星的通信拓扑仍为全连通图。图12给出了失效微小卫星4的控制力变化情况，表明该个体在50 s后无法提供控制力。图13给出了各微小卫星产生的总坐标轴的总力矩变化图，可以看出正常微小卫星在非对称排布的情况下，各坐标轴的力矩仍能够被约束在3×10-4N·m以内。

图12 微小卫星4失效下控制力变化

图13 微小卫星4失效下各微小卫星产生的各坐标轴的总力矩

而传统方法是以微小卫星4为中心节点进行计算和分配的，一旦微小卫星4失效，整体系统瘫痪，无法进行组合体的控制，导致任务失败。上述结果说明了相较于传统方法，本文所提出的方法对个体失效具有较好的容错性。这是因为博弈模型避免了中心式解算和控制分配，环形通信结构保证了在一个个体失效的情况下其他个体仍旧能够正常通信，分布式优化保证了微小卫星获取信息后的独立计算。

4.1.3 对不确定性的鲁棒性分析

为验证所获得的预测博弈控制策略对扰动引起的轨道控制误差的补偿能力，在多星协同搬运过程中引入如下的干扰力矩同时，设置位置测量误差为均值为0、标准差为3×10-3的白噪声[22]。其他参数与4.1.1节相同。

图14给出了组合体的相对轨道位置变化曲线。可以看出，在不确定存在情况，所提出方法能够实现对组合体轨道位置的有效控制。图15(a)表明在不确定存在情况下本文所提出方法仍能够满足控制幅值约束，且脉冲推力形式便于执行。而图15(b)表明传统方法下所得到的控制力无法满足控制幅值约束以及在-zi轴控制力为零的要求，而由于不确定的存在控制力也存在抖振现象，不利于执行。图16的结果说明了不确定性存在情况下本文所提出的方法能够将各坐标轴的总力矩约束在期望的范围内。上述结果说明了本文所提出的控制器对不确定性因素不敏感，具有鲁棒性。

图14 不确定性存在下组合体相对轨道位置变化曲线

图15 不确定性存在下微小卫星1的控制力

图16 不确定性存在下微小卫星产生的各坐标轴的总力矩

4.2 不同脉冲周期对控制效果的影响

考虑不同脉冲周期对控制效果的影响，取两组不同的脉冲周期来进行仿真。第1组仿真中，取脉冲周期的采样次数为n=1，即连续控制的情况，控制时域对应设置为Nq=1。第2组仿真中，取脉冲周期的采样次数为n=20，控制时域为Nq=20。其他仿真参数与4.1节相同。

图17分别给出了不同脉冲周期下的组合体相对轨道变化曲线。结合图3的结果可得，在相同采样时长和预测时域步长的情况，脉冲周期的采样次数越小，超调量就越小，稳定速度就越快。

图17 不同脉冲周期下的组合体相对轨道位置变化

图18分别给出了不同脉冲周期下的微小卫星1的控制力变化。结合图5(a)的结果可得，脉冲周期的采样次数越小，则两脉冲之间的间隔越小，控制收敛速度更快。特殊地，脉冲周期n=1时，脉冲控制变成了连续控制。

表1为不同脉冲周期下的燃料消耗和单个微小卫星总通信次数情况。从表中可以看出，在相同采样时长和预测时域步长的情况下，脉冲周期的采样次数n越小，所消耗的燃料越大，其中，连续推力控制即n=1时的燃耗评价值是脉冲推力n=20时燃耗评价值的3.6倍，所需要总通信次数也越多，其中，连续推力所需单个微小卫星总通信次数是脉冲推力n=20时通信次数的20倍。由于星上资源在航天中较为宝贵，高燃耗和频繁通信对于航天任务的执行是不利的。因此，在实际工程应用中，可以根据任务时间窗口、燃耗情况和通信设备情况进行脉冲周期采样次数n的调整，以满足需求。

图18 不同脉冲周期下的微小卫星1控制力

表1 不同脉冲周期下的燃料消耗及通信次数

5 结 论

1) 针对多星协同搬运中的行为协同、多约束满足以及星上资源节约问题，设计了脉冲推力下的预测博弈控制方法。在建模方面，考虑脉冲推力在通信开销上和燃料开销上的优势以及博弈论在多个体决策互动方面的优势，建立了多约束多星博弈模型，避免了控制分配。在求解方面，利用模型预测控制显式处理约束的能力，设计了分布式博弈均衡策略求解方法，能够有效处理耦合约束。

2) 通过与传统集中式方法进行数值仿真对比可以得出：本文所提出的方法能够处理多种约束，其分布式优化的特征提高了系统的容错性，其滚动优化的特征使得方法具有一定的鲁棒性，脉冲推力的形式减小了通信和燃料开销且便于执行，适用于多星协同在轨搬运的情形。

3) 在控制策略的在线计算过程中，各个微小卫星通过多次迭代来逼近纳什均衡，需要在计算精度和计算时长上进行折中。在后续的研究中可以进一步优化迭代算法，提高收敛效率。另外在脉冲周期的选择上，本文仅对不同脉冲周期所得到的仿真结果进行分析，在后续的研究中可以通过优化方法得到满足要求的脉冲周期，进一步提高燃料利用率。