王 冠，易 航，张 恒，廖友萍

（北京宇航系统工程研究所，北京，100076）

0 引 言

计算机科学与总线技术的快速发展带动计算机视觉技术从初具雏形到逐渐成熟完善。如今工业产业的迅速发展与计算机视觉技术的日趋成熟有着密不可分的关系，在诸多领域如科研、制造加工、医疗等都可以看到计算机视觉模块的应用。计算机视觉技术不仅可以起到替代人眼的效果，降低成本，同时还能够提高生产效率与稳定性，在实际生产中与传统的人力相比有着非常明显的优势。

喷管是构成运载火箭发动机的一个重要元件，发动机通过喷管摆动实现对运载火箭俯仰、偏航和滚转的控制[1]。目前，发动机喷管摆动极性测试仍采用人工目测法，测试耗时且结果不可追溯。为此，本文提出一套基于计算机视觉方法的测量系统，通过对预先采集的视频流进行稳像技术处理，然后应用基于颜色模型、边界轮廓聚类、帧背景差分、光流跟踪、半监督学习等实时在线和离线识别跟踪方法并对各个算法结果进行自适应权重融合，最终计算得到各喷管的摆动轨迹、角度与极性。

1 总体架构设计

该方案研究与实现的总体框架如图1所示，具体分为在线识别算法、离线模型训练两部分。a）在线识别算法包括：颜色模型法、椭圆检测法、帧差轮廓法和光流特征法4种，对实时视频流进行了视频稳像处理获得数字去抖动的视频，然后应用多种在线识别跟踪算法对发动机极性进行识别和判断；b）离线模型训练是通过少量人工标注和对在线识别跟踪算法结果的迭代来训练一个半监督学习模型。

图1 系统总体框架Fig.1 System Pipeline

4种在线识别跟踪算法，不需要预先训练相关模型即可实时地对发动机喷管摆动进行跟踪。不同于在线算法，离线训练模块主要为半监督学习，通过对反复收集的历次在线算法数据及少量的人工标注数据进行特征提取并训练深度神经网络模型参数、各喷管的极性、位置与大小。

最后将以上所有方法得出的运动模型置于一个基于权重的多样例在线学习模型中进行自适应融合，得到更为精准的目标运动信息，从而得出最终极性判断。

2 系统算法设计与应用效果

2.1 视频稳像技术（Video Stabilization)

后处理视频稳像技术分为3个步骤：a）估计原始摄像头路径C；b）估计出新的平滑摄像头路径P；c）使用优化的平滑摄像头路径来重新合成稳像视频流[2]。将优化摄像头路径看作静态、线性和二次曲线运动分割构成，即运动模型方程的一阶、二阶、三阶微分项等于零。然后通过线性规划方法优化路径的一阶、二阶、三阶微分方程[3]，需要优化最小值的目标方程为

式中P为新的平滑路径；1ω，2ω，3ω分别为预设的超参数。

该方法可以有效去除视频流中由于摄像头移动而形成的抖动[4]，图2为算法中不断更新稳定矩阵B以估算最优的摄像头路径的过程。

图2 估算摄像头路径优化过程Fig.2 Estimating Camera Path Optimization Process

2.2 帧差轮廓法

图3为发动机极性测试系统中帧差轮廓法的具体流程。先对实时视频流进行图像预处理，再用前景减除法[5]得到运动物体轮廓，之后经过腐蚀、膨胀等处理循环监测得到轮廓从而确定喷管当前时刻所在位置。

图3 帧差轮廓法流程Fig.3 Frame Difference Method Pipeline

2.2.1 帧差分处理

在经过灰度处理后，对视频序列的当前帧图像与上一帧图像进行差分运算，再次选择预先根据经验或者实验得到的阈值，最后对差分图像的每个像素点进行处理，通过该点的像素值与阈值大小的比较把差分图像进行二值化[6]。由于得到的二值图像受到外界噪声的干扰，使得部分背景图也被当做前景目标，同时得到的前景目标中有空洞和小范围的噪声，最后对二值图像运用数学形态学的方法处理，来去除小范围的噪声和填补运动目标内部的空洞，消除外界的干扰得到比较理想的运动目标图像[7]。

2.2.2 轮廓检测

针对数字化二值图像的拓扑结构分析，Suzuki提出了边界跟踪算法。算法的本质是确定二值图像边界之间的围绕关系，即确定外边界和孔边界以及他们之间的层次关系，由于这些边界和原图的区域具有一对一的对应关系（外边界对应像素值为1的连通域，孔边界对应像素值为0的孔洞），因此可用边界来表示原图。

通过Suzuki的算法并设定最小轮廓阈值可以得到运动目标的轮廓，之后对轮廓计算最小包围矩阵从而进一步得出矩阵的偏转，由于摄像头是静态固定的，判断帧之间最小包围矩阵的摆点位置变化过大或者最小包围矩阵的摆角变化过大的话，即为跟踪失效，此时自动修改轮廓阈值重新搜索或者引入光流特征法的特征群辅助搜索。帧差轮廓法过程效果如图4所示。

图4 帧差轮廓法过程效果Fig.4 Frame Difference Method Result

2.3 颜色模型法

图5 为发动机极性测试系统中颜色模型法的具体流程。本方法先对实时视频流进行图像预处理后，分别应用Sobel算子和HSV、RGB特征提取与融合，然后通过卡尔曼滤波运动估计计算出喷管的位置。

颜色模型法过程效果如图6所示。

图5 颜色模型法流程Fig.5 Color Model Method Pipeline

图6 颜色模型法过程效果Fig.6 Color Model Method Result

2.3.1 色块边缘方向直方图与HSV颜色直方图

对于灰度图像的像素矩阵 A，使用水平和垂直 2个Sobel算子矩阵来计算图像中像素水平梯度Gx与垂直梯度Gy，进而计算出像素的梯度方向Θ为

对Θ进行筛选，若大于所设阈值，则认为是边缘，然后判断该边缘周围像素的灰度值是否一致，若不一致，则认为是色块边缘。将筛选出来的色块边缘的Θ取值范围分成4等份，再将Θ进行量化即得到色块边缘方向直方图[8]。

2.3.2 卡尔曼滤波

卡尔曼滤波是一种对动态系统序列进行线性最小误差估计的算法，它利用测量值修正估计的状态，提供可靠的状态估计，通过状态方程和观测方程来描述一个动态系统。在数学上可以证明在预测过程和观测过程都为高斯线性时，按照卡尔曼方法做加权最优[9]。

卡尔曼滤波的优点是对目标运动进行了建模，且算法快速可靠易于实现；缺点是不对目标的特征进行建模，判别力较差，不过与帧差轮廓法的融合可以弥补这方面的缺陷；而且限定目标运动服从线性高斯分布，这个条件对于发动机喷管的摆动运动来说是完美契合的。

2.4 椭圆检测法

图7为椭圆检测法的具体流程。

图7 椭圆检测法流程Fig.7 Ellipse Detection Method Pipeline

首先对实时视频流进行一系列图像预处理，之后通过角点、边界检测与过滤提取出散态圆弧，然后通过多尺度聚类算法的拟合得到喷管底部的位置，从而获得各喷管的极性信息。

取候选椭圆弧和候选椭圆弧对应的边界列，采用对椭圆缺损不敏感的直接最小二乘法计算所有候选椭圆的参数候选椭圆并非真实椭圆，对于任一候选椭圆，采用式（5）判断边界像素是否在候选椭圆上：

式中 p，q为候选椭圆圆心坐标；r1，r2，θ分别为候选椭圆长、短半径及圆弧夹角。

设定边界像素数量为ε1，像素总数为ε2，统计ε2%＜di＜ε1时，则判定该候选椭圆真实存在。取 ε1为 2～4、ε2为 45时，筛选效果良好。图8为椭圆检测法过程效果。

图8 椭圆检测法过程效果Fig.8 Ellipse Detection Method Result

2.5 光流特征法

图9 为发动机极性测试系统中光流特征法的具体流程。本方法先对实时视频流进行特征点的抽取，然后通过计算光流域与卡尔曼滤波来估算位置信息，从而得到各发动机点群的运动轨迹[10]。

2.5.1 特征点提取

本系统选取Harris角点与FAST关键点作为特征点对每一帧视频图像进行特征点提取。该方法计算图像上所有像素点灰度的二阶导数，因为得到的二阶导数图像源于二维Hessian矩阵：

式中 p为特征点；I为灰度值。

一个年纪已经过了六十的老人扛了一对大傀儡从后海走来，到了场坪，四下望人，似乎很明白这不是玩傀儡的地方，但莫可奈何的停顿下来。

图9 光流特征法流程Fig.9 Optical Flow Method Pipeline

在Hessian图像的自相关矩阵上有两个最大特征值的位置就是 Harris角点。如果对应到原图像上，这个位置实际上是表示以此点为中心，周围至少存在 2个不同方向的边缘（或者纹理）的地方，也就是拐角的位置。一阶导数对均匀变化的梯度会产生响应，而二阶导数对均匀变化梯度不产生响应，故Harris角点能够克服均匀变化梯度产生的影响，同时，由于Harris角点通过Hessian图像的自相关矩阵计算得到，所以满足旋转不变性，能提高检测的鲁棒性[11]。

FAST特征点是Rosten等提出的一种快速角点特征检测算子，FAST特征点检测具有很强的实时性。FAST特征点的提取是针对每个像素点m，考虑以m为中心的离散圆上的点。若存在圆上点和其直径方向上的对应点与m点的灰度值相近，则认为m不是特征点。由式（7）可近似：

式中 Ra为离散圆半径；τ为选取的阈值。

将图像离散化，实际并非将图像上 2个直径相对的点进行比较，而是与其直径相邻的点比较。

2.5.2 Lucas-Kanade 稀疏光流算法

光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性得到上一帧与当前帧之间存在的对应关系，从而计算出相邻帧之间物体运动信息的一种方法。

由于大多数摄像机的运动是大而不连贯的，因此Lucas-Kanade光流在一些场景中的跟踪效果并不理想，需要一个大窗口来捕捉大运动，而大窗口通常会违背运动连贯的假设。图像金字塔可在一定程度上解决这个问题，即最初在较大的空间尺度上进行跟踪，再通过图像金字塔不断缩小跟踪尺度来修正初始运动速度的假定。对于发动机喷管摆动来说，摆动角度在4～12°；摆动时间约为2 s，要求摄像头硬件采集帧率不小于24 Hz。光流特征法过程效果如图10所示。

图10 光流特征法过程效果Fig.10 Optical Flow Method Result

3 系统的实践与分析

在系统设计和开发实践过程中对整体架构和算法进行不断地更改与完善，使得系统的鲁棒性、准确性、稳定性与实时性需求得到保证与提升。

3.1 鲁棒性

无论是帧差轮廓法中的轮廓检测还是光流特征法中的特征点聚类都可能出现因为遮挡、运动速度过快、分辨率低而导致的目标追踪失效。本系统将光流特征法中的特征点位置作为输入辅助轮廓检测，可以提高帧差轮廓法的鲁棒性。光流特征法的鲁棒性也可以通过将帧差轮廓法过程中检测出的轮廓辅助输入到特征点聚类问题上而得到提升。2个方法互为冗余，即由于其中一个算法在视频流中某些帧中达不到阈值而检测失效时，另外一个算法也能独立完成极性的判断，使整体鲁棒性得到提升。

除了通过用不同算法间模块相互辅助、替换的方法来提升整体鲁棒性，将单一算法中具有优秀鲁棒性的模块直接应用于其他算法，可以帮助其快速地达到阈值或排除扰动。

3.2 准确性

相比于最初简单的对2个算法的结果进行均值处理，应用基于权重的多样例在线学习来进行多算法的融合解决了由于跟踪偏移导致样本出现的歧义性问题，克服了融合算法中的弱分类器退化问题，可以有效提高最终结果的精准度。另外，经过不断的迭代，半监督学习收集到的训练数据越来越多，离线训练得到的模型参数也越来越准确、可靠。

3.3 稳定性

为了确保测量结果的稳定性，分别从软件层面和硬件层面对摄像头和视频流进行了设计。软件层面上，通过建立摄像头参数运动模型将抖动和扰动分解成静态、线性运动和二次曲线运动，通过线性规划方法优化各阶微分方程，从而去除掉原始视频流中不必要的抖动和外来扰动对系统稳定性造成的影响。

硬件层面，选择采用两个垂直于火箭法向中心的摄像头来采集视频，如图11所示。

图11 双摄像头位置分布Fig.11 Dual Camera Position Distribution

相比于单一摄像头，复数摄像头可以有效解决由前后遮挡引起的跟踪不稳定问题；而且由于操控发动机喷管的伺服机构拥有伸、缩、向左、向右，共 4个自由度。此外，两个摄像头与横纵坐标系夹角为30°，这样也会尽可能地减少有遮挡关系的 2个喷管之间的重合比例。

3.4 实时性

测试过程中大部分时间发动机处于静止状态，流程中的若干次喷管摆动平均时长约为2 s，摆动角度为4～12°之间。当摄像头的采集频率为24 Hz 时，上下帧之间发动机喷管的角度变化最多为 0.25°，因此需要系统能够快速捕捉运动。考虑到系统的实时性需求，所涉及的算法均采用工程应用类算法，并对各个算法中没有交互的部分进行了并行计算设计。系统要求的最终运行速度不小于24 Hz。

4 结束语

基于计算机视觉的发动机喷管摆动极性测试系统不仅具有稳定性，实时性等特点，还通过各算法之间的协调与冗余提升了系统的准确率与鲁棒性。利用加装于发动机两侧的工业摄像头采集的视频流来实时判读喷管摆动极性，提高了测试的效率与覆盖率，使整个测试过程可追溯，减少了人工判读环节。

本文提出的基于计算机视觉的测试系统较传统的人工目测法准确率高、检测时间短、降低人力成本、提高型号队伍效率。