潘辉，梁斌斌，张建伟

（1.四川大学计算机学院，成都610065；2.四川川大智胜软件股份有限公司，成都610045）

0 引言

当代，随着经济高速发展，全球航空运输业务更加繁重，机场内飞机起降数量不断增长，飞机、车辆和人员数量亦不断增长，愈需对机场场面进行高效的监控和管理。传统的众多单一视点画面在大屏幕上毫无逻辑的堆积的方式已经不能够满足空管人员对机场的指挥，效率低下而失误率高。所以，本文提出了在机场塔台管制中实行全景视频监控，并且把枪球联动融合于全景监控之中，既能够实现机场场面的全景监控，又能够实现对场面局部细节的查看。全景视频监控比单一视点监控能够包含更多的场面信息，监控的空间角度更广，衔接性更强，能真正实现无盲区监控。全景图像拼接[1]方面，目前存在着大量基于特征点的图像配准算法，如：SIFT、SURF、ORB等。SIFT算法[2-3]，对图像进行透视变换的模型，包括了对图像的平移、旋转和缩放，是精确度最高的算法。相对于其他算法，SIFT算法的计算量巨大，耗时很长，在一些强实时场景下无法使用。但是在本文中，因为摄像机位姿固定，只需对图像进行一次配准，之后就按照第一次计算出来的模型进行拼接，而且我们对于多摄像机采集的视频流会使用GPU加速编解码。实验证明，整个监控系统能够稳定实时的运行。实验的整体流程如图1所示。

图1整体实验流程图

1 构建硬件系统

硬件系统示意图如图2所示。整个系统由枪球联动、NVR、服务器端以及客户端构成。

图2硬件系统示意图

服务器端用于算法处理，如处理拼接等；客户端用于场面监控展示以及空管人员与整个监控系统进行交互；NVR用于对视频的数字信号进行存储、管理，也能够实现对视频图像的观看、浏览和回溯等；枪球联动部分用于采集视频流。枪球联动部分中枪型摄像机均采用了4个海康威视DS-2DE75201W-A网络摄像机，主要功能是负责进行全景监控，球型摄像机采用了海康威视DS-2CD5026FWD-AP变焦摄像机，主要功能是负责对全景监控中的局部区域进行细节特征捕捉。枪球联动系统示意图如图3所示。

图3枪球联动系统示意图

2 生成全景图

此次全景图的生成的实验环境配置是VS2015、Win10操作系统，图像数据来源是某机场的实时监控录像。下面给出了生成全景图的整体实验流程，如图4所示。

目前全景图像拼接[4]分为两种方式。第一种是基于多摄像头，由多摄像头对场景进行覆盖，利用摄像头视场角之间的关系以及堆积几何约束对图像进行配准，从而达到生成全景图的目的。第二种是利用单个摄像头的旋转，依次将扫描到的帧图像进行融合拼接，得到广角图[5]。此次，我们研究的是第一种方式。

图4生成全景图的整体流程

2.1 特征提取与匹配

这里，我们选择使用基于SIFT（Scale-Invariant Feature Transform）的特征提取与匹配算法。SIFT算法即尺度不变特征转换算法，是由Lowe提出的，它在不同的尺度空间进行极值点检测，提取出其旋转、位置以及尺度的不变量。首先，我们对枪机读取的图像进行特征点提取，如图5所示。

图5四张枪机图像的SIFT算法特征点提取

接着，对四张图像进行基于KNN算法[6-8]的匹配。KNN匹配，也就是K近邻匹配，匹配中，选择与特征点最相似的K个点，再从这K个点中选择最相似的点标记为匹配点，通常，K=2，亦称最近邻匹配。对于每一对匹配点均返回2个最近邻的匹配点，若第一、第二匹配点的距离比率满足阈值（通常为2），则称这是正确的匹配。如图6是特征匹配点对。

2.2 基于RANSAC的图像配准

从图5中可以看出，场景中存在一些误配点，这是任何相似度量匹配算法都无法避免的。为了消除场景中存在的错误匹配点，选择使用随机样本的一致性RANSAC[9]算法去实现。RANSAC（Random Sample Con⁃sensus）算法，即随机抽样一致算法，它是根据一组包含异常点（局外点）的观察数据集，通过迭代的方式计算出数据集的数学参数模型，得到有效数据集样本的算法。RANSAC算法用于过滤误配特征点的思想是寻找两幅图中对应特征点变换的最优单应性矩阵H[10]，此时的参数矩阵能够使最多的数据点个数满足该矩阵。相邻两个枪机之间对应特征点存在着平面单应性，平面单应性是一个平面到另一个平面的投影映射。它们的投影映射公式如公式（1）。

图6基于KNN的特征匹配点对

其中s为尺度参数，（x',y'）为目标图像角点位置，（x,y）表示场景图像角点位置。RANSAC算法会在特征点匹配数据集中随机选择四个不共线的样本并计算单应性矩阵H，接着用此模型去测试其他全部数据，同时计算满足此模型的特征点（内点）的个数和投影误差，如果投影误差最小，则该模型是最优模型，进行若干次迭代之后即可得到参数模型，公式（2）是投影误差公式。图7是使用RANSAC算法剔除错误匹配点对的图像配准图。

2.3 基于LM算法的参数优化

为了提高拼接的效果以及在后面的枪球联动模块中实现枪机和球机位姿的精确计算，本文使用了基于非线性的LM算法对摄像机的内参矩阵、畸变系数以及位姿进行参数优化。LM（Levenberg-Marquardt）算法即列文伯格-马夸尔特算法[11]，是由高斯牛顿算法的基础上演变而来的，是高斯牛顿算法和梯度下降算法的统一。LM算法速度快，稳定性高，能够满足本文的实时性要求。

图7基于RANSAC的图像配准

对于已经求出单应性矩阵H的两幅相邻枪机图像Is、Id，它们之间的特征匹配点个数是为N。根据拟合误差，可以构建目标函数为：

式中，P=[fx1,fy1,cx1,cy1,fx2,fy2,cx2,cy2,R]是待优化的参数向量，其初始值是通过相机标定出来的内参和最初计算出来的外参；X是待逼近的参数向量，对其初始化为0；xsj、ysj、xdj、ydj分别是图像IS和图像Id对应匹配的特征点的像素坐标；fx1、fy1、cx1、cy1、fx2、fy2、cx2、cy2是两个相机的内参系数；矩阵R是两个相机之间的外参，即旋转矩阵，R0、R1、R2是矩阵R的行向量，

通过K次迭代，使F不断逼近参数向量X，这时有P的最优解。LM算法的使用能够进一步精化摄像机的内外参数，为之后的全景图生成以及枪球联动提供可靠的参数支持。

2.4 图像融合与全景图生成

当使用拼接技术把多个相机的图像拼接在一起时，由于光照色泽等原因，图像交界处可能会出现过渡糟糕或者拼接不自然的情况，这时可以采用图像融合技术。图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度地提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。待融合图像已配准好且像素位宽一致，综合和提取两个或多个多源图像信息[12]。本文使用加权融合的处理思路，在重叠区域的下一幅图像是由前一幅图像慢慢过渡而来的，即将图像的重叠区域的像素值按一定的权值相加合成新的图像。

为了把四个枪型摄像机输出的视频流拼接起来，我们必须明确这四个相邻摄像机对应的空间关系，也就是摄像机的运动模型。在2.2小节已经提及过，本文中相邻两个摄像机的运动模型是单应变换，角点之间的变化关系遵从公式（1），用齐次坐标表示为公式（5）：

根据摄像机之间的运动模型我们就能够把相邻两个视频流拼接起来，最后生成四个视频作为输入流的全景图，如图8所示。

图8枪型摄像机生成的全景图

3 全景图像中加入枪球联动

在第二部分我们已经得到了场面全景监控图像，接下来在全景图像监控中加入枪球联动系统。如果说全景图像系统是全局性质的，那么球机系统就是局部性的。它们的组合使用不仅能扩大场面监控的视野范围，同时优化了场面监控的细节以及解决了布控死角问题。枪机和球机的联动工作机制，相对于传统的分布式静态监控大大提高了工作效率。

枪球联动系统的准确建立需要球机监控场面和枪机全景监控场面之间的精确坐标转换关系。通过枪机和球机之间的建立的坐标映射关系，可以把枪机全景图像中待观察区域或待观察目标坐标转换到球机坐标系中，使之处于球机图像的中心，并且能根据焦距大小调节图像的放大倍数，以达到场景细节监控的目的。

如图9是枪机和球机的坐标系，Ow,OG,OC分别是球机坐标系、全景图像像素坐标系、枪机系统光心坐标系的原点，点P（xw,yw,zw）是世界坐标系中的任意一点。在实际求解枪机、球机坐标映射关系时，把世界坐标系的原点设在球机的光心处，所以我们的任务就是把枪机全景视频图像中的像素坐标（xG,yG）转换成球机的坐标（α,β）。其中α、β分别是球机坐标系中的垂直高度角和水平方位角[13]。

图9枪球联动系统坐标示意图

因此，有坐标转换：

其中，矩阵M是坐标映射矩阵，d是点P到球机坐标系原点的距离，并且：

像平面坐标系中，像平面到枪机坐标系原点的距离是其焦距f，将空间中的点P映射到像平面，其映射坐标为（xC,yC）。枪机的光学中心是像平面的坐标原点，同时球机坐标系的原点也投影在像平面的坐标原点。根据它们之间有如公式（7）的投影关系：

把公式（7）代入公式（6）得：

像素坐标系与图像坐标系之间（即枪机坐标系）的偏移关系如公式（9）：

把公式（9）代入公式（8），同时引入像素点在x,y方向的单位焦距长度fx，fy对公式的单位进行统一可得到坐标映射矩阵M，结果如公式（10）。其中，cx、cy、fx、fy是通过第二部分的LM算法得到的相机参数。

根据坐标映射矩阵，把枪机系统的全景监控图像和球机系统的局部监控图像有机结合起来，最后实现整个场面的监控优化。由于机场的出入和数据采集有严格的限制要求，后期完成的枪球联动系统的实验没能在机场中实现，所以使用了商场附近的场面监控来完成实验。实验效果如图10，图的右下角属于球机的局部监控图像，可以任意调整位置和大小。

图10基于全景图像的枪球联动实验图

4 结语

本文通过多枪机视频流和球机局部图像进行联动的方式构造了一种全方位的场面监控方式。使用的RANSAC算法、LM参数优化算法有效解决了图像拼接以及枪球坐标投影转换的精确性问题，最终实验表明能够对复杂广阔的场面进行实时高效的监控，具有很强的实用性。但是本文亦存在改进的地方：

（1）由于使用多枪机生成全景图，它们覆盖的场面角度十分广，所以可能在光线不一致的情况下导致全景图中最左边的部分和最右边的部分存在明显的明暗差别。所以后续可以改进图像融合算法，对整个全景图像进行全局优化，使得全景图像明暗变化更加自然。

（2）本文是通过提取场景特征点的方式把多个视频流拼接起来，而好的拼接效果需要这些匹配的特征点尽量在同一平面中，所以本文中的方法不适于室内这种景深明显的环境。

（3）对于场面监控的功能性方面，后期可以在监控系统中加入目标检测和跟踪功能，实现目标的动态监控。