高延鹏+李小平+张晓康+孙艳春

（Mechatronics T & R Institute， Lanzhou Jiaotong University， Lanzhou 730000， China）

摘 要：现在成像设备视角不能直接拍摄超宽照片，集装箱智能大门系统对通过车辆定位后采集多张图片进行识别和检验处理。文章提出基于视频流的集装箱智能大门的全景图像采集方法，主要对车辆定位与全景图像采集、图像拼接方法进行研究并设计，旨在为智能大门系统集装箱箱号识别、箱体残损检验提供全景照片，以进一步优化智能大门系统。

关键词：智能大门；集装箱；全景图；视频流

中图分类号：F253.9 文献标识码：A

Abstract： Container intelligent gate system through which can identify multiple pictures was taken from the vehicle positioning and inspection process. In this paper， based on streaming video intelligent container door panoramic image acquisition method， mainly of vehicle positioning and container panoramic image acquisition and image fusion methods are studied and the program design. The purpose is for container intelligent gate system identification， the photos of the damaged inspection provide full container appearance， to further optimize the intelligent gate system.

Key words： smart door； container； panorama； the video stream

0 引 言

集装箱智能大门[1]作为集装箱中心站与运输车辆交接的门户，其通行的效率以及数据的安全准确是至关重要的。随着技术发展，新技术应用于在集装箱智能大门系统中。系统需对通过车辆定位后采集多张图片进行识别和检验处理，现在成像设备视角不能直接拍摄超宽照片。根据上述情况，本文提出全景图像技术应用在智能大门系统。主要解决由窄视角成像设备获取（具有重叠区域的）多幅图片通过拼接生成超宽视场图像或全景图像[2-3]。集装箱全景图片为智能大门进行后续处理提供基础图片，是一种对集装箱智能大门功能、性能及安全可靠性能提升的一种方法。

目前，图像拼接算法主要分为基于频域的相位相关分析方法以及基于时域的特征匹配算法。相位相关分析法最早由Kuglin[4]等人提出，该方法通过傅里叶变换快速获得两幅图像的平移量，之后Reddy[5]等人实现将相位相关方法扩展到对于存在旋转、缩放的图像配准领域，郑志彬[6]等人提出对于存在平移、旋转、缩放三者作用的图像进行配准拼接。上述方法对于3种变化效果较好，对复杂的智能大门系统速度和效果也会下降。还有学者：张云峰[7]设计了基于DSP的实时图像拼接技术，设计了一套基于DSP经纬仪实时拼接系统实现图像实时拼接，该方法图像快速拼接中以相位相关特点，不适合速度不定的集卡集装箱图像采集。宋戈[8]将多个固定摄像头或单个移动摄像头的内容进行拼接获得更加高分辨率的图像，该方法会大幅图提高系统成本。

集装箱卡车所载箱型和进入车道速度不能确定，所以每帧图像相差也是不能确定。为了降低设备运行成本，又能得到集装箱全景图像。本文对系统结构、车辆定位与图像采集进行设计，然后重点对视频序列全景图像快速获取方法介绍。本文首先，介绍视频序列中以纹理特性相似特性选取关键帧。然后，采用SURF[9]（Speeded Up Robust Features）进行提取柱面投影[10]的匹配特征，并采用基于K-D树的最近邻搜索BBF算法得到特征点之间的匹配关系。采用基于RANSAC方法，以Sampson距离划分局内点和局外点来提高算法的鲁棒性。最后，采用加权平均法对关键帧进行融合。

1 全景图像采集方法概述

集装箱卡车在进入车道口时，集装箱图像采集开始工作，通过5个相机分别抓拍集装箱的左、顶、右、前、后箱的视频流和图像。在这个过程中，摄像机是静止的，而集卡是运动的，运用帧之间纹理特征相邻两帧间的差异选取关键帧，然后进行图像拼接。这样，当集装箱卡车驶离视频区域时，就可以得到最后的集装箱卡车完整图片。视频流全景图像拼接中帧到帧拼接图像方式是采用增量更新的方法，全景图像生成过程中不会造成运动目标的突然消失。首先选取关键帧I■x，y，然后计算当前关键帧与之前接图像間的变换关系。最后拼接到之前的拼接的图像I■x，y结果如图1所示。

集装箱全景图像采集系统主要由网络摄像机、千兆交换机、NVR、红外对射开关、泛光灯、PLC、服务器组成。图像采集服务器根据PLC信号对视频进行提取。网络摄像机作为视频监控系统部分，完成视频的采集、压缩和简单处理功能。网络摄像机通过交换机将数字化的图像数据送到硬盘录像机。经裁剪、比例压缩及数据格式转换后，数据传输于工控机。系统设备安装关系如图2所示。

2 车辆定位与图像采集

2.1 车辆定位与图像采集

当一辆载有集装箱的卡车通过通道的大门时，因为红外触发器的高度小于集装箱上沿的最低高度，所以在卡车前行的过程中会发生遮挡和连通的两种状态，拍摄就是利用这两种状态的变化进行图像和视频流的采集。集装箱的长箱、双箱、短箱也是根据红外对射开关触发情况区分。本节设计中只要A■、A■、A■、A■中间一个发生通断即判断为双箱，这大大提高箱型区分准确率。集装箱图像采集过程如流程图3所示。

当卡车上装载的集装箱为双箱时，在车行进中A■触发器由接通变为遮挡，A■触发器变化接通→遮挡→接通→遮挡。同时后面的A■、A■触发器都被遮挡，则L■触发拍照，L■、L■、L■同时被触发录像。即前面相机触发拍照，左、上、下3个相机触发开始录像。行进过程A■、A■触发器接通，则L■触发拍照，L■、L■、L■同时被触发结束录像。同时根据A■、A■、A■、A■的触发情况判断为双箱。双箱相机控制时机如图4所示。

当卡车上装载的集装箱为长箱时，在车行进中A■触发器由接通变为遮挡，A■触发器变化接通→遮挡。同时后面的A■、A■触发器都被遮挡，则L■触发拍照，L■、L■、L■同时被触发录像。即前面相机触发拍照，左、上、下3个相机触发开始录像。行进过程中行进过程A■、A■触发器接通，则L■触发拍照，L■、L■、L■同时被触发结束录像。同时根据A■、A■、A■、A■的触发情况判断为长箱。长箱相机控制图如双箱。

当卡车上装载的集装箱为单箱时，在车行进中A■触发器由接通变为遮挡，A■触发器变化接通→遮挡→接通。同时后面的A■、A■触发器都被遮挡，则L■触发拍照，

L■、L■、L■同时被触发录像。即前面相机触发拍照，左、上、下3个相机触发开始录像。行进过程中行进过程

A■、A■触发器接通，则L■触发拍照，L■、L■、L■同时被触发结束录像。同时根据A■、A■、A■、A■的触发情况判断为单箱。单箱相机控制时机如图5所示。

2.2 PLC与上位软件控制相机方法

每个车道的千兆路由器与网络摄像机相连：定义拍摄前方的摄像机为L■，拍摄后方的摄像机为L■，拍摄左方的摄像机为L■，拍摄上方的摄像机为L■，拍摄右方的摄像机为L■。对于何时拍照的判断过程是由PLC系统完成。上位软件通过与PLC的协议进行控制相机进行拍照。

定义相机的拍照相机命令为1，相对相机不需要拍照的命令为0；相机录像开始为11，相机结束录像为00。以相机L■、

L■、L■、L■、L■的命令逻辑状态组成4位二进制数据。通过PLC将相机拍照命令发送给全景照片采集服务器。4对红外对射开关，代号分别为：A■、A■、A■、A■。对射开关动作为0或1：当条件为1时触发器接通，反之0时触发器被遮挡。其触发状态标志是逻辑0，接通标志状态是逻辑1；PLC通过红外触发器的逻辑状态来进行集装箱车类型及位置判断。表1为标准车3种情况下，箱号识别PLC与上位软件控制相机通信协议。

3 全景图像拼接

3.1 视频序列关键帧的选取

集装箱卡车通过智能大门时候，摄像机采集到的视频序列的帧之间有重合部分。考虑视频序列纹理特性相似特性选取关键帧[11]。目前描述纹理特征的算法很多，本文考虑使用二阶矩、熵和局部平稳性等3个特征，由此它们构造的纹理特征向量V为：

V=f■，f■，f■ （1）

其中：

f■=∑■■∑■■P■i，j■ （2）

f■为二阶矩阵特征；

f■=∑■■∑■■P■i，jlogP■i，j （3）

f■为熵特征；

f■=∑■■∑■■■P■i，j （4）

f■为局部平稳特征。

假设当前关键帧为i，下一个需要比较的帧编号为j，两个帧之间的相似度如式（5）所示：

di，j=V■-V■≥T （5）

其中：i，ji≠j为视频序列号；T是相似度量的阈值，邻图像的位姿信息的精确度只需满足重合区域大于30%，而通常的采集频率可保证的重合区域为50%。可以看出，两帧相邻越近，其相似度越大，差值di，j越小，而随着帧之间的距离增加，相似度减小、差值逐渐增大。当di，j≥T，选取j帧为关键帧；否则，i继续为当前关键帧，与下一采集到帧继续计算相似度，用于选取下一关键帧。

为了提高图片质量，第一帧、最后一帧均为关键帧。也就是红外对射开关触发开始，采集视频中第一帧；结束触发时不管di，j≥T是否成立，均选取最后关键帧。

3.2 关键帧的特征选取和配准

系统中相机是固定的，在相邻帧之间会有相对较小的几何变换，主要空间变换有刚性、仿射、透视4种模型。根据齐次坐标，用式（6）描述上述关系模型。

■=H■×■=■×■ （6）

其中：x，y，1■和x■，y■，1■分别为相邻两关键帧视图的齐次坐标。图像配准最终目的就是求出这8个参数值。

本文图像采集是集装箱卡车通过车道，红外对射开关给出起止信号，从中选取关键帧。由于车辆基本平稳通过车道，车辆行进中，图像采集范围基本不变，两个相邻关键帧间也会出现透视变换。透视变换矩阵H如式（7）所示：

H■=■ （7）

其中8个参数h■、h■、h■、h■、h■、h■、h■、h■都是未知。所以需要至少4对SURF特征匹配点，设为x■，y■， x■，y■， x■，y■， x■，y■和x■■，y■■， x■■，y■■， x■■，y■■， x■■，y■■，具体估算方法如式（8）所示：

■×■=■ （8）

当确定相邻关键帧之间的几何关系后，本文在两个关键帧中选择前一个作为基准图像，然后将其他非基准图像根据变换模型转换到基准图像的坐标系中。

图像的匹配中，相比SIFT算法，SURF的特征点对光照、尺度、旋转具有不变性，在保证独特性、重复度、鲁棒性的同时，计算速度上有明显优势。因此方法适合需要快速运算的智能大门系统，本论文提取柱面投影后的关键帧的SURF特征点。然后，使用随机抽样一致算法寻找RANSAC两幅图像间的最佳的匹配点，并剔除误匹配点。

3.3 关键帧的融合

当两个帧统一坐标后，本文为了使过度的更加融洽，先从关键帧的公共重叠区域找出最优拼接线，然后使用图像融合技术将它们融合到一起。为防止出现明显缝合线，获得较快处理速度，本论文采用加权平均法对关鍵帧进行融合。选取适当的权值函数，可实现重叠区域平滑过度。

对于最佳缝合线准则主要从颜色和结构两个方面定义。从颜色差异看，两幅图像Fx，y和Gx，y重叠区域做差，得到差值图像D■x，如式（9）：

D■x=Fx，y-Gx，y （9）

结构上，两关键帧Fx，y和Gx，y重叠区域分别在x和y方向上求梯度，并构造梯度差异算子D■x，如式（10）：

D■x=？塄■Fx，y-？塄■Gx，y×？塄■Fx，y-？塄■Gx，y （10）

其中：梯度可通过对图像Fx，y和Gx，y的重叠区域利用Sobel算子S■和S■分别求取垂直和水平方向梯度值，记为？塄■Fx，y、？塄■Fx，y和？塄■Gx，y、？塄■Gx，y。

S■=■ S■=■

整合颜色与结构差异，得到式（11）：

D■x=D■x+D■x （11）

该结果构成一个邻接矩阵。至此缝合线的定义准则准备工作完成。

根据颜色结构整合的式子中，得到差值图像。首先在差值图像中从第一行选择值最小的10个像素点作为起点，从这些起点开始往下传播到最后一行，各自走过一条从上到下的路径。根据这个规则，每个起点都可以生成一条路径，在生成的路径中选择差异最小的一条路径作为最佳缝合线。其具体生成的步骤如下：

（1）选择第一行10个差异最小的像素作为初始生长点。

（2）当缝合线路径生长至第i行时，选择与生长点x，y，相邻下一行x-1，y+1、x，y+1、x+1，y+13个像素点。当前生长点强度与其和最小的作为下一行生长方向。

（3）所有缝合线生长最后一行，从中选择差值强度最小路径作为最佳缝合线。

为了使缝合线过度更加完美，相邻两关键帧Fx，y和Gx，y，在最佳缝合线的基础上，对其基本算法进行改进：两边构造一个缝合线过度带，通过距离加权融合使得其在缝合线处过度得更平滑，主要有以下步骤：

（1）相邻两关键帧Fx，y和Gx，y，分别建立一个二值图像表示初始化权重矩阵T■x，y和T■x，y，对T■x，y缝合线两侧为1和0，同理，T■x，y两侧分别为0和1。

（2）定义距离变换函数Dpx，y，对T■x，y和T■x，y变换，如式（12）。

Dpx，y=mindisp，q （12）

其中：p∈非0像素集、q∈0像素集，距离函数定义为街区距离，如式（13）。

dispx■，y■，qx■，y■=x■-x■+y■-y■ （13）

其中：Dpx，y本质就是，计算初始化权重矩阵中，所有非零像素点到其相邻的最近零像素点的距离，如图6所示：

（3）通过阈值ε∈（0，1]设定平滑过度带大小，分别计算对应图像Fx，y和Gx，y新过度融合权重α■x，y和α■x，y，归一化0～1之间，如式（14）。

■ （14）

（4）最终计算融合两帧图像，如式（15）。

I■=■ （15）

本论文首先融合前两个关键帧，用融合后的图像作为基准图像继续与下一个关键帧配准和融合。

4 实验结果分析与总结

4.1 实验结果分析

根据本文研究，本章为了验证本章算法的性能与可行性，实验程序在CPU为G2120，2G内存的PC机上运行C#算法实现上述算法。选取相邻两关键帧进行SURF特征点提取，两帧图片像素分别为：500×500。如图7所示，检测知左侧图像380个特征点，右侧图像467个特征点；匹配个数有380对；匹配点最大距离0.564785，最小距离0.0664676。

然后利用BBF算法近似搜索两帧特征点，最终搜索到的匹配结果可能会存在的冗余和错误匹配，对粗匹配得到的SURF特征点采用RANSAC进行筛选，特征点匹配项变为23对，如图8所示。

将一侧所有关键帧图像融合后，可以看出通过加权平均数获得景图片无明显拼接痕迹，如图9所示。

4.2 总 结

本文提出集装箱智能大门的全景图像采集，主要对车辆定位与全景图像采集、图像拼接方法进行了研究并对方案进行设计，由实验可知本文提出方法能够得到质量较高的全景图像。当然全景图像拼接技术，也会受天气、光线影响出现错误匹配与拼接，后续应提高智能大門补光问题；系统处理方面，应考虑GPU进一步提高图像采集速度。

参考文献：

[1] 王任祥. 现代港口物流管理[M]. 上海：同济大学出版社，2007.

[2] Ho S， David P. Automatic generation of 360 degree panorama from image sequences[J]. Proceedings of SPIE-The International Society for Optical Engineering， 2008，7073：70731J-70731J-9.

[3] 宋宝森. 全景图像拼接方法研究与实现[D]. 哈尔滨：哈尔滨工程大学（博士学位论文），2012.

[4] Kuglin C D. The phase correlation image alignment method[J]. Proc. intl Conf. cybernetics & Society， 1975（5）：163-165.

[5] Reddy B S， Chatterji B N. An FFT-based technique for translation， rotation， and scale-invariant image registration[J]. IEEE Transactions on Image Processing， 1996，5（8）：1266.

[6] 郑志彬，叶中付. 基于相位相关的图像配准算法[J]. 数据采集与处理，2006，21（4）：444-449.

[7] 张云峰. 基于DSP的实时图像拼接技术[J]. 液晶与显示，2013，28（6）：963-967.

[8] 宋戈. 动态视频拼接技术的研究与实现[D]. 北京：北京化工大学（硕士学位论文），2014.

[9] Bay H， Tuytelaars T， Gool L V. SURF： Speeded Up Robust Features[C] // Computer Vision ECCV， 2006.

[10] 吴子章. 一种基于柱面投影的图像拼接算法研究[J]. 计算机光盘软件与应用，2011（5）：168.

[11] 刘李纬. 基于特征的多路视频实时拼接技术的研究与实现[D]. 北京：北京工业大学（硕士学位论文），2015.