武俊， 郭捷， 邱卫东， 徐鹏， 郭曼， 张菡

(上海交通大学电子信息与电气工程学院，上海200240)

0 引言

图像匹配在众多视觉应用中是一个关键技术，本文通过摄像头监控的视频流进行对特定目标的管控，最终也需要进行关键帧的图像匹配，而匹配的效果直接影响到后续的分析处理的效果。特定目标的识别属于静态的图像匹配，以图像的特征点提取以及最小距离计算作为主要方法，寻找特定目标和给定场景的两幅图像中，同一场景点投影到特定目标图像中的像素间的对应关系。Moravec采用角点算子来进行立体视觉匹配的实现，以此为基础，Harris等人对这种角点算子进行了改进，其角点检测算法具有旋转不变和缩放不变等多种优良特征，因此广泛被应用于多种图像匹配算法中，然而它对视角、照明、尺度变化较为敏感，没有较强的抗噪声能力[1]。之后David Lowe等人提出了具有尺度、视角、仿射、旋转、光照不变性，且更加稳定的SIFT(Scale invariant Feature Transform)特征算子[2]，其匹配点多而且稳定的特点对于复杂环境下目标的识别也较为有利，该算子已经广泛应用于三维目标识别[3]、地图生成[4]和末制导图像匹配[5]等领域。针对不同应用和场景，SIFT算法也被不断的优化和改进且衍生出多种不同的改进算法[6－12]。本文利用SIFT算法对监控视频中的特定目标进行识别和管控，不但降低了人工成本和人工检测的不确定性，极大解放了人力劳动，而且提高了对摄像头的利用率，可以真正做到对安全关键区域的特定目标进行24小时的实时监控和管理。

本文首先使用混合高斯背景建模进行场景识别，当场景中的情况满足了需要匹配的条件，如场景中目标无管控人员在周围管控之后，采用SIFT算法提取特定目标的特征点，然后进行特征点筛选及匹配，最后完成对特定目标的识别，并实现联动报警，以此对特定目标达到实时管控保护的目的。该方法在大量实验中证明了在特定场景下的可行性，且达到了较好的识别效果。

1 SIFT特征提取算法

SIFT算法通过在尺度空间进行特征检测，并确定关键点的位置以及关键点所处的尺度，之后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对方向和尺度的无关性。从而得到具有多种优良特质的SIFT算子[2]。

1.1 尺度空间理论

尺度空间的生成是为了模拟图像数据的多尺度特征，高斯卷积核是尺度变换的唯一线性核实现，以下公式(1)为一副二维图像的尺度空间定义:

式(1)中，G(X，Y，σ)为尺度可变高斯函数，(x，y)是空间坐标，σ是尺度坐标。图像的平滑程度由σ的大小决定，图像的概貌特征由大尺度来对应，而图像的细节特征由小尺度对应[2]。

具有尺度无关性的稳定特征点的提取，需要在图像的DoG(Difference of Gaussian)尺度空间和二维平面空间中同时检测出局部极值点。DoG算子的定义如下:

其中，用k个高斯卷积核分别与二维图像I(x，y)卷积，得到k幅具有不同尺度的图像L(x，y，kσ)。最后将这k幅图像中相邻的两幅两两相减，得到具有不同尺度的高斯差分图像D(x，y，σ)。

图1 高斯模糊图像和差分图像

在实际计算时，使用每组中相邻上下两层图像相减，得到高斯差分图像，如图1所示，进行极值检测。

1.2 检测尺度空间极值点

如图2所示，所有的采样点都要与其相邻的3层差分图像中所有的相邻点比较，来找到尺度空间的极值点，中间的检测点和它同尺度的8个相邻点以及上下9x2个总共26个点都要进行比较，若其在DoG尺度空间的三层(本层以及相邻两层)都是极值时，就定为图像在该尺度下的一个特征点。

由于DoG算子会产生较强的边缘效应，为了提高其抗噪声能力、增强其匹配稳定性，需要对三维二次函数进行拟合从而精准地对关键点的位置和尺度进行确定以达到亚像素的精度，并且同时将稳定度不高的边缘响应点以及对比度低的关键点进行排除。

图2 相邻3层差分图像的极值点检测

1.3 为关键点定义方向参数

特征算子的旋转不变性来源于关键点的方向参数，这些方向参数通过关键点邻域像素的梯度方向的分布特性来指定。

式(3)和式(4)分别为(x，y)梯度的模值公式和方向公式。每个关键点所在的尺度为公式中L的尺度。

选择以关键点为核心的邻域窗口，对这些窗口内进行采样，并采用直方图统计的方法计算其中像素的梯度方向，以10°为一柱，共有36柱，从而梯度直方图的范围是0°～360°。离中心点越近的邻域对直方图的贡献也相应增加，反之则减少。Lowe论文[1]中还提到将直方图利用高斯函数进行平滑处理的方式，来减少由于突变而造成的影响。

1.4 生成关键点描述子

为了确保生成描述符的旋转不变性和缩放不变性，将关键点邻域绕着关键点的方向旋转，且按关键的尺度进行缩放。再以关键点为中心取16x16的区域，并再分割为4x4个子区域，在所有子区域上对8个方向的梯度直方图进行计算，绘制出每个梯度方向上的累加值，就能获得一个种子点。由此一共生成了16个种子点，每个关键点就形成了一个128维的SIFT特征向量。为了进一步去除光照变化造成的影响，则可进一步归一化特征向量的长度。使生成的描述符具有光照不变性。

2 特定目标识别管控算法

特定目标识别管控算法的流程如下图3所示。

图3 特定目标识别管控算法流程图

2.1 场景内运动目标检测

要对设定的特定目标进行管控，首先要对受到摄像头监控的环境区域进行分析，判断需要管控的目标是否处于无人监管的场景。之后再进行对关键帧的下一步目标识别匹配处理。

目前背景建模主要的研究方法是对背景进行统计更新，常用的方法包括单高斯模型、混合高斯模型以及对他们的改进算法[13－15]。混合高斯背景建模是背景建模领域最常用的构建算法。它是步态识别、视频压缩、行为分析等领域的重要研究内容[16－19]。

在本文中，通过对视频流中的监控区域场景进行混合高斯背景建模，即背景图像的每一个像素分别用K个高斯分布构成的混合高斯模型来建模:

式(5)～(9)中，K的取值在3～5，在混合高斯模型中作为该高斯分布的个数ꎻXt表示在t时刻的像素值，本文中取其灰度值，一般情况下由RGB三色分量组成ꎻωi，t表示混合高斯模型中第i个高斯分布的权系数在t时刻的估计值ꎻmi，t表示混合高斯模型中的第i个高斯分布在时刻t的均值向量ꎻΣi，t表示在时刻t混合高斯模型中的第i个高斯分布的协方差矩阵ꎻh表示高斯分布中的概率密度函数。

建模之后对混合高斯模型的参数进行更新。将混合高斯模型中的高斯分布的均值向量和权系数初始化为0，将一个较大初始值V0赋予协方差。对视频监控区域在t时刻的图像帧中的每个像素值Xt以及其所对应的混合高斯模型进行匹配检验，若像素值Xt与混合高斯模型中第i个高斯分布Gi均值的距离低于其标准差的2.5倍，则定义该高斯分布Gi与像素值Xt匹配。

若检验出至少有一个高斯分布与像素值Xt在该像素混合高斯模型中匹配，则混合高斯模型的参数按以下规则进行更新:

1)对不匹配的高斯分布，其均值m和协方差矩阵Σ保持不变ꎻ

2)匹配的高斯分布Gi的均值m和协方差矩阵Σ按公式(10)(11)(12)更新:

其中:

a为参数估计的学习速率。

K个高斯混合分布根据w/｜©｜的值从大到小进行排序，一般采用前B个高斯分布建立背景模型，作为背景像素的最佳描述。式(13)中，T为预定的阈值(0.5≤ T≤1)ꎻ

从t时刻开始检验每一个像素值Xt与式(13)得到的B个高斯分布的匹配关系，如果与其中之一匹配，则该像素点为背景点，否则为前景。

计算监控区域图像帧中关键区域中的前景背景比例，来判断场景中是否存在需要进行管控的情况。

如下图4所示:

图4 判定场景情况流程图

其中判定的阈值根据实际监控场景情况设定。

判定场景内情况后进行下一步识别。

2.2 特定目标特征提取

本文的特定目标识别方法使用的是图像匹配的方法，因此首先需要对识别的特定目标物体进行图像提取，获得目标的图像后进行SIFT特征提取。并在之后的特征匹配和识别处理中使用该目标的SIFT特征。以U盘为例，对于图中的特定目标进行了SIFT特征提取，如下图5所示。

图5 特定目标的SIFT特征提取

2.3 特征匹配和识别处理

在每一个SIFT特征位置上，会有一个确定的特征尺度和方向。在提取获得SIFT特征后采用FLANN(Fast Library for Approximate Nearest Neighbors)方法进行匹配[20]，FLANN是一个能在高维空间中进行快速的最近邻域搜索的算法。使用该算法能有效提高搜索速率。

通过RANSAC(Random Sample Consensus)算法[21]减少错误匹配，该算法的基本假设是:数据由“局内点”组成，数据的分布可以用一些模型参数来解释。不能适应该模型的数据为“局外点”。除此之外的数据属于噪声。利用该算法去除明显错误的匹配点，从而确定准确的仿射模型。流程如图6所示。

图6 特定目标匹配及识别流程图

在余下匹配的关键点对中，当匹配对的数量大于一个根据实际情况图像情况定义的阈值之后，就可以认为找到了需要匹配的特定目标。

3 实验结果

通过使用上章所述的特定物品识别管控方法，对一些特定重要物品如平板电脑、手机、移动硬盘、U盘等进行了实验。实验使用python 2.7.3、opencv 2.4.8、numpy 1.8.2等开发软件在windows7系统环境下对算法进行了实现。

实验环境对监控摄像头的清晰度有一定的要求，本文中的摄像头使用的是HIKVISION海康威视的监控摄像头，型号为DS－2CD2032D－I，帧率25fps(1920 × 1080)。

3.1 场景内目标检测

实验中利用混合高斯背景建模对场景中是否存在运动目标进行检测，如图7～图8所示:

图7 场景中检测到运动目标

图8 场景中未检测到运动目标

3.2 SIFT特征提取及匹配

在实际实验过程中，不同特定物体由于大小，几何形状，视频流中的截图和原目标图像目标的差异，所获得的SIFT特征点数量有所不同，如表1所示:

表1 部分特定目标平均特征点及识别率

SIFT特征及部分匹配识别效果如下图9－图12所示:

图9 平板电脑识别效果图

图10 手机识别效果图

图11 移动硬盘识别效果图

图12 U盘识别效果图

由上述实验可以得知，本文中提出的特定目标识别管控方法对于类似小型移动存储设备的识别效果较好，能有效的在摄像头监控区域中识别出特定目标。

4 结语

本文将图像匹配领域的目标匹配识别技术应用于通过视频监控来进行特定物品的安全识别管控上，采用混合高斯背景建模的方法来判断场景能人物监管情况，并在各类小型存储设备图像中应用了SIFT算法，有效提取到了设备的图像特征，为这些特定小型目标的识别管理提供了一种方法。对于不同的目标物体，这种基于SIFT应用的识别匹配方法所匹配的特征点数量有一定差异，识别效果一定程度上受到目标本身的形状特征影响，如何降低目标本身的特征对于匹配算法的影响，进一步提高识别率是下一步的研究重点。

[1] LOWE D G.Distinctive Image Features from Scale－Invariant Keypoints[J].Int′l J.Computer Vision，2004，2(60):91－110.

[2] LOWE D G.Object Recognition from Local Scale－Invariant Features[C]//International Conference on Computer Vision，1999:1150－1157.

[3] HELMER S，LOWE D G.Object Recognition with Many Local Feature[C]//Workshop on Generative Model Based Vision 2004(GMBV)，2004.

[4] STEPHEN S， LOWE D G，LITTLE J J.Vision－based Global Localization and Mapping for Mobile Robots[J].IEEE Transactions on Robotics， 2005，21(3):364－375.

[5] 邸男，李桂菊，魏雅娟.采用SIFT的末制导图像匹配技术[J].红外与激光工程，2011，40(8):1590－1593

[6] 杨新锋，滕书华，夏东.基于空间迭代的SIFT特征图像匹配算法[J].红外与激光工程.2013，42(12):3497－3501.

[7] 纪华，吴元昊，孙宏海，等.结合全局信息的SIFT特征匹配算法[J].光学 精密工程，2009，17(2):440－444.

[8] 郑永斌，黄新生，丰松江.SIFT和旋转不变LBP相结合的图像匹配算法[J].计算机辅助设计与图形学学报，2010，22(2):287－292.

[9] BASTANLAR Y，TEMIZEL A，YARDIMCIY.Improved SIFT Matching for Image Pairswith Scale Difference[J].Electronics Letters， 2010， 46(5):346－U4867.

[10] 张静，桑红石.基于初始尺度变换的SIFT匹配算法[J].红外与毫米波学报，2014，40(8):178－182

[11] 张洁玉，朱近，夏德深.基于SIFT特征点匹配的应刷品图像检测方法[J].江南大学学报，2007，12(6):850－854.

[12] 汤井田，王凯，肖嘉莹.基于SIFT特征检测的医学显微图像自动拼接[J].计算机工程与应用，2007，43(35):243－244.

[13] STAUFFER C，GRIMSONW E L.Adaptive Background Mixture Models for Real－Time Tracking[C]//Proceedings of 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(Cat.No PR00149)，IEEE Comput Soc，1999.

[14] HAN Yan－xiang， ZHANG Zhi－sheng， CHEN fang， etal.An Efficient Approach for Shadow Detection Based on Gaussian Mixture Model[J].Journal of Central South University of Technology，2014，21(4):1385－1395.

[15] ELGAMMAL A， HARWOOD D， Davis L S.Non－parametric Model for Background Subtraction[J].European Conf Computer Vision，2000，2:751－767.

[16] 王永中，梁颜，潘泉，等.基于自适应混合高斯背景模型的时空背景建模[J].自动化学报，2009，35(4):371－378.

[17] APEWOKIN S，VALENTINE B，CHOIJ，etal.Real－Time A-daptive Background Modeling for Multicore Embedded Systems.Springer Journal of Signal Processing Systems， 2011，62(1):65－76

[18] ZHANG Jing， GAOWei， LIU An－an， etal.Modeling Approach of the Video Semantic Events Based on Motion Trajectories[J].Electronic Measurement Technology，2013，36(9):31－40.

[19] STAUFFER C，GRIMSONW E L.Learning Patterns of Activity Using Real－Time Tracking[J].IEEE Transactions 0n Pattern Analysis＆Machine Intelligence，2000，22(8):747－757.

[20] HuangSONG－ling， HAO Kuan－sheng， ZHAOWei.New Improved FLANN Approach for Dynamic Modeling of Sensors[C].//International Conference on Modelling，Identification and Control，2008.

[21] XU M，LU J.Distributed RANSAC for the Robust Estimation of Three－dimensional Reconstruction[J].IET Comput Vis，2012，4(6):324－333.