余晓毅 宋涛 卫排锋 马爱萍

摘  要：针对传统光流法图像特征缺失、边界及遮挡等处容易导致目标跟踪质量降低或丢失的问题，提出一种半稠密光流法实现图像特征的稳定跟踪。首先计算出图像中像素梯度变化较大的像素区域;其次利用时变图像灰度的时空梯度函数来计算像素的速度矢量，进而实现像素区域的跟踪;最后将状态向量作为剔除跟踪失败的依据，保留跟踪质量优良的像素区域。结果表明，该算法能有效地提高图像特征跟踪能力，保证图像中重要信息不丢失，同时保证运算速率。

关键词：光流法;半稠密;图像处理;特征跟踪

中图分类号：TP391     文献标识码：A

文章编号：2096-1472（2021）-04-22-04

Abstract： Traditional optical flow method tends to cause poor quality or loss of target tracking in areas of image feature missing， boundary and occlusion. In view of this problem， this paper proposes a semi-dense optical flow method to achieve stable tracking of image features. First， pixel area with great gradient changes in the image is calculated. Secondly， pixel velocity vector is calculated by spatiotemporal gradient function of time-varying image gray in order to realize pixel area tracking. Finally， state vector is used as a basis for removing tracking failure and pixel area with good tracking quality is retained. Results show that the proposed algorithm can effectively improve image feature tracking ability and ensure important information in the image and calculation rate.

Keywords： optical flow method; semi-dense; image processing; feature tracking

1   引言（Introduction）

图像匹配作为计算机视觉的基础算法十分重要，传统的图像匹配主要分为两类：一类是基于特征点的方法[1]，另一类是基于灰度不变假设[2]。基于特征点的图像匹配方法主要有SIFT[3-4]、SURF[5]以及高效的ORB[6-7]特征提取算法。特征点法总体计算量大，耗时长。基于灰度不变假设的图像匹配方法主要以光流法为主。目前主要的光流法可以分为两类：一类是以Lucas-Kanade（LK）[8]光流法为代表的稀疏光流法，另一类是以Horn-Schunck（HS）[9]光流法为代表的稠密光流法。由于LK光流法中只对特征点进行追踪，丢掉图像中大量的有用信息，容易导致特征不足[10]。HS光流法主要以整幅图像作为特征跟踪的依据，存在计算量较大、耗时较长等问题。

针对光流法中存在的问题，本文提出一种半稠密光流法的图像跟踪匹配算法。根据图像中的梯度变化，选取梯度值较大区域作为光流法跟踪的目标，保留跟踪质量优良的像素区域。该算法相较于LK光流法能有效地提高特征跟踪能力，保证图像中重要信息不丢失，同时提高运算速率。

2  半稠密光流法原理（Principle of semi-dense optical flow method）

2.1   半稠密光流算法流程

光流法是一种提取速度快、性能良好的算法。但是目前主流的光流法均存在一定缺陷。LK光流法能快速实现特征提取及跟踪，但是只提取了图像的特征點，而舍弃了图像中其他重要的信息，导致LK光流法获得的数据在后续的处理中只能获得稀疏性质的结果。HS光流法需要对整幅图像进行光流法处理，耗费计算资源，同时需要耗费大量时间。

本文提出的半稠密光流法的图像跟踪匹配算法能在最大程度保留图像信息的同时提高运算速率，减少运算时间，是一种快速、准确、稳定的图像匹配算法，流程如图1所示。

2.2   半稠密区域选取

半稠密区域选取主要以灰度梯度的变化作为选取依据，将灰度变化较大的区域选取出来作为特征区域。具体实现流程如下：

（1）首先遍历源图像灰度图中的各个像素，剔除遍历像素中位置处于边缘10像素范围以内的灰度点。

（2）构造一个二维向量，用于存储选取的每个像素周围相邻像素间的灰度变化值。其中每个像素周围灰度变化值由公式（1）计算获得：

其中表示原图灰度，表示梯度向量，表示像素坐标。

（3）设置阈值，判断灰度梯度向量的二范数是否大于阈值。当梯度向量二范数大于阈值时，保留特征区域，作为光流法跟踪的特征区域;反之剔除该区域，计算下一区域。

2.3   光流算法原理

在输入的数据中，我们可以认为相邻帧之间的图像是存在对应关系的，根据这些对应关系，我们可以计算出帧间的运动信息，从而实现对图像特征的追踪。光流法主要取决于三个条件：相邻帧图像间灰度不变假设、帧间图像时间连续性假设以及空间一致性假设。假设为图像点在时刻的图像灰度，经过时间像素点移动位移为，那么此时的灰度值为。根据泰勒公式将其展开可以得到：

由于光流法是基于灰度不變假设，因此得到灰度关系为：

所以得到的约束方程。

由于其基于灰度不变原理，因此当相机运动过快时，会导致灰度变化较大，特征点跟踪丢失。所以引入高斯金字塔分层来改进光流法，采用由粗到细的匹配策略来对光流进行估计。高斯金字塔模型如图2所示。

假设同一尺度下的两张图像的灰度分别为和。选取图像的一点，那么在图像中存在追踪点，其中为像素点的帧速。选定一个大小为和的矩形窗口，将像素点帧速的最小化函数定义为：

根据图2构造的迭代金字塔模型，通过降采样的迭代跟踪实现最小化函数的求值。

3 实验结果及分析（Experimental results and analysis）

为了验证本文半稠密光流法的有效性，主要使用标准数据集中图片，分别采用ORB特征点法和本文算法、LK光流法和本文算法在图像信息提取量与耗时上进行对比分析。根据实验如图3所示。

其中图3（a）、图3（c）、图3（e）表示三组图像分别采用ORB特征匹配的结果，图3（b）、图3（d）、图3（f）分别表示采用半稠密光流法实现图像跟踪结果。通过三组图像匹配实验结果可以看出，ORB特征点法虽然能进行图像匹配，但是只能保存特征点的信息，无法保存图像信息。同时我们也可以看出，ORB特征点匹配存在大量的误匹配点。而本文算法结果可以看出，图像中包含了大量有用信息，保证了图像信息最大化地保留，同时也保证了图像特征的稳定高效跟踪。

在以上三组图像跟踪实验中，提取ORB特征点法与本文算法的数据如表1所示。根据表1分析可知：采用本文算法进行特征跟踪的数目是ORB特征点法检测数目的几十倍以上，证明本文算法能很好地保留图像信息。同时可以看出，本文算法在计算每组图像每一个特征区域时耗时分别为0.1624 ms、0.193 ms、0.175 ms，ORB特征点法在计算每组图像每一个特征点时耗时分别为0.74 ms、0.78 ms、0.74 ms。可见本文算法在运行速度上远远快于ORB特征点法。

将半稠密光流法与LK光流法进行图像匹配效果对比，结果如图4所示。

其中图4（a）、图4（c）、图4（e）分别表示LK光流法实现图像跟踪结果，图4（b）、图4（d）、图4（f）分别表示半稠密光流法实现图像跟踪结果。通过三组图像匹配实验结果可以看出，LK光流法能较好地实现特征跟踪，但是只能提取图像中的特征点，无法保留图像中有用的信息。而本文算法结果可以看出，图像中包含了大量有用信息，保证了图像信息最大化地保留，同时也保证了图像特征的稳定高效跟踪。在以上三组图像跟踪实验中，提取LK光流法与本文算法数据如表2所示。

根据表2分析可知：采用本文算法进行特征跟踪的数目是LK光流法检测数目的几倍以上，证明本文算法能很好地保留图像信息。采用本文算法进行特征跟踪时，图像特征丢失率均处于较低水准，证明本文算法相较于LK光流法具有更好的稳定性和更高的跟踪质量。根据表格分析耗时情况可以看出，根据图像对光流跟踪总耗时和检测特征点数目可计算LK光流法三组平均每一个特征点时耗时分别为0.256 ms、0.1066 ms、0.135 ms。本文算法在部分场景下运算速度高于LK光流法，在其他场景下运算速度同LK光流法也不相上下。

综上分析可知：本文算法整体性能优异，能在保证运算速率的前提下，充分提取图像中的有用信息，同时实现稳定的特征跟踪。

4   结论（Conclusion）

采用LK光流法进行特征跟踪时，图像中大量有用信息都被丢失，容易导致后续处理过程中图像信息不足。同时特征跟踪稳定性较差，容易造成特征丢失。采用ORB特征点算法进行特征匹配时不仅会丢失大量图像信息，同时由于要计算特征描述子，需要耗费大量的时间。本文针对以上问题提出了半稠密光流法的图像跟踪匹配算法，该算法将LK光流法中FAST角点检测替换为图像灰度梯度检测，通过对梯度较大的图像区域实现光流法跟踪，能有效地保留图像中的有用信息，同时提高图像中特征区域的匹配质量，保证运算速率。通过与ORB特征点、LK光流法的对比实验，我们可以得出：该算法能有效提高特征跟踪能力，保证图像中重要信息不丢失，同时保证算法的运算速率以及稳定性。

参考文献（References）

[1] LIU Y， CAO J Z， XU Z H， et al. Improvement of image matching algorithm based on gray correlation[J]. Journal of Applied Optics， 2007， 11（1）：68-73.

[2] ZHONG W B， NING X B， WEI C J. A fingerprint matching algorithm based on relative topological relationship among minutiae[C]. International Conference on Neural Networks and Signal Processing. IEEE， 2008：225-228.

[3] LOWE D G. Object recognition from local scale-invariant features[C]. Proceedings of the Seventh IEEE International Conference on Computer Vision. IEEE， 1999：1-8.

[4] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）：91-110.

[5] BAY H， TUYTELAARS T， GOOL L V. SURF： Speeded up robust features[C]. European Conference on Computer Vision. Springer-Verlag， 2006：404-417.

[6] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF[C]. 2011 International Conference on Computer Vision. IEEE， 2012：2564-2571.

[7] 曾庆化，陈艳，王云舒，等.一种基于ORB的快速大视角图像匹配算法[J].控制与决策，2017，32（12）：2233-2239.

[8] LUCAS B D， KANADE T. An iterative image registration technique with an application to stereo vision[C]. Proceedings of the 7th International Joint Conference on Artificial Intelligence. Morgan Kaufmann， 1981：121-130.

[9] BRUHN A， WEICKERT J， SCHNORR C. Lucas/kanade meets horn/schunck： Combining local and global optic flow methods[J]. International Journal of Computer Vision， 2005， 61（3）：211-231.

[10] 卢胜男，李小和.结合双向光流约束的特征点匹配车辆跟踪方法[J].交通运输系统工程与信息，2017，17（4）：76-82.

作者简介：

余晓毅（1977-），男，硕士，讲师.研究领域：图像处理，机器学习.

宋  涛（1987-），男，博士，副教授.研究領域：人体姿态识别，图像三维重建.

卫排锋（1974-），女，本科，副教授.研究领域：信号分析，数据处理.

马爱萍（1978-），女，本科，副教授.研究领域：大数据，人工智能.