张晓初 曹民

摘 要：增强现实系统在虚拟信息叠加过程中，待注册区域会出现被遮挡情况，针对该问题，提出一种基于FAST特征检测与TLD目标跟踪的混合增强现实系统三维注册方法。首先采用TLD算法对待注册目标区域进行跟踪，再运用FAST算法从指定目标区域中提取相应特征值，然后基于不同特征值之间的联系构建注册矩阵，利用叠加矩阵得来的信息实现增强现实的效果。根据实验可知，混合三维注册方法在光照变化、遮挡以及旋转变换的情况下，可将虚拟信息快速、准确地叠加到待注册区域，有效提高AR系统实时性、稳定性和鲁棒性。

关键词：FAST;TLD;增强现实;注册

DOI：10. 11907/rjdk. 182143

中图分类号：TP319文献标识码：A文章编号：1672-7800（2019）002-0115-04

Abstract： In the superposition process of virtual information， the area to be registered will be obscured， and a three dimensional registration method of hybrid augmented reality system based on FAST feature detection and TLD target tracking is proposed. First of all， the target area of registration is followed by TLD algorithm， and the tracking target area is extracted and matched by FAST algorithm， then the registration matrix is calculated using the matching relationship between the feature points; finally， the virtual information is added to the registration matrix to enhance the real world. The experimental results show that the hybrid 3D registration method can quickly and accurately superpose the virtual information to the area to be registered under the conditions of illumination change， occlusion and rotation transformation， which can effectively improve the real-timeness， stability and robustness of the AR system.

Key Words： FAST;TLD;augmented reality;registration

0 引言

AR三維技术包含多个方面：自然特征、标示、自然纹理及特殊标示模式等。但基于标识的注册方法在虚拟信息叠加过程中，易出现待注册区域被遮挡的情况[1]。随着新一代人工智能的发展，在当今AR领域，采用自然特征实现注册已成为主要方向，不仅可以满足当前多重功能化应用需求，而且摆脱了传统地域及时空局限性，成为AR技术发展的主流趋势，但是基于自然纹理特征的跟踪匹配注册策略在进行特征值提取及特征值位置跟踪时，时耗较大，严重影响AR系统性能 [2]。

现阶段主流检测算法包含SIFT、FAST、SURF 3种方法。FAST（features from accelerated segment test）检测方法运用较多，主要是由于其具有较明显的实时监测优势，能满足增强现实系统实时性要求[3]。在实现位置跟踪检测时，一般采用光流法，它具有简单、快速、高效等诸多设计优势，但该算法是基于跟踪特征点坐标的方式，在实践中存在长时间跟踪定位失败的弊端。而TLD跟踪检测方法是一种融合检测、跟踪及在线学习的检测模式，在实践中具有较强的鲁棒特性[4]。

综上所述，本文提出一种基于FAST特征检测与TLD目标跟踪的混合三维注册方法。首先采用TLD算法跟踪注册区域，然后采用FAST算法对跟踪区域进行特征点检测与匹配，求出三维注册矩阵并完成注册。除此之外，需要对输入的视频图像按照公式（1）进行色彩转换[6]，可最大程度确定特定目标数值位置、特征匹配，并进行在线检测，降低计算维度、提高运算效率。

1 TLD目标跟踪

学习、跟踪与检测是TLD目标检测方法的3个子任务。这3个子任务都有单独的处理部分，每个任务一起运行[7]。跟踪器的图像匹配利用传统NCC算法滤除匹配效果差的像素点。假设待处理模板图像为T（大小为[M2×][N2]），待匹配图像为F（大小为[M1×N1]）。基准点选取整个适配图像的左上位置，通过移动模板T获取相应的搜索子图，模板位于[（m，n）]处的像素分别为[Fij（i+m，j+n）]（其中[0iM1-M2]，[0iN1-N2]）及[T（m，n）]。对于NCC算法而言，发现匹配和模板图像中存在的所有特征值就是该方法核心所在[8]。经典去均值NCC算法为：

通过上述公式推理过程可知，TLD算法与传统跟踪检测方法相比，具有更强的稳定性、实时性，并且在较复杂的视频环境中，能准确检测出目标并进行稳定跟踪[9]。

2 FAST特征点检测与匹配

本文采用FAST算法提取与匹配注册跟踪目标图像特征点。

2.1 FAST特征检测

FAST算法在提取特征值过程中，融入了FAST信息[10]。同时，FAST算法在描述目标区域特征点时，采用BRIEF对其优化，从而使图形对噪音的敏感度降低，有效改观旋转时产生的流动性。P作为像素聚焦中心点，基于FAST算法对其进行分割检测。假如目标区域为圆形，半径用r表示，在该区域内存在n个像素Ik，其中各像素间彼此联系，则可通过公式（5）对像素点p是否可为角点作出有效判别。

其中，[Ip]代表p像素点在图像上呈现的灰度数值;[Ip]指图像中任何一个像素点在图像上呈现的灰度数值[11]。因此可将尺度特性引入至图形金字塔中，通过灰度质心方法消除方向信息。

2.2 FAST特征点匹配

对待注册区域与计算机模板进行FAST特征匹配，需保证待注册区域有足够数量的高质量特征点，判断标准为[hi>H]。其中，Hessian值为[hi]，阈值H=1 000，且将提取的特征与上一帧特征进行匹配。

在匹配过程中，受外部多重因素综合影响，容易导致精度降低。为提升匹配精确度，采用RANSAC算法可以有效改善上述弊端[12]。

完成匹配后可计算出AR系统注册矩阵，并将虚拟信息叠加至待注册区域以完成对现实世界的增强。

3 增强现实系统混合三维注册方法

增强现实系统在虚拟信息的叠加过程中，待注册区域肯定会出现被遮挡的情况，导致无法进行目标区域跟踪及特征检测，从而无法成功注册。通过观察发现，在系统目标跟踪及特征检测的整个过程中，在待注册区域的周围有一些固定区域，可为增强现实系统三维注册稳定性提供支持[13]。因此，本文混合三维注册方法的具体步骤包括：①采用标识注册方法进行注册;②若注册不成功，利用周边稳定特征点进行三维注册。

3.1 初始三维注册矩阵求取

图1给出了显示器、注册图形及摄像机的三重坐标系，具体指示如下所示。其中[XP（u，v）]表示显示器上任何一个点的有效投影坐标。

投影点[XP（u，v）]与待注册图形上任意一点[P（X，Y，Z）]之间坐标变换关系为[15]：

其中，f是摄像机焦距，尺度因子为[sx]、[sy]，图像重心坐标为[u0]、[v0]。通过图1的坐标及投影变换关系可知：

其中，三维注册矩阵采用符号[Tm]表示[[xc，yc]]为节点X在屏幕图像中呈现的理想坐标数值，主要用[[Xm，Ym，Zm]]表示该数值在待注册图形中的有效值，C为摄像头内部参数。因此，通过获取摄像头参数矩阵C，再采用标识注册方法进行注册，即可得到初始三维注册矩阵[Tm']。

3.2 初始注册分析

提取特殊性质图像特征点后，利用初始矩阵[Tm']计算该特征点在注册图形坐标系中的坐标并保存，再建立多视角特征模板。若注册区域是平面的，则将提取的特征点随机仿射变换作为该特征点邻域内图像新特征模板[16 ]，仿射变换方程为：

其中，m经过变换后的新坐标为n，t为二维平移向量，n0为仿射变换后邻域中心坐标，可将A矩阵分解为：

其中，[S=diag[λ1，λ2]]为缩放矩阵，[Rθ]与[Rφ]分别为[θ]和[φ]的旋转[17]。其中参数范围[θ]为±50°，[φ]为±80°，t为     ±2px，模板间相关度计算方法为：

其中，[c（I1，I2）]可衡量两者间不相似程度，[I1（x，y）]、[I2（x，y）]分别为两個比较模板。

3.3 特征模板匹配

该步骤建立在AR场景中没有图形待注册的基础上，具体过程包括3个部分：

Step1：获取现实图像，并进行特征点提取。

Step2：对提取到的特征点[（xc，yc）]，使用系统已存储的特征模板与特征点[（xc，yc）]所在的注册图形块进行运算。

Step3：选出较大相关度的特征点为当前特殊性质图像特征对应的点，则[（Xm，Ym，Zm）]为该匹配特征坐标[18]。正相关度计算式为：

i]分别为图像块像素值和模板像素值。

3.4 混合三维注册矩阵

模板匹配后得到候选特征点集合[（Xci，Xmi）] （1≤i≤匹配特征点对数），再依次计算注册矩阵，具体注册方法为：

Step1：从[（Xci，Xmi）]中随机选取4对非共线特征点。

Step2：通过坐标系和投影变换的关系，计算出的矩阵并作为备用[19]。

Step3：用特征点集合和备用矩阵计算每一对匹配特征点对应的[Xci]以及[λCTmXmi]间的距离[di]，并计算出距离数最多的[Tm]，从而生成摄像头目标头像区域矩阵值，完成对现实世界的增强。

4 实验结果与分析

4.1 实验平台搭建

基于FAST特征检测与TLD目标跟踪的混合三维注册方法具体的实验平台如表1所示。

4.2 三维注册实验结果

对本文提出的混合三维注册方法进行实验，得到的实验结果如图2-图4所示。图2为通过摄像头获取的初始头像效果。在此基础上，利用光照条件，实现对真实世界及虚拟物体之间的三维注册，完成相应的功能叠加，具体结果如图3所示。图4为在对光照进行遮挡时的效果图。通过对图像旋转变换实现注册，具体结果见图5。综上可知，本文提出的方法在光照变化及遮挡时均可实现对AR系统的功能注册，具有普适性。

基于上述分析可知，无论标示是否可见，图像是否进行尺度或特征旋转变换，均可通过AR系统注册。

4.3 三维注册实验结果分析

分别采用本文注册方法与SURF注册方法进行注册并对结果及AR系统三维注册运算时间进行比对分析。对待注册区域进行平移、旋转和缩放等操作，以100帧为一次平均计算间隔，注册运算时间对比结果如表2所示。

从表2可以看出，本文采用的研究方法具有较高的运行效率，其中仅用0.18s即完成三维注册，相对于传统的SURF方法[20]，效率提升近1/3。所以采用TLE目标与FAST特征检测相互融合的方法，对于实现三维注册信息具有较强的推动作用，可以提升AR系统各种指标性能，如鲁棒性及实时呈现性。

5 结语

本文提出了一种准确、快速的增强现实混合三维注册方法，该注册方法通过采用FAST特征检测与TLD目标跟踪相结合的跟踪注册策略，利用TLD算法对目标区域进行准确、有效跟踪，采用FAST算法保证在视角、尺度缩放、亮度及旋转等情况下注册成功率及运算效率。实验结果表明，本文三维注册方法在待注册位置发生光照变化、遮挡以及旋转变换时，均能成功完成注册。

参考文献：

[1] BILLINGHURST M，CLARK A，LEE G. A survey of augmented reality[J]. Foundations and Trends in Human-Computer Interaction， 2015， 8（2-3）：73-272.

[2] 饶玲珊，林寅，杨旭波，等. 增强现实游戏的场景重建和运动物体跟踪技术[J]. 计算机工程与应用， 2012， 48（9）：198-200.

[3] 李扬，孙超，张明敏，等. 跟踪与匹配并行的增强现实注册方法[J]. 中国图象图形学报，2011，16（4）：680-685.

[4] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[5] 欧阳能钧，李伟彤，韦蔚，等. Comparison of SIFT， PCA-SIFT and SURF[J]. 遥感技术与应用， 2013， 28（1）：58-64.

[6] 吕旸，王涌天，陈靖，等. 基于SIFT+KLT混合特征的增强现实跟踪定位[C]. 2009中国计算机大会，2009.

[7] 王小红. 基于TLD与SIFT的增强现实三维注册方法[J]. 哈尔滨师范大学：自然科学学报， 2017， 33（2）：71-74.

[8] 李炎， 尹东. 基于TLD的增强现实跟踪注册方法[J]. 系统仿真学报， 2014， 26（9）：2062-2067.

[9] 邢藏菊， 温兰兰， 何苏勤. TLD视频目标跟踪器快速匹配的研究[J]. 小型微型计算机系统， 2015， 36（5）：1113-1116.

[10] ROSTEN E， DRUMMOND T. Machine learning for high speed corner detection[C]. European Conference on Computer Vision， 2006：430-443.

[11] CALONDER M， LEPETIT V， STRECHA C. et al. Brief： binary robust independent elementary features[C]. European Conference on Computer Vision， 2010：778-792.

[12] ROSIN P L. Measuring corner properties [J].Computer Vision and Image Understanding， 1999，73（2）：291-307.

[13] 周見光， 石刚， 马小虎. 增强现实系统中的虚拟交互方法[J]. 计算机工程， 2012， 38（1）：251-252.

[14] 张志禹， 刘耀阳. 基于SURF与光流法的增强现实跟踪注册[J]. 计算机工程与应用， 2015， 51（3）：166-170.

[15] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）：91-110.

[16] 顾庆传， 姜娜. 基于FAST特征点检测的混合虚实注册方法[J]. 哈尔滨师范大学：自然科学学报， 2017， 33（2）：58-62.

[17] RABIN J， DELON J， GOUSSEAU Y， et al. MAC-RANSAC： a robust algorithm for the recognition of multiple objects[J]. Proceedings of DPTV， 2010：51.

[18] 管涛， 李利军， 段利亚，等. 基于标识与平面间单应性矩阵的虚实注册方法[J]. 华中科技大学学报：自然科学版， 2006， 34（10）：55-57.

[19] ZHANG G F. Camera tracking based on structure and motion recovery for augmented video[J]. Chinese Journal of Computers， 2006， 29（12）：2104-2111.

[20] TRUCCO E， VERRI A. Introductory techniques for 3-D computer vision [M]. Englewood Cliffs： Prentice Hall， 1998.

（责任编辑：江 艳）