王小红

(青海民族大学)

基于TLD与SIFT的增强现实三维注册方法

王小红

(青海民族大学)

针对目前增强现实三维注册易受复杂环境以及算法复杂度高的影响，提出一种基于TLD与SIFT的增强现实三维注册方法.该方法分为4步：(1)采用TLD目标跟踪算法对目标区域进行跟踪；(2)采用SIFT特征检测算法对跟踪的目标区域进行特征点的提取与匹配；(3)利用特征点的匹配关系计算出三维注册矩阵；(4)根据计算出的三维注册矩阵完成注册，从而完成对现实世界的增强.仿真实验结果表明，当标识可见、不可见以及待注册图像发生旋转变换、尺度变换时，基于TLD与SIFT的增强现实三维注册方法都能成功完成注册，该三维注册方法有效提高了AR系统的实时性、稳定性和鲁棒性.

SIFT；TLD；增强现实；三维注册

0 引言

增强现实(Augmented Reality，AR)是将真实世界和虚拟信息相叠加的一种技术，从而给人以视觉增强的效果.三维注册技术是实现增强现实系统的关键，该技术的好坏直接影响增强现实系统性能的优劣[1].目前主流的三维注册技术主要有基于标识(marker)的注册、基于标识(marker)与自然纹理的注册以及基于自然纹理的注册[2].基于marker的三维注册由于marker实时可见，在现实世界中应用起来非常不便[3].因此，随着今年来机器视觉技术的不断发展，基于自然纹理的三维注册方法已逐渐成为AR技术发展的主流趋势.

目前，增强现实三维注册技术大多数基于自然纹理的注册方法都是基于特征点的跟踪与匹配策略，但这些算法复杂度高且易受复杂环境的影响，使得AR系统三维注册的精确度、实时性相对较差.

Lowe在2004年提出的尺度不变特征变换(Scale Invariant Feature Transform，SIFT)[4]特征检测与匹配算法，相比与一些较成熟的特征检测与匹配算法相比，检测出的特征点具有尺度不变性，而且特征点的提取与匹配精度得到了较大提高[5].目前主流的的目标跟踪算法中，虽然光流法跟踪相对简单、讯速，但持续跟踪会导致误差的积累，而且长时间跟踪会导致跟踪不成功[6].而基于跟踪、检测和学习的TLD(Tracking-Learning-Detection)目标跟踪算法具备很强的学习恢复能力，跟踪结果具有较强的稳定性和鲁棒性[7].

通过以上的分析和研究，该文提出一种基于TLD与SIFT的增强现实三维注册方法.首先采用TLD跟踪对目标区域进行跟踪，并使用TLD算法跟踪、检测和学习的策略来解决持续的跟踪导致误差积累的问题，然后利用SIFT算法对目标区域进行特征点的提取与匹配，最后根据特征点的匹配计算出三维注册矩阵来完成对现实世界的增强.为了提高目标跟踪和特征匹配的速度，该文对采集的图像按照公式(1)进行色彩转换[8]，使得计算维度降低且提高了运算的效率.

I=0.299×R+0.587×G+0.114×B

(1)

1 TLD目标跟踪

TLD目标跟踪算法将目标跟踪分为了跟踪、学习以及检测三个部分.跟踪目标的任务主要由跟踪器完成，对检测到的目标区域进行处理主要由检测器完成，并在此过程中不断的矫正跟踪器跟踪的目标区域，而检测器的错误发现和实时更新主要由学习器来完成，以上三个部分相互制约，相互合作，最后使得能正确、有效的完成对目标区域的跟踪.在此我们需要注意的就是跟踪器中采用的NCC算法去除特征匹配效果较差的特征点的方法.

假设F为大小M1×N1需进行特征匹配的图像，T为大小M2×N2的模板图像，选取的基准点为需进行特征匹配的图像F的左上角，在F中移动模板T后所得位于(m,n)处以及搜索子图的像素分别为T(m,n)和Fij(i+m,j+n).其中，0≤i≤N1-N2，0≤i≤M1-M2.而经典去均值NCC算法为[9]：

(4)

可以看出，相比于传统的目标跟踪算法，在复杂环境下，TLD目标跟踪算法具有更强的实时性和稳定性.

2 SIFT特征检测与匹配

该文主要检测了目标跟踪中目标图形的特征点，并用于后面的匹配.该文采用SIFT特征提取算法进行特征点提取与匹配.SIFT特征检测与匹配分为以下三步.

2.1特征点检测

SIFT特征检测算法主要是在DOG尺度空间下来完成特征点的检测，而且检测出的特征点具有很好的鲁棒性[10-12].图像在(x,y)图像的像素值为用I(x,y)(表示，而且待检测图像的尺度空间用一般用L表示.因此，为了更加准确的定位特征点，需要先利用判断该点是否为伪特征点，同时得到特征点的拟合函数.若不是，那么计算出检测出特征点的法向量并用于特征匹配，使得减少误匹配的特征点.相反则需要删除特征表现较弱的伪特征点.

2.2特征点描述

特征点描述主要是为了能够更加准确的进行特征匹配.假设特征点位于中心，对于梯度运算需要从4个方向进行，设检测窗口为3×3，4个方向的梯度的计算描述用3×3=9点，且每个点有4个方向，因此，方向的信息量为3×3×4=36个.其中，梯度计算公式为：

(5)

(6)

(7)

其中，θi和ri为时间点为i时的检测强度，且λi为检测误差.采用上述方法，提取的特征点如图1所示，不同区域间的特征匹配都将采用图1中提取的特征点[13].

图1 检测方向

2.3特征点匹配

对目标跟踪的区域进行SIFT特征点匹配，首先要保证高质量特征点[14]有足够的数量，且判断依据是：

hi>H

(8)

其中，Hessian值为hi，H=1000[15].在提取特征点后需进行特征匹配[4]，由于噪声、目标移动、运动物体等因素的存在易导致误匹配的特征点[16]，因此，该文后续采用RANSAC算法[17]去除匹配错误的特征点.最后，基于上述的TLD目标跟踪和SIFT特征点提取与匹配结果计算出增强现实三维注册矩阵[18-20]，从而根据计算出的注册矩阵完成对现实世界的增强.

3 实验结果及分析

3.1实验软硬件平台

该文通过一台PC机、一个19寸液晶显示器和一个摄像头进行注册实验.首先在Windows7操作系统下，使用VS平台，通过Vuforia开发库生成的虚拟物体并对画面进行处理，最终将生成的虚拟物体注册后显示在显示器上.具体实验平台见表1.

表1 实验平台

3.2三维注册实验结果及分析

图2所示为初始帧图像，其中注册图形和自然纹理特征都可见，基于TLD与SIFT的增强现实三维注册方法通过对待注册区域的自然纹理处理，并使用注册图形计算三维注册矩阵，从而生成特征模板进行匹配.图3所示为是用在标识可见的情况下进行虚拟物体与真实世界叠加来进行三维注册后的结果，可见该文三维注册方法可以成功完成注册.图4所示为标识不可见时该文三维注册方法的注册结果，图5所示为待注册图像旋转变换时的该文三维注册方法注册的结果，图6所示为待注册图像尺度变换时的该文三维注册方法注册结果.

图2 初始实验场景

图3 标识可见时的注册结果

图4 标识不可见时的注册结果

图5 待注册图像旋转变换时的注册结果

图6 待注册图像尺度变换时的注册结果

综上所述，当标识可见、不可见以及待注册图像发生旋转变换、尺度变换时，基于TLD与SIFT的增强现实三维注册方法都能成功完成注册，因此，该文提出的三维注册方法有效提高了AR系统的稳定性和鲁棒性.

3.3三维注册运算时间及分析

采用基于TLD与SIFT的增强现实三维注册方法和基于TLD与SURF的增强现实三维注册方法进行三维注册，并对三维注册时间进行对比分析，采集计算时间的间隔为100帧，三维注册时间结果见表2.其中，视频的大小为640×480像素，目标区域的移动采用平移、旋转和缩放，并以一般移动速度.

表2 三维注册时间

从表2中可以看出，基于TLD与SIFT的增强现实三维注册方法在系统处于稳定状态时运行时间约为0.185s，相比于基于TLD与SURF的增强现实三维注册方法运行时间提高了约1/3.因此，该文提出的三维注册方法有效的提高了AR系统的运行速度.

4 总结与展望

针对目前增强现实三维注册易受复杂环境以及算法复杂度高的影响，该文提出一种基于TLD与SIFT的增强现实三维注册方法.首先采用TLD目标跟踪算法对目标区域进行跟踪，并采用SIFT特征检测算法对跟踪的目标区域进行特征点的提取与匹配，然后利用特征点的匹配关系计算出三维注册矩阵，最后根据计算出的三维注册矩阵完成注册，从而完成对现实世界的增强.仿真实验结果表明，当标识可见、不可见以及待注册图像发生旋转变换、尺度变换时，基于TLD与SIFT的增强现实三维注册方法都能成功完成注册，因此，该文提出的三维注册方法有效提高了AR系统的实时性、稳定性和鲁棒性.

[1] Billinghurst M,Clark A,Lee G.A Survey of Augmented Reality[J].Foundations and Trends in Human-Computer Interaction,2015,8(2-3):73-272.

[2] 李扬,孙超,张明敏,等.跟踪与匹配并行的增强现实注册方法[J].中国图象图形学报,2011,16(4):680-685.

[3] 饶玲珊,林寅,杨旭波,等.增强现实游戏的场景重建和运动物体跟踪技术[J].计算机工程与应用,2012,48(9):198-200.

[4] Lowe D G,Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[5] 欧阳能钧,李伟彤,韦蔚,等.A Comparison of SIFT,PCA-SIFT and SURF[J].遥感技术与应用,2013,28(1):58-64.

[6] 吕旸,王涌天,陈靖,等.基于SIFT+KLT混合特征的增强现实跟踪定位[C]// 2009中国计算机大会.2009.

[7] 李炎,尹东.基于TLD的增强现实跟踪注册方法[J].系统仿真学报,2014,26(9):2062-2067.

[8] Gonzalez R C,Wintz P.Digital image processing[M].电子工业出版社,2007.

[9] 邢藏菊,温兰兰,何苏勤.TLD视频目标跟踪器快速匹配的研究[J].小型微型计算机系统,2015,36(5):1113-1116.

[10] 梁群仙,许宏丽.一种基于点云数据的快速曲面重构方法[J].计算机工程,2013,39(2):237-240.

[11] 蔺海峰,马宇峰,宋涛.基于SIFT特征目标跟踪算法研究[J].Acta Automatica Sinica,2010,36(8):1204-1208.

[12] 单好民.一种改进的压缩感知信号重建算法在WSN中的研究[J].计算机测量与控制,2015,23(11):3766-3768.

[13] 阳建中,陈慧蓉,胡俐蕊.基于SIFT特征检测和三次插值样条的快速曲面重构算法[J].计算机测量与控制,2017,25(1):185-187.

[14] 周见光,石刚,马小虎.增强现实系统中的虚拟交互方法[J].计算机工程,2012,38(1):251-252.

[15] 张志禹,刘耀阳.基于SURF与光流法的增强现实跟踪注册[J].计算机工程与应用,2015,51(3):166-170.

[16] 赵新灿,张燕.基于图形处理器的增强现实自然纹理注册算法[J].南京理工大学学报：自然科学版,2011,35(4):448-452.

[17] Rabin J,Delon J,Gousseau Y,et al.MAC-RANSAC:a robust algorithm for the recognition of multiple objects[J].Proceedings Ofdptv,2010:051.

[18] 管涛,李利军,段利亚,等.基于标识与平面间单应性矩阵的虚实注册方法[J].华中科技大学学报：自然科学版，2006,34(10):55-57.

[19] Zhang G F.Camera Tracking Based on Structure and Motion Recovery for Augmented Video[J].Chinese Journal of Computers,2006,29(12):2104-2111.

[20] Trucco E,Verri A.Introductory Techniques for 3-D Computer Vision[M]// Introductory techniques for 3-D computer vision /.Prentice Hall,1998:370 - 376.

Abstract:In view of the fact that the augmented reality 3D registration is vulnerable to the complex environment and the complexity of the algorithm,a new method of 3D registration of augmented reality based on TLD and SIFT is proposed.The method consists of 4 steps:1) the TLD target tracking algorithm to track the target area; 2) using the SIFT feature detection algorithm to extract the feature points of object tracking and matching; 3) using the matching relationship between feature points to calculate the 3D registration matrix; 4) to complete the registration according to the matrix calculation thus,in order to enhance the reality of the world.The simulation results show that,when the logo visible and invisible as well as to register image rotation,scale transformation,TLD and SIFT 3D registration method based on can successfully complete the registration,the registration method is proposed in this paper.The AR system's real-time,stability and robustness are effectively improved.

Keywords:SIFT；TLD；Augmented Reality；3D Registration

(责任编辑：季春阳)

3DRegistrationMethodforAugmentedRealityBasedonTLDandSIFT

WangXiaohong

(QinghaiNationalitiesUniversity)

TP391.9

A

1000-5617(2017)02-0071-04

2017-03-25