技术宅

现在随着AR技术的兴起，越来越多的AR小应用可以实现在手机上运行和展示。这些AR应用可以在用户眼前展示栩栩如生的视频场景，这种应用的核心技术是AR的识别跟踪技术。那么什么是AR识别跟踪技术？它又是怎样实现跟踪的？

AR应用 让人身临其境的魔幻程序

最近流行的AR游戏《Pokemon Go》让很多人知道AR的魅力，而随着AR技术的发展，这种借助手机实现的AR营销APP也越来越多。比如近日百度将人工智能引入AR技术，与欧莱雅中国全新上市淳萃（Ultra DOUX）一起为消费者带来了一个既有虚拟又有现实的场景体现。消费者只需要打开手机百度APP扫描淳萃产品瓶身、明信片或身边的公交站牌，即可在手机上看到美丽的樱花雨、神奇的牛油果等淳萃自然元素，第一时间与美妙的自然环境进行零距离接触（图1）。

这个显示特效和《Pokemon Go》中的游戏场景很类似，是一种典型的AR特效在手机上的应用。

它不同于传统平面图片展示，AR可以结合产品本身，在手机上呈现各种动感元素。

AR场景幕后功臣——识别跟踪技术

AR可以让用户在扫描特定的图片、二维码时展现相应的视频场景，那么这种特效是怎么实现的？我们以上述示例为例，先来了解一下AR程序运行流程是怎么样的。

首先用户需要启动手机百度APP，开启手机摄像头对准特定的宣传画扫描，接着手机屏幕上就会出现和相应产品对应的自然元素组成的视频。这个看似简单的视频展现，背后其实就是一个典型AR场景的再现。

对于这类AR效果的实现，首先制作方要对扫描的实物进行建模。如扫描的是某款品牌的化妆品，我们就需要先扫描该物品的3D模型，并对其进行关键帧标定，比如瓶盖、瓶身某位置。然后根据这个化妆品成分元素分别准备对应的视频数据，如多汁的柠檬、漂浮的薄荷、开放的橙花等这些动态视频数据（图2）。

这样当用户使用手机百度APP扫描淳萃产品瓶身（前面标定的关键帧），系统就会去寻找AR场景中与之最接近的关键帧，根据关键帧上的特征点（如化妆品中的樱花成分），然后利用特定的算法找到AR场景中对应的视频，并将其展现在用户的手机画面中（图3）。

在这个AR应用中技术核心就是识别跟踪技术，AR应用首先要识别标示物（如上述特定产品瓶身上的品牌标记），然后进行跟踪（跟踪用户扫描到的产品标记），接着就在用户手机上展示对应的视频场景。

那么AR应用是怎么对标示物进行识别？AR应用是通过“特征点”进行识别的，就象我们在日常生活中要辨认某个人，一般是通过某人脸上的特性标记如眼睛大、额头高、鼻梁长来辨认。不过图像在电子设备中的状态是一堆数字，AR应用是通过什么来进行识别？

对于图像的识别一般有FAST、Harris、SIFT、SURF、MSER法等，以FAST特征点检测法为例。电子识别设备（如电脑、手机）要识别一张图片，就需要先对图片进行特征点的标记。FAST特征点检测是首先在图片上选取一个标记点，假设记为P点，将其在图片上的亮度值记为L。然后设定一个阈值Y（用来表示亮度递增或递减），以P为圆心、3个像素长度为半径做一个圆，这个圆的边界上有16个像素（图4）。

如果测试后16个像素的像素值都比P+Q大（或都比P-Q小），那么就认为P点就是一个特征点，否则按此方法继续查找符合条件的关键点。这样通过标记图片上的关键点，电子识别设备就可以“认识”有特定的标记点的图片了。

当然只知道检测到特征点还不行，如果要判断两张图片是否是同一张图片，识别设备还要判断两张图片的特征点是否一致。判断的标准则是借助特征点描述因子，特征点描述因子是对特征点的描述，比如在日常生活中我们通常用身材相对高大、讲话带卷舌音这种语句来表述北方人的特征。同样的对于电子识别设备来说，如果在比较两张图片时，发现它们有同样的特征描述（比如在某个相同区域如左上角有一个亮度一致的特征点），那么就会提取目标图和源图进行比对。如果几个特征点都一致，那么就判断这两张图片是特征一样的图片。

因为AR视频是由多帧图片组成，在完成一幅图片的比对后还要对视频帧的其他图片进行跟踪比对。特征跟踪有两种方式，一种是对视频流中的每一帧图像进行特征点匹配;另一种则在第一幅图像中，寻找可能的特征位置，然后在后续的图像中搜索它们的对应位置。这样完成对识别图片的跟踪后，AR应用就会在用户的手机上显现对应的视频画面了。

回到上述的实例，手机百度AR应用会先将淳萃产品瓶身图片进行特征点的识别，并存储在应用中。这样当用户使用手机扫描到符合特征点的瓶身图片，手机百度AR应用会将当前图片和存储的图片进行比对，如果是一致的图片，手机百度AR应用就会将特定的视频展示在用户手机屏幕上。当然AR应用还会进行跟踪，如扫描不同的区域显示不同的视频，或者在扫描其他瓶身时快速识别并显示预置的视频到用户手机上。