马德宜，陈一民，黄 晨，叶聪丽

（1.上海大学计算机学院，上海 200072；2.三峡大学理学院，湖北 宜昌 443002)

增强现实中抛掷动作速度的预测＊

马德宜1，2，陈一民1，黄 晨1，叶聪丽1

（1.上海大学计算机学院，上海 200072；2.三峡大学理学院，湖北 宜昌 443002)

结合增强现实抛掷虚拟物体的应用背景，提出一种新的预测抛掷动作速度的方法。首先利用二维三次多项式函数分段循环拟合抛掷动作的速度曲线，并运用函数的最大值分析出抛掷动作速度的大小；然后利用三维三次多项式函数分段循环拟合抛掷动作的轨迹曲线，由抛掷动作速度曲线的切线方向即可确定抛掷动作速度的方向。实验结果表明，可更为容易地获得抛掷动作速度的大小和方向，克服了对每个空间位置坐标准确性的依赖；同时，能保证虚拟物体和真实物体的运动轨迹一致性，有利于提高增强现实应用的运动一致性。

抛掷；速度；预测；增强现实

1 引言

在增强现实中研究抛掷动作的文献并不多，但分别对增强现实和运动轨迹进行研究的成果很丰硕。增强现实的三个显著特点：虚实融合、实时交互和三维注册，自从Azuma R T教授［1］在1997年总结之后，已广泛应用在教育教学、医疗仿真、游戏娱乐等领域。如何有效地设置移动路径，一直是增强现实中路径操作研究的难点之一。一般来说，增强现实领域中路径操作的常规方法可以分为三类：一是使用第三方商业模型软件；二是使用扩展的商业软件；三是使用实体用户界面（TUI)。相对于这些传统的方法，Ha T［2］进一步研究了如何使用实体用户界面，具体来说，就是让用户可以直接根据手的移动来设置移动路径。其算法所花费的时间和产生的误差与传统算法差不多，但控制点数量显著减少。

运动轨迹在视频分析、机器人和落石轨迹等领域都有深入研究。对于视频分析，可以在利用传统算法提取不同特征信息的基础上，采用蚁群聚类的多模板融合边缘检测方法获取目标边界［3］。也可以对其进行策略分析，比如采用场线检查的方法高效地提取出真实世界的轨迹，并给出六种典型的足球进攻模式［4］。对于键球机器人，可以根据视觉原理测量毽球位置，得到毽球机器人斜抛毽球的轨迹预测［5］。也可以分析机器人路径规划问题［6］。还可以分析如何减少机器人抛掷物体击中指定目标的误差的方法［7］。对于落石轨迹，可以研究边坡工程中崩塌落石运动模式及轨迹［8］，也可以根据动力学和硬度回跳系数及相互关系来估计方程参数对落石轨迹的影响［9］。

在增强现实中研究抛掷动作主要与抓取虚拟物体有关。由于虚拟物体的运动轨迹是基于真实世界物体的轨迹，Steinicke F等［10］给出虚拟现实中抓取并抛掷虚拟物体的理论和应用框架，同时采用吸附的方法保证能击中目标。对虚拟抛掷动作的识别，可以根据目标的时间序列和模板世界序列的相似性匹配得到［11］。对于增强现实中抛掷动作的识别，可以根据抛掷动作的速度变化规律，以滑动平均算法为基础［12，13］，利用模糊集实现抛掷动作的判断和起抛速度的计算。但是，它们对抛掷动作的起抛速度仅仅根据两点或三点均值得到，不能保证起抛速度的精确度。

为了更加精确地求出起抛速度的大小和方向，本文提出一种新的预测抛掷动作速度的方法，采用循环二维三次函数拟合速度曲线求取起抛速度的大小，采用循环三维三次函数拟合轨迹曲线求取起抛速度的方向。

2 抛掷动作速度的预测算法推导

对于线性模型可用式（1)表示：

其中，获取参数向量β的估计的基本方法及其原理是，参数向量β的真值应该使误差向量e＝y－Xβ达到最小，也就是Q（β)＝‖e‖2＝（y－Xβ)T（y－Xβ)达到最小。这样，将参数向量β的估计转换为求Q（β)的最小值。由Q（β)＝yTy－2yTXβ＋βTXTXβ，可利用矩阵微商公式（2)得到：

3 抛掷动作速度大小的预测

抛掷动作是增强现实系统中的一个重要交互方式。如何让虚拟物体抛掷之后的运动轨迹与真实物体的运动轨迹一致，是增强现实中虚实运动一致性的研究热点之一。在不考虑空气阻力时，虚拟物体抛掷出去之后的运动轨迹完全由其抛掷时虚拟物体速度的大小和方向所确定。因此，快速准确地获取抛掷动作速度的大小和方向是虚实运动一致性的关键。一般是根据抛掷动作前，虚拟物体的运动轨迹来预测虚拟物体抛掷时速度的大小和方向。获取虚拟物体的运动轨迹有两种方式，一是基于视频，二是基于传感器。基于视频获取物体的运动轨迹在视频监控中已有很深入的研究，比如跟踪人的轨迹等。同样，也可以用视频来跟踪抓取虚拟物体真实的手来获取虚拟物体的运动轨迹。基于传感器获取虚拟物体的运动轨迹，其原理是将磁力传感器固定在数据手套上，用数据手套抓取虚拟物体。基于视频获取运动轨迹的方式虽然设备简单，但稳定性不足，容易受到光照和遮挡等影响。基于磁力传感器虽然需要借助复杂的设备，但在对实时性要求极高的增强现实应用中，可以实时准确地获取数据手套的运动轨迹。因此，本文选择磁力传感器来获取虚拟物体的运动轨迹。

磁力传感器实时获取虚拟物体运动轨迹的数据包括空间的位置坐标、虚拟物体的朝向以及每个坐标位置的时间。磁力跟踪测量的抛掷动作的运动轨迹如图1所示。根据虚拟物体空间的位置坐标及每个坐标位置的时间，可以得到虚拟物体相应的速度变化图。根据抛掷动作运动轨迹可以得出速度变化图，如图2所示。

根据真实物体抛掷动作运动轨迹，可知虚拟物体抛掷动作的速度变化图是一个由慢到快、再由快到慢的过程。文献［12］中指出抛掷速度是抛掷动作速度变化图的最大值。理想情况下，只有一个最大值，而且速度变化图是一个严格的由慢到快、再由快到慢的过程。但实际情况是，不管是利用磁力传感器获取虚拟物体运动轨迹，还是利用视频分析获取运动轨迹，都不可避免地存在误差。这样最大值往往不容易确定，而且速度变化图仅仅总体上是一个由慢到快、再由快到慢的过程，但细节上并非如此。文献［12］采取的方式是滤波，即选择相邻两个点求平均将速度变化图进行第一次滤波，在求速度大小时再对相邻三个点求平均。虽然这样可以很简单地获取抛掷动作速度的大小，但对相邻点求平均不能保证抛掷动作速度大小的精确度。

Figure 1 Trajectory original figure图1 轨迹原始图

抛掷物体的速度变化图虽然细节不是严格地由慢到快、再由快到慢，但由于总体上是这样一个趋势，因此本文采用分段循环曲线拟合，根据曲线的最大值得出抛掷动作速度的大小，可以很好地克服测量所带来的误差，提高获取抛掷动作速度大小的精确度。

具体来说，其步骤如下：

步骤1循环选取10个点，用三次多项式函数进行拟合。

步骤2依次求出每个三次多项式函数在相应区间的最大值。

步骤3当最大值连续三个都变小时，选取前面那个最大值作为抛掷速度的大小；否则，转到步骤1。

由于三次多项式函数只有四个参数，10对点足以拟合一条曲线。理论上，只要大于三对点就可以拟合出一条三次多项式函数。实验证明，10对点对拟合曲线的精度以及所花费的时间达到最优，因此本文循环选择10对点来拟合三次多项式函数。循环选择10对点，简单地说，第一次选择（x1，y1)，（x2，y2)，…，（x10，y10)；第二次选择 （x2，y2)，（x3，y3)，…，（x11，y11)；依次类推。二维空间三次多项式函数为：

假设选择某组速度曲线图中的点对为 （x1，y1)，…，（x10，y10)，记：

根据线性模型参数估计理论，由最优估计为：

其中，X是10行4列，Y是10行1列，β是4行1列。

通过10对点拟合出三次多项式函数之后，求出在相应区间上的最大值。理想情况，这些最大值也应该是先递增后递减。实际情况仍然存在一些误差，但实践证明如果最大值连续三个变小，即可确定前面那个最大值即为抛掷速度的大小。

4 抛掷动作速度方向的预测

抛掷动作速度的大小可以根据速度曲线获取，但其方向还不能确定。速度的方向是抛掷虚拟物体出手瞬间运动轨迹的切线方向。文献［12］是根据抛掷虚拟物体出手瞬间位置及前一时刻位置的连线作为抛掷速度的方向。由于测量虚拟物体的位置存在误差，直接取两点的连线会存在很大的偏差。为了克服测量误差的影响，本文先用空间曲线拟合抛掷动作的轨迹，然后将抛掷瞬间空间曲线的切线作为抛掷动作速度的方向。

三维空间曲线的类型有无穷多种，比二维空间曲线复杂得多。Steinicke F等［10］对抛掷虚拟物体的位置方程采用下面的动力学方程：

经过多次实验，本文选择如下模型。抛掷动作空间曲线的参数方程设为：

此模型为多项式函数，比Steinicke F等［10］采用的非线性方程组简单，而且参数可以很容易得到，有利于增强现实系统的实时性。与在二维空间拟合速度大小一样，循环选择10个空间位置点来进行三维拟合。假设已选择某组位置点为 （x1，y1，z1)，…，（x10，y10，z10)，对应的参数t取值为1，2，…，10。

由线型模型的最优估计可得：

5 实验结果

对于抛掷动作原始图，采取文献［12］中的方法获得的速度滤波图如图3所示，采取本文提出的循环二维三次函数曲线拟合的图如图4所示。

Figure 3 Filtering velocity variations figure in reference［12］图3 文献［12］滤波速度变化图

Figure 4 Fit curve velocity variations figure in this paper图4 本文曲线拟合速度变化图

由图3和图4对比可以看出，文献［12］中采用两、三点求均值的方法可以对原始速度变化图进行一定的平滑，但精度无法保证；而本文采用的循环二维三次曲线拟合，从整体上给出了速度变化的趋势，有效地克服了测量误差的影响。进一步根据曲线拟合的最大值，即可得出抛掷速度的最大值。为了求出抛掷速度的方向，对原始轨迹进行循环三维三次曲线拟合。抛掷速度最大值时刻对应的空间位置即为抛掷出手的瞬间，三维三次曲线函数在此点的切线方向即为抛掷速度的方向。原始轨迹循环三维三次曲线拟合如图5所示，抛掷出手的瞬间切线图如图6所示。

Figure 5 Fit trajectory curve figure图5 轨迹拟合图

Figure 6 Velocity tangent figure图6 速度切线图

速度的大小是二维空间，而速度的方向需要对三维空间轨迹进行拟合。三维空间的曲线比二维空间的复杂得多，在多次实验的基础上，本文选择循环三维三次曲线拟合达到了预期效果。文献［12］中采用抛掷瞬间和前一点两点的连线作为抛掷速度的方向，依赖于每个轨迹位置测量的准确性。从图5和图6看出，三维三次曲线拟合整体上与抛掷轨迹一致，抛掷瞬间的切线方向与抛掷速度的方向一致，克服了对每个轨迹位置坐标的依赖性。

另外，文献［10］中仅仅给出抛掷虚拟物体的理论和应用框架，并没有给出抛掷速度大小具体获取的方法。文献［11］仅仅根据目标的时间序列和模板世界序列的相似性匹配，对是否为抛掷动作进行识别，也没有给出抛掷速度大小具体获取的方法。文献［12，13］详细讨论了如何用粗糙集识别抛掷动作以及如果根据两点或三点均值得到起抛速度，但不能保证起抛速度的精确度。本文在此基础上根据曲线拟合，可以实时获取起抛速度的大小和方向，并且保证了其精确度。下面进一步给出增强现实的仿真结果。

通过前面的讨论，可以根据磁力跟踪实时记录抛掷的空间位置坐标及时间间隔，进而获得抛掷速度的大小和方向。在此基础上，本文将此思想运用到增强现实系统，用数据手套抓取虚拟物体，数据手套上绑定磁力跟踪。磁力跟踪在数据手套的背面，图7中没有显示出来。图7a是虚实融合的效果，图7b是光透头盔显示器的效果。在增强现实系统中，将虚拟物体抛掷后，可以实时看见虚拟物体在空间的运动轨迹。

Figure 7 Screenshot of throwing virtual object in augmented reality图7 增强现实抛掷虚拟物体系统截图

6 结束语

抛掷动作是增强现实应用中一种常见的虚实交互方式，抛掷物体的轨迹完全由抛掷速度的大小和方向决定。为了克服已有文献对起抛速度精度无法保证的缺点，本文提出了一种新的预测抛掷动作速度的方法，采用三次函数拟合速度曲线获取速度的大小，采用三维三次函数拟合轨迹曲线获取速度的方向。实验结果表明，曲线拟合有效地保证了起抛速度计算的精确度，完成了抛掷动作虚实物体轨迹的无缝融合。增强现实系统仿真结果进一步说明抛掷速度大小和方向获取的可行性。

［1］ Azuma R T.A survey of augmented reality［J］.Teleoperators and Virtual Environments，1997，6（4)：355-385.

［2］ Ha T，Billinghurst M，Woo W.An interactive 3Dmovement path manipulation method in an augmented reality environment［J］.Interacting with Computers，2012，24（1)：10-24.

［3］ Wang Zhao-fu，Chen Shao-wei，Ji Yu-bo.Method of motion trajectory detection based on sequence images［J］.Journal of Liaoning Shihua University，2010，30（30)：82-85.（in Chinese)

［4］ Niu Zhen-xing，Gao Xin-bo，Tian Qi.Tactic analysis based on real-world ball trajectory in soccer video［J］.Pattern Rec-ognition，2012，45（5)：1937-1947.

［5］ Zhao Liang，Man Yong-kui，Hu Jing-xin，et al.Track prediction of projectile motion in shuttlecock robot［J］.Control Engineering of China，2009（S4)：122-124.（in Chinese)

［6］ Fang H C，Ong S K，Nee A Y C.Interactive robot trajectory planning and simulation using augmented reality［J］.Robotics and Computer-integrated Manufacturing，2012，28（2)：227-237.

［7］ Kato N，Nakamura T.Adaptive control for a throwing motion of a 2DOF robot［C］∥Proc of AMC’96-MIE，1996：203-207.

［8］ Su Sheng-zhong.Motion mode calculation and analysis on rock falls in slope engineering investigation［J］.Journal of Engineering Geology，2011，19（4)：577-581.（in Chinese)

［9］ Asteriou P，Saroglou H，Tsiambaos G.Geotechnical and kinematic parameters affecting the coefficients of restitution for rock fall analysis［J］.International Journal of Rock Mechanics ＆ Mining Sciences，2012，54：103-113.

［10］ Steinicke F，Hinrichs K.Grab-and-throw metaphor：Adapting desktop-based interaction paradigms to virtual reality［C］∥Proc of the IEEE Symposium 3DUser Interfaces，2006：83-86.

［11］ Huang Dong－jin，Wang Chao，Ding You-dong，et al.Virtual throwing action recognition based on time series data mining in an augmented reality system［C］∥Proc of International Conference on Audio Language and Image Processing（ICALIP)，2010：955-959.

［12］ Yao Zheng-wei，Chen Yi-min，Chen Ming.Real-time recognition of throwing action in augmented reality system［J］.Computer Engineering and Applications，2010，46（5)：205-207.（in Chinese)

［13］ Yao Zheng-wei，Chen Yi-min，Chen Ming，et al.Throwing recognition based on magnetic tracking and trajectory computation in an augmented reality system［C］∥Proc of Pacific-Asia Workshop on Computational Intelligence and Industrial Application，2008：543-547.

附中文参考文献：

［3］ 王照付，陈少巍，纪玉波.基于序列图像的运动轨迹检测方法［J］.辽宁石油化工大学学报，2010，30（30)：82-85.

［5］ 赵亮，满永奎，胡景新，等.斜抛轨迹预估算法在毽球机器人中的应用［J］.控制工程，2009（S4)：122-124.

［8］ 苏胜忠.边坡工程勘察中崩塌落石运动模式及轨迹分析［J］.工程地质学报，2011，19（4)：577-581.

［12］ 姚争为，陈一民，陈明.增强现实系统中的抛掷动作实时识别［J］.计算机工程与应用，2012，46（5)：205-207.

Throwing velocity prediction on augmented reality

MA De-yi1，2，CHEN Yi-min1，HUANG Chen1，YE Cong-li1
（1.Department of Computer，Shanghai University，Shanghai 200072；2.College of Science，China Three Gorges University，Yichang 443002，China)

The new prediction model for the throwing velocity is established based on application background of throwing virtual object on augmented reality.Firstly，two dimensions three order polynomial functions are used to fit velocity curve of throwing，and the maximum value of function is used to obtain the value of throwing velocity.Secondly，three dimensions three order polynomial functions are used to fit trajectory curve of throwing，the tangential direction is the throwing direction based on the moment of throwing.Simulation results show the value and direction of throwing is acquired easily through the new method，overcome the accurate dependency of each position in space.Besides，it can ensure the coherence of trajectory between virtual and real objects，which provides a benefit to the coherence of trajectory of augmented reality application.

throwing；velocity；prediction；augmented reality

TP391.4

A

10.3969/j.issn.1007-130X.2014.04.026

2012-10-15；

2013-01-07

国家科技支撑计划课题（2006BAK13B10)；上海市重点学科建设基金资助项目（J50103)；上海市科委国际合作基金资助项目（12510708400)；上海市科委资助项目（11511503400)

通讯地址：200072上海市上海大学计算机学院

Address：Department of Computer，Shanghai University，Shanghai 200072，P.R.China

1007-130X（2014)04-0725-06

马德宜（1981-)，男，湖北钟祥人，博士生，CCF会员（E200028680G)，研究方向为增强现实、多媒体技术和算法。E-mail：mdysave＠163.com

MA De-yi，born in 1981，PhD candidate，CCF member（E200028680G)，his research interests include augmented reality，multimedia technology，and algorithm.

陈一民（1961-)，男，上海人，博士，教授，CCF会员（05780S)，研究方向为增强现实、多媒体技术和机器人控制技术。E-mail：ymchen＠shu.edu.cn

CHEN Yi-min，born in 1961，PhD，professor，CCF member（05780S)，his research interests include augmented reality，multimedia technology，and robot control.

黄晨（1986-)，男，江苏常州人，博士生，CCF会员（05780S)，研究方向为增强现 实 和 多 媒 体 技 术。E-mail：channinghuang＠shu.edu.cn

HUANG Chen，born in 1986，PhD candidate，CCF member（05780S)，his research interests include augmented reality，and multimedia technology.

叶聪丽（1988-)，女，浙江温州人，硕士生，研究方向为增强现实和多媒体技术。E-mail：ycl＿1988＠126.com

YE Cong-li，born in 1988，MS candidate，her research interests include augmented reality，and multimedia technology.