李 琪，杨文浩，侯亚丽，王向东，李 华



短道速滑运动中的轨迹建模

李 琪1,2，杨文浩3，侯亚丽4，王向东4，李 华1,2

(1. 中国科学院计算技术研究所，北京 100190；2.中国科学院大学，北京 100049； 3. 吉林大学，吉林 长春 130012；4. 国家体育总局体育科学研究所，北京 100061)

为探究在短道速滑比赛视频中检测、跟踪多个运动员目标并重建运动轨迹的问题，针对目前的技术难以保证在遮挡频繁和位置交错的复杂运动视频中完整地跟踪各个目标并恢复其运动轨迹，提出了一套完整的算法流程，能够快速并准确地检测、跟踪运动员目标并对其运动轨迹进行建模。进一步地，提出了一种基于三次B-样条曲线的轨迹重建算法，利用B-样条曲线的非均匀性和连续性，可以在缺失部分跟踪结果的情况下完整地拟合各个目标的光滑运动轨迹。实验表明，该算法可以检测、跟踪多个运动员目标并重建其运动轨迹，所得结果可进一步用于实际的技战术分析中。

短道速滑；检测与跟踪；B-样条曲线；轨迹建模

1 背景简介

本文探究短道速滑运动中对多名运动员进行目标检测、跟踪与对运动轨迹进行建模的问题。在短道速滑比赛中，从一个高处的边界线视角设置摄像机，即可获得整个冰场的全景视频，如图1所示。基于该视频本文实现一套算法，在运动员之间出现频繁地遮挡及位置交错的情况下，能自动检测并跟踪多名运动员位置，拟合其运动轨迹，为教练员做进一步的分析提供依据。

图1 从全景视角跟踪运动员目标

本文的算法与计算机视觉领域经典的多目标跟踪问题[1]的方法流程是一致的，即首先在视频的每一帧中进行目标检测，然后将帧与帧之间的目标检测结果关联起来，并连接成完整的轨迹。相比多目标跟踪问题，本文研究的短道速滑运动的轨迹建模问题有其自身的特殊性。轨迹建模问题，①需将运动员目标视为冰面上的一个质点，并希望通过其获取冰面上的运动情况。相比于实际获取的波动频繁的跟踪轨迹，一条具有一定连续性的光滑曲线更能反映运动员的运动趋势与状况。因此，本文算法在目标检测及跟踪之后增加了轨迹重建部分，以获取运动员的光滑轨迹。②在比赛的视频图像中，运动员的位置呈现明显的集群性，且会有遮挡频繁与位置交错的情况，因此遮挡严重的目标位置在局部视频序列中会难以检测与跟踪，易造成轨迹碎片的问题。③在短道速滑比赛中需要跟踪的目标数量是一定的，在一般情况下无需在视频中段考虑初始化跟踪或者停止跟踪的问题。④出于应用需求，本文算法对于计算速度有一定的要求。

为了满足轨迹的光滑要求，并有效地解决轨迹碎片问题，估计运动员在遮挡时段的运动信息，本文提出了一种基于三次B-样条曲线的轨迹重建方法，利用三次B-样条曲线的参数非均匀性和曲线连续性，可以拟合目标在遮挡严重的局部视频序列中的位置信息。总而言之，本文工作的创新之处包括：

(1) 利用深度学习在目标检测领域的最新方法，有效提高了检测的准确性与鲁棒性。

(2) 实现了一套完整的算法流程，能够快速并准确地检测、跟踪运动员目标并对其运动轨迹进行建模。

(3) 提出了一种基于三次B-样条曲线的轨迹重建方法，利用三次B-样条曲线的参数非均匀性和曲线连续性，可以完整拟合运动员的光滑运动轨迹。

2 相关工作

近年来，深度学习方法在目标检测领域的研究逐渐深入。REN等[2]将目标检测的4个基本步骤(候选区域生成、特征提取、分类、位置精修)统一到一个深度网络框架之内，大大提高了目标检测的精度与速度。LIN等[3]将多尺度特征的预测结果进行融合，进一步提高了目标检测的准确率。HE等[4]将以上2种神经网络进行了结合，提出了Mask R-CNN网络，使一个神经网络框架同时具有目标检测与实例分割的功能，是现阶段效果最好的目标检测方法。

现有的多目标跟踪算法以提取目标的外观特征与运动特征为主，利用其完成数据关联。GEIGER等[5]将跟踪算法分为2步：①在相邻帧之间进行数据关联；②将断裂的轨迹进行轨迹匹配，2个步骤均是基于目标的外观特征和运动特征。BEWLEY等[6]为了提高计算速度，仅考虑帧与帧之间的运动特征，并利用传统的卡尔曼滤波[7]和匈牙利算法[8]解决下一帧的目标状态预测问题和跟踪轨迹与检测目标之间的二分匹配问题。该算法速度快、精度高，但存在无法恢复被遮挡目标跟踪轨迹的问题。在本研究中，由于检测目标很小，且运动员姿态变化剧烈，外观特征难以区分多个跟踪目标，因此仅考虑运动特征。受文献[6]算法的启发，本文算法同样采用卡尔曼滤波和匈牙利算法解决帧与帧之间的数据关联问题，利用其跟踪目标的数量确定性和集群性，快速跟踪运动目标，并将对被遮挡目标的断裂轨迹进行匹配。

B-样条曲线算法[9-12]，最初是为了生成满足工业设计需求的平滑曲线。其具有多种性质，如参数可非均匀分布，基函数可以控制多项式次数从而控制曲线的连续性等。本文算法使用三次非均匀B-样条曲线重建运动员的运动轨迹，非均匀性可以保证即使中间缺少了部分跟踪结果也可以完整重建运动轨迹，三次曲线确保了二次连续性，在物理上的含义即轨迹、速度和加速度的变化均是连续的。在利用B-样条曲线进行轨迹重建时需要考虑2点：①拟合结果与跟踪结果应尽可能地相近；②轨迹曲线应满足一定的光滑性要求。文献[10-11]对于B-样条曲线的光顺算法做了深入的研究；刘鼎元等[12]构造了一个B-样条曲线光顺的能量优化方程。

3 本文方法

3.1 目标检测

HE等[4]提出的Mask R-CNN目标检测方法，是目前效果最好的目标检测和实例分割框架，本文算法利用了该框架目标检测的功能。在实现中，本文使用Resnet101[13]作为卷积神经网络的骨架，并使用在MS COCO[14]数据集预训练模型的权重初始化网络。在训练过程中，对Mask R-CNN中的各输出层训练6 k次迭代即可在验证集上获得较好的检测结果(表1)。

表1 目标检测与跟踪评估结果(%)

3.2 目标跟踪

本文用圈定跟踪目标方框表示物体的位置、大小、速度和加速度的跟踪状态，可表示为

其中，和为方框中心在图像中的坐标；和为方框的面积与宽高比；和为水平与垂直方向上的速度；和为水平与垂直方向上的加速度。为了实现逐帧跟踪，需要根据当前帧各目标的跟踪状态预测下一帧各目标的状态，并与检测结果进行匹配。在预测新一帧目标的跟踪状态时，可假定短时间内目标的加速度不变，即

其中，为两帧之间的时间差，在实现中可将其设为1，表示单位时间。

若将预测的跟踪状态与检测结果进行匹配时，需考虑多个跟踪目标之间的位置关系。根据预测状态与检测结果方框中心的欧氏距离，以其位置尽可能相近作为匹配条件，并对预测状态与检测结果进行二分匹配。当为跟踪目标匹配到合适的检测结果时，利用卡尔曼滤波方法对预测状态作进一步的更新。

由于需要跟踪的运动员数目是确定的，在视频开始时会初始化跟踪目标的数目，并且不会在过程中修改其数目。然而在逐帧跟踪时，本文算法并不总是可以检测到所有目标，检测结果也不总是正确的运动员目标，由于目标之间会出现严重遮挡，可导致部分目标无法被检测，这些问题均为上述匹配方法带来了困难与挑战。为此，本文算法进一步设计了一系列策略，以提高匹配算法的准确性与鲁棒性。首先，为二分匹配算法中的欧氏距离度量设置了上限dismax，当预测状态和检测结果的距离大于该上限时，可不进行匹配。其次，考虑到受遮挡影响或者受检测算法性能限制而丢失的跟踪目标，特为这种跟踪目标设计了“休眠态”。当无法对检测结果与目标的预测状态进行匹配时，可判定该目标跟踪丢失并进入“休眠态”，即停止对该目标跟踪状态的预测与更新，直到有新的符合要求的检测结果的出现，再恢复对该目标的跟踪。最后，根据跟踪目标的集群特点，可以恢复“休眠态”中跟踪目标的检测结果，其应具有离其他跟踪目标距离近的特点。因此，本文算法首先计算已有匹配的检测结果的中心位置，并计算新的目标检测与该中心的距离，如果该距离小于一个阈值，则认为该目标为之前跟踪丢失的目标，并从“休眠态”中恢复对目标的更新。当“休眠态”中有多个跟踪目标时，本文算法遵循“先进先出”的原则。该距离阈值同样设置为dismax，其上限设置为200个像素距离。

3.3 轨迹重建

当完成跟踪时，应有符合运动员人数的数条跟踪轨迹，但轨迹存在断裂和波动的情况。本文算法可在已有轨迹的基础上使用非均匀三次B-样条曲线依次拟合各运动员完整的运动轨迹。

在重建轨迹之前，需要将图像平面上的跟踪目标映射至冰面上。为了计算目标在冰面上的位置，首先基于像平面与冰面上不同四点坐标之间的对应关系计算其单应矩阵，再将跟踪目标方框下方横边的中点作为运动员在冰面上的对应像素，计算目标在冰面上的位置。

非均匀三次B-样条曲线是一个分段连续的参数曲线，其由三次B-样条基函数组成

其中，为控制点；为控制点对应的索引，亦表示位置点和时间参数的索引。M,3()是三次B-样条基函数，可由递归公式进行定义

本文算法使用视频帧对应的时间作为节点参数，因为B-样条曲线可以在参数非均匀的情况下完成重建，即使在跟踪时缺失了部分跟踪结果，也依旧可以重建完整的运动轨迹。选用三次B-样条曲线拟合运动员轨迹的原因是因为其具有二阶连续性，其物理意义为运动员轨迹、速度和加速度均是连续的，符合实际的运动情况。

假定对于某一个跟踪目标而言，其位置点表示为{1,2, ···,–1}，相应的节点参数表示为{1,2, ···,t–1}。由于节点参数已知，三次B-样条基函数可使用式(4)和式(5)进行计算，因此求解B-样条曲线即为求解控制点坐标。本文算法对曲线有以下2个约束：

(1) 为了确保拟合的曲线形状尽可能贴近已经获取的实际位置点，并对曲线对应参数的位置点进行约束，插值项为

(2) 曲线需要在二阶连续性的基础上，对连续性再进行约束，以确保仿真运动的稳定性。用参数左右两侧三阶导数值的差异程度进行约束，优化项为

其中，上角(3)为三次B-样条曲线的三阶导数。类似于刘鼎元等[12]构造的能量优化方程，本文的优化方程为

其中，+= 1且> 0，> 0，称为插值权重，为优化权重。

将式(8)以矩阵方程的形式表示，可通过最小二乘法求解极值点，获取拟合曲线的控制点的坐标。具体的优化过程可参考文献[12]。

4 实验结果与分析

4.1 数据集及评价标准

为验证本文算法的有效性，采集了2段短道速滑比赛视频，每隔5帧采集一张图像，并手动标注各目标的具体位置。将2个视频序列分别命名为500F和500M，其中500F有437张图像，共1 311个运动员标注框；500M有409张图像，共1 223个运动员标注框。每组图像中有4名运动员，标注的是实际比赛中获取前3名的运动员，其中500M中均为男性，500F中均为女性。视频图像的分辨率为1920×1080，标注框的大小在90×90~30×30的范围内波动。

在目标检测阶段，本文使用类平均精度(mean average precision，mAP)对检测性能进行评估，其计算方式为

其中，()为单张图像检测类目标P-R曲线下的面积；Ave()为平均值；为待检测目标的种类数目。在本文实验中为1，表示仅有运动员目标。本文使用的检测结果为真的判断标准是检测框与标注框之间的交叉比(intersection-over-union，IoU)，即2个方框交的面积比上2个方框比的面积。在本实验中，将交叉比的阈值设置为0.2，即高于0.2的检测与跟踪结果被判别为真值。

在目标跟踪阶段，本文使用MOTChallenge 2015公开测试标准中多目标跟踪准确率(multiple object tracking accuracy，MOTA)和多目标跟踪精确度(multiple object tracking precision，MOTP)进行评估。其中，MOTA是描述跟踪结果错误程度的指标，即

其中，为帧索引；为标注目标的数目；为跟踪丢失的目标数目；为跟踪错误的目标数目(即跟踪框与标注框交叉比小于阈值的目标数量)；为轨迹ID发生改变的目标数目。

MOTP是描述跟踪正确程度的指标，即

其中，c为第帧中匹配的跟踪数目；d,i为第帧中第个目标对应的交叉比。

在轨迹重建阶段，本文对重建的运动员轨迹进行定性比较，并重现被遮挡时间段目标位置的效果。本文对不同的拟合度下重建的轨迹形状进行了对比实验。

4.2 实验分析

本文所用实验平台为Python3.5，所有实验均在配置为主频3.6 GHz的8核CPU、8 G内存与GTX Geforce 1080Ti的计算机上进行。

在目标检测阶段，使用500M序列图像作为训练集，500F序列图像作为验证集，对Mask R-CNN中的各输出层进行6 k次迭代的训练，即可在训练集上获得77.76%的mAP，在验证集上获得68.13%的mAP。

在目标跟踪阶段，分别在2组序列图像上进行实验。由于每一帧图像的标注数据仅含有实际比赛中获得前3名的运动员目标，而在跟踪阶段无法明确4个运动员中哪3个目标对应标注数据。因此，采取的方法是先完整跟踪4个运动员目标，再根据其与标注数据的相似性(本文选取的是交并比)选取最相似的3个目标，并计算各项评估指标。

由表1的目标检测与目标跟踪阶段的定量计算可知，检测与跟踪结果仍有部分缺失，一般是源于跟踪目标之间的遮挡与目标检测、跟踪算法的失误。相比于BEWLEY等[6]的跟踪算法，本文算法在跟踪准确率方面有显著地提升，主要是由于本文算法大大减少了漏检和轨迹ID发生改变的情况；因为减少漏检会隐性地增加不够精确的检测结果，在跟踪精确度方面有少量的降低。图2为一个视频片段中的跟踪效果。本文将每个视频序列中对应于标注数据的3名运动员目标的轨迹进行了重建，其结果如图3所示。图中实线轨迹表示基于跟踪结果重建的光滑运动轨迹，虚线表示在该段时间内目标并没有实际的跟踪位置。在大多数情况下，本文算法可以光滑地恢复遮挡或跟踪失败时段目标的位置信息。

图2 本文算法跟踪效果图示

图3 运动员冰面轨迹图示(单位：m)

在图3(a)、(d)中，目标出现长时间的丢失情况，三次B-样条曲线对目标位置的拟合出现了较大的偏离，可能由以下原因造成：①目标检测时由于遮挡或检测器性能导致特定目标长时间内无法被准确检测；②跟踪算法没有有效关联同一运动目标；③三次B-样条曲线的假设不符合实际的运动情况。因此，本文算法对长时间丢失的跟踪目标位置的拟合效果还有待提高。

本文进一步对式(11)中的优化情况做了对比实验。以500M中的第2个跟踪目标的轨迹为例，可为插值权重设置了3个不同的值：0.01，0.50和0.99，其结果如图4所示。当插值权重越小时，曲线的光滑性越好，也越趋近于圆，但同时也丢失了更多的目标原始位置特征。当插值权重为0.99时，曲线的光滑性已足够好，并能较好地反映目标的运动情况，因此本文在实验中均取0.99。

图4 不同插值权重下重建轨迹图示(单位：m)

最后对本文算法的速度做简单的分析。在500M视频序列的409张图像上，目标检测用时110.793 s，目标跟踪用时0.626 s，轨迹重建花费20.633 s，共计132.052 s，平均3.10帧每秒，说明本文算法可以快速地处理完一段视频序列，并提供给教练员做进一步分析。

5 结束语

本文针对短道速滑运动中的轨迹建模问题，提出了一套算法流程，能够快速并准确地检测、跟踪运动员目标并对其运动轨迹进行建模。进一步提出的基于三次B-样条曲线的轨迹重建算法，利用B-样条曲线的非均匀性和连续性，可以在缺失部分跟踪结果的情况下完整地拟合各个目标的运动轨迹。由于受检测与跟踪失败的影响，当目标出现长时间的丢失时，本文提出的三次B-样条曲线拟合算法对目标位置的拟合会出现较大的偏离。接下来，除了提高目标检测与跟踪的精度，还将进一步地对样条曲线的拟合方法进行研究，以目标的运动模型为基础，尝试拟合恢复长时间丢失的跟踪目标位置。

[1] LEAL-TAIXÉ L, MILAN A, REID I, et al. Motchallenge 2015: Towards a benchmark for multi-target tracking [J/OL]. [2018-12-09]. https://arxiv.org/abs/1504.01942.

[2] REN S, HE K, GIRSHICK R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks [C]//Advances in Neural Information Processing Systems. Cambridge: MIT Press, 2015: 91-99.

[3] LIN T Y, DOLLÁR P, GIRSHICK R B, et al. Feature pyramid networks for object detection [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017, 1(2): 4.

[4] HE K, GKIOXARI G, DOLLÁR P, et al. Mask r-cnn [C]//IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017: 2980-2988.

[5] GEIGER A, LAUER M, WOJEK C, et al. 3D traffic scene understanding from movable platforms [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(5): 1012-1025.

[6] BEWLEY A, GE Z, OTT L, et al. Simple online and realtime tracking [C]//IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2016: 3464-3468.

[7] KALMAN R E. A new approach to linear filtering and prediction problems [J]. Journal of Basic Engineering, 1960, 82(1): 35-45.

[8] KUHN H W. The Hungarian method for the assignment problem [J]. Naval Research Logistics Quarterly, 1955, 2(1-2): 83-97.

[9] DE BOOR C. On calculating with B-splines [J]. Journal of Approximation Theory, 1972, 6(1): 50-62.

[10] 董光昌, 吴明华, 洪安祥. 样条曲线光顺的数学模型分析[J]. 高校应用数学学报：A辑, 2003, 18(4): 377-382.

[11] 王士玮, 刘利刚, 张举勇, 等. 基于稀疏模型的曲线光顺算法[J]. 计算机辅助设计与图形学学报, 2016, 28(12): 2043-2051.

[12] 刘鼎元, 赵玉琦, 詹廷雄, 等. Bézier曲线和B样条曲线光顺拟合法[J]. 计算数学, 1984(4): 360-365.

[13] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 770-778.

[14] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft coco: Common objects in context [C]//European Conference on Computer Vision. Cham: Springer International Publising, 2014: 740-755.

Trajectory Modeling in Short Track Speed Skating

LI Qi1,2, YANG Wen-hao3, HOU Ya-li4, WANG Xiang-dong4, LI Hua1,2

(1. Institute of Computing Technology, The Chinese Academy of Sciences, Beijing 100190, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China; 3. Jilin University, Changchun Jilin 130012, China; 4. China Institute of Sport Science, General Administration of Sport, Beijing 100061, China)

This paper explores the question of detecting and tracking multiple athletes in a short track speed skating video and reconstructing their trajectories. The current technology is difficult to ensure that each target is completely tracked and its trajectory is recovered in a complex motion video with frequent blocking and interlaced positions. We propose a complete algorithm flow to quickly and accurately detect and track athletes. Further, a trajectory reconstruction algorithm based on cubic B-spline curve is proposed. Using the nonuniformity and continuity of the B-spline curve, this algorithm can completely match the smooth motion trajectory of each target in the absence of partial tracking results. Experiments show that this algorithm can detect and track multiple athletes and rebuild their trajectories, and the results obtained can be further used in the actual technical and tactical analysis.

short track speed skating; detecting and tracking; B-spline curve; trajectory reconstruction

TP 391

10.11996/JG.j.2095-302X.2019010008

A

2095-302X(2019)01-0008-07

2018-06-30；

2018-09-20

国家重点研发计划项目(2017YFB1002700)；国家体育总局体育科学研究所基本科研业务费(基本17-28，基本18-19)；国家自然科学基金项目(61227802，61379082)

李 琪(1992-)，男，安徽蚌埠人，博士研究生。主要研究方向为计算机图形学、三维视觉与深度学习。E-mail：liqi@ict.ac.cn

王向东(1973-)，男，山西太原人，教授，博士，博士生导师。主要研究方向为运动生物力学。E-mail：908583913@qq.com