中国海洋大学

王鹏皓，高林林，房凯昌，杨仕倢，巩 坤

1 研究背景和意义

智能设备的普及带来应用场景的拓展，人们需要更多不同的人机交互方式来应对不同的应用场景。现存基于视觉的和基于射频信号的被动式目标追踪都存在不足。基于视觉的隔空手势识别和追踪技术利用摄像头对目标进行图像识别，存在诸多缺点，例如：识别精度受摄像头视角范围、像素、环境光照等因素影响。基于射频信号的手部追踪和识别技术虽然能够克服基于视觉方案的限制，但需要特定的传感器硬件支撑，且因无线信号传播速度快而无法实现细粒度手势追踪。

基于声音信号的方案显现出了独特的优势：声波传播不受光照等环境条件的限制，可以适应更多应用场景；声波传播速度较慢，更容易实现细粒度的追踪。此外，当前很多智能设备都配备了多麦克风和多扬声器，基于声学信号的方案在无需添加额外硬件的情况下部署在这些设备上，具有良好的兼容性。

本作品提供了一种基于智能设备多扬声器和多麦克风的利用超声波实现的隔空多目标追踪技术，并利用该技术追踪多个目标位置，实现隔空滑动、旋转等手势操作，提出全新的隔空多点人机交互方式，弥补了传统基于触摸屏交互方式的不足。与目前已有的目标定位方案相比，本作品仅依靠智能设备现有硬件和相应软件即可实现高精度的多目标追踪。本作品利用特制超声信号实现相关功能，不会对用户的正常生活产生影响，极大地提高了用户与智能设备之间的交互体验。

2 总体思路和实现流程

作品总体思路：识别经用户手部反射的由不同扬声器发送的特制超声信号；测量信号的飞行时间并通过计算获得信号在用户手部和智能设备之间传播路径的长度；以不同的扬声器和麦克风为焦点结合超声信号的传播路径长度绘制多个椭圆，利用多个椭圆的焦点确定目标位置。实现流程如图1所示。

图1 实现流程

3 研究内容与技术路线

3.1 信号设计

设计了一类具有强自相关和弱互相关的超声信号并通过扬声器连续发送，减少了扬声器间的相互干扰。

本作品选择恒包络零自相关序列（Const Amplitude Zero Auto-Correlation, CAZAC）作为基带信号。常见的CAZAC序列有：Zadoff-Chu序列、广义Chirp-Like（Generalized Chirp-Like, GCL）序列、Frank序列和Golomb序列等。CAZAC序列被广泛应用于脉冲压缩雷达、扩频通信系统、OFDM系统（例如LTE和WiMAX）等，具有恒包络特性、理想的自相关特性、良好的互相关特性等。作品为多个扬声器分别分配不同的CAZAC序列，以此区分、识别不同的扬声器信号。

对选择基带信号后，需利用特殊的调制方法生成可直接发送的同样具有良好互相关性和理想自相关性的超声信号。调制过程：将设备可用的频段均匀分成多个子载波，利用FFT和IFFT将不同的基带信号对应调制到子载波上，生成超声波信号。

3.2 面向源的直射信号探测和面向目标的主要回波探测

获取精确的直射信号到达时间对于后续的定位过程至关重要。为确定直射信号的到达时间，本作品一边利用麦克风连续接收声音信号，一边利用需要确定的超声信号与接收信号进行相关操作。由于信号良好的互相关性和理想的自相关性，相关操作的结果仅会在接收到对应的超声信号时出现明显峰值，在无对应信号到达和其他信号到达时都近似为零，相关函数图像如图2所示。系统通过遍历相关操作的结果，根据峰值下标便可初步确定直射信号的到达时间。观察图2可以发现，最高峰值所对应的下标不稳定，需要做进一步修正。最终利用估计到达时间与实际到达时间的误差对接收信号相位造成的偏转进行修正，以获得准确的直射信号到达时间。

图2 相关函数R11的图像

声音信号在扬声器与麦克风间传输时，如果反射物体保持静止且其反射路径不变，信号到达时间、幅值和相位都不会发生改变。由于扬声器以周期连续发送，所以将接收信号与发送信号的相关操作结果与其延迟一个信号周期的结果错位相减后，静止物体的影响相互抵消，相关操作差的值趋近于零。物体移动时，从发射端经该物体反射到接收端信号的传播路径发生改变，导致信号到达时间改变，因此相关操作差在由移动目标反射的反射信号到达时，值不为0。相关操作差仅在反射路径发生变化的反射信号到达时出现峰值，如图3所示。通过遍历相关操作的差进行识别，可捕获所有被移动目标反射的超声信号的到达时间。

图3 相关操作差D[n]的图像

如图4所示，在获得直射信号到达时间td和对应目标反射信号到达时间tr后，由于直射信号传播路径确定，通过对不同手机进行测量便可获得直射信号在空中传播的时间Td。直射信号的到达时间减去直射信号的飞行时间，获得信号的发送时间ts。反射信号的到达时间tr减去超声信号的发送时间ts，获得反射信号在空气中的传播时间Tr。利用反射信号的飞行时间乘以声速，获得对应反射信号的传播路径长度。

图4 理想情况下的发送和接收信号示意图

3.3 利用定位椭圆定位目标

完成反射信号传播路径测量后，系统以发出信号的扬声器和接收信号的麦克风作为椭圆的2个焦点，结合来自目标的反射信号传播路径长度绘制一个目标椭圆。因为利用不同组合的扬声器和麦克风绘制椭圆会在目标位置相交，故通过识别多个椭圆的交点便可以确定目标位置。具体定位示意图如图5所示。

图5 椭圆交点定位示意图

4 性能评估

本作品被应用在型号为Razer Phone 2的Android智能手机上进行测试评估。首先对一维手指测距进行测试评估，测试过程中对比目前已有的CC-TOF方案与本作品的误差，同时考虑环境噪音与测试距离对测距误差的影响；第二部分对二维的手指跟踪进行测试评估，获得并分析跟踪误差；第三部分对作品实际运行时所需功耗以及响应时延进行测试评估；第四部分通过2个演示应用程序在Samsung Note 10+和Razer Phone 2手机上的运行情况进行测试评估。

4.1 一维手指测距

4.1.1 本作品与CC-TOF的平均测距误差对比

实验在安静的室内进行，先将手机和尺子平放在桌面，矫正初始误差后，10个用户用手掌在相同的起始位置（距离麦克风20 cm）沿麦克风垂直方向靠近手机移动5 cm，距离手机15 cm处，重复上述操作40次。累计误差分布函数图（CDF）如图6所示，从图中可以观察到，本作品运行时的平均测距误差为6.4 mm。由于通过消除多径效应获得了准确的信号到达时间，因此本作品实现了更低的测距误差。

图6 一维手指测距的累计误差分布函数图（CDF）

4.1.2 不同噪声水平下的平均测距误差

为探究噪声对测距误差的影响，在3种情况下进行测试：声压约45 dB的安静水平；声压约60 dB的中级水平；声压约75 dB的噪声水平。为保持稳定的噪音水平，反复播放一小段音乐或语音。如图7所示，AMT的测距误差随噪声水平而增加。中级水平和噪声水平的平均测距误差分别为7.5 mm和8.8 mm。

图7 不同噪声水平下的累计误差分布函数图（CDF）

4.1.3 不同距离下的箱线测距误差

实验中，志愿者需将一根手指放在距离智能手机15 cm处来回移动，最后停在距离智能手机20 cm，35 cm，50 cm，65 cm距离处。箱形图测距误差如图8所示，可知本作品在上述不同距离下的平均误差分别为6.8 mm，7.2 mm，8.7 mm，9.5 mm，在不同距离下仍能保持较高的定位精度。

图8 不同距离下的箱形图测距误差

4.2 二维多手指跟踪

设计的实验环境如图9所示。先将Razer Phone 2横向竖起固定在用户正前方，随后在手机和用户间的桌子上分别贴2张绘有起点、终点和轨迹的A4白纸。轨迹的平均长度为15 cm，相互不平行。系统运行前10 s，要求实验者将手指移动到起点，并在随后5 s内两手手指先后沿轨迹从起点向终点移动，上述操作进行40次。系统每8 mm采样一次手指运动，并将每次运动的跟踪误差计算为所有采样位置到笔直轨迹的平均垂直距离。追踪不同个数目标的CDF图如图10所示。追踪2个目标的轨迹如图11所示。单目标/双目标/三目标跟踪的平均误差分别为1.13 cm，2.46 cm，2.92 cm。相比单目标，双/三目标的平均误差相对较高，原因是存在针对多目标情况的阻挡。

图9 实验环境搭建

图10 追踪不同个数目标的CDF图

图11 追踪2个目标的轨迹

4.3 功耗与响应时延

测试开始前，将手机充满电，清空后台应用程序，关闭所有无线接口，屏幕锁定且无光，在手机端安装功耗测试软件测量应用程序的功耗，运行本作品1 h的功耗低至总电量的2.4%。因此可见，本作品拥有极佳的功耗表现，不会对智能设备的续航造成较大压力，可用性大幅提升。将多个线程同时分配给每个麦克风，本作品使用的每个麦克风在一个线程中执行信号处理、校正检测、主回波检测等操作，同时在另一个线程中采样。10 384位符号的处理延迟小于80 ms。由此可知，本作品响应时延较低。

4.4 实例展示

为了能够更加直观地展示本作品的实际表现，我们在Razer Phone 2和Samsung Note 10+智能手机上开发了2个应用本作品的移动应用程序：双人弹球游戏和双手交互式相册。

弹球游戏如图12所示。将控制区域扩展到手机两侧，2个玩家面对面坐在智能设备旁，将一只手放在单独区域，通过推动和拉动来控制自己的横板。球击中移动板和侧边界时被反弹。球的移动速度随时间增加，错过球的玩家输掉比赛。经测试，横板控制灵敏，大多玩家成功反弹球10次以上。

图12 弹球游戏

如图13所示的双向交互式相册应用支持对图片进行3个主要操作，即向前/向后切换，顺时针/逆时针旋转和放大/缩小。无需触摸屏幕即可识别6种交互式手势来控制图片。用户左手在智能设备的左侧左/右移动实现前/后切换照片。用户右手在手机右侧右/左移动，可将当前图片顺时针/逆时针旋转。用户通过进一步移动双手来放大/缩小当前图片。

图13 相册应用

5 创新点

与传统利用触摸屏的人机交互方式相比，用户可以在不触碰设备的情况下完成操作，且交互范围不受触摸屏尺寸限制，交互更为自然；基于超声波实现定位操作，作品工作时不会对用户的正常工作和生活产生影响；作品仅需使用设备普遍集成的多个扬声器和多个麦克风便可工作，相较于需要集成特制传感器（如手势传感器、深度摄像头）的方案，可移植性、兼容性和适应性更好；利用特殊的信号设计方案，使得作品可以同时使用设备的多个扬声器共同完成定位工作，也可以使得同一区域内多个设备在互不影响的情况下同时工作；可以避免多目标相互遮挡导致仅使用一个麦克风无法工作的现象，同时追踪多个目标，并以此实现多点交互，实现更加复杂的手势操作。