许向阳　张俊强　沈月健　李猛

关键词：毫米波雷达；人工智能算法；双流融合；跌倒检测

中图分类号：TP183 文献标识码：A

1 引言（Introduction）

据2021年11月公布的全国第七次人口普查结果统计，我国老年人口达到2.6亿，每年约有4 000多万起居家老人发生意外摔倒的事件[1]。在很多案例中，没有及时发现老人跌倒往往是导致老人错过最佳救治时间的主要原因，特别是对养老机构等场所来说，如何在第一时间发现老人跌倒并对其进行及时救治，成为考验养老机构运营和管理能力的重要指标。由于毫米波雷达具有良好的安全性和稳定性，所以近年来出现了很多基于毫米波雷达的跌倒检测算法，但现有的基于FMCW雷达信号的人体姿势感知算法存在对多维信息的利用不够充分、未考虑到实际环境的复杂性对系统性能的影响、功能比较单一、系统操作烦琐等问题[2]。为解决以上问题，本文提出一种双流融合特征提取算法对融合特征进行提取，通过实验验证，算法的准确率很高，效果显著。

2 毫米波雷达平台（Millimeter wave radar platform）

本系统中的毫米波雷达平台采用T I公司的AWR1642BOOST毫米波雷达和DCA1000EVM高速数据采集板，通过60引脚Samtec连接线组成，AWR1642与毫米波雷达平台如图1所示。

AWR1642硬件的具体参数见表1。

DCA1000EVM为来自TIAWR1642雷达传感器两通道和四通道的低压差分信号流量提供数据实时捕获和传输功能。雷达数据可以通过1 Gbps以太网实时传输到上位机，实现数据的捕获与存储，然后可以将其传递给所选的应用进行数据处理和算法开发。

毫米波雷达的ADC原始数据采集流程如图2所示。由图2可知，PC电脑端与AWR1642开发板之间的USB负责程序下载和实现虚拟串口功能；PC端和DCA1000EVM数据采集板之间的USB接口负责控制信号的传输通信。AWR1642BOOST毫米波雷达接收到回波信息后，通过混频器得到中频信号，ADC分别对四路信号进行采用并存储到ADC缓存中，然后ADC数据通过LVDS接口经DCA1000EVM通过以太网传输达到PC端进行处理。

3 数据集（Data set）

本系统训练的算法可完成对无人、有人静止、行走、跌倒、挥手五类人体状态的识别[3-5]，旨在识别人体动作类别，不需要识别动作的具体方向，因此只需要处理毫米波雷达的距离维和速度维信息。算法阶段主要分为雷达信号采集与处理、信号特征提取、基于深度学习的算法实现。

3.1 数据采集

FMCW雷达中频信号以64帧为采集单位进行采集，每帧数据内有128个扫频，每个扫频具有64个采样点。最大探测距离为5 m，距离分辨率为9 cm，最大探测速度为3 m/s，速度分辨率为0.12 m/s，雷达采集数据的具体参数见表2。

实验人员在毫米波雷达斜下方1—3 m进行数据采集，为防止过拟合问题的发生，实验人员必须在不同的位置做动作，本项目共采集300次无人、300次静止、300次行走、300次跌倒、300次挥手，共计1 500条数据。

3.2 数据预处理

通过调频连续波雷达采集动作的回波数据并进行预处理得到距离-速度图，然后将目标所在的距离门信号相干叠加后进行短时傅里叶变換，得到微多普勒时频谱图像。

3.2.1 距离-速度图

距离-速度图的构建过程如图3所示，第一次快速傅里叶变换（Fast Fourier Transform，FFT）是在快时间域对雷达信号的频率进行估计，第二次FFT是在第一次FFT的基础上在慢时间域对雷达信号的多普勒进行估计，最终得到雷达信号一帧的距离-速度图。

去除距离-速度图中的静态目标干扰，使用帧差法对距离-速度图进行去静态目标处理。如公式（1），将若干帧数据进行累积并求得均值X_bk作为背景帧，然后将X_bk带入公式（2）得到去除静态目标干扰后的距离-速度图，图4（a）为未进行去除静态目标的距离-速度图，图4（b）为去除静态目标干扰后的距离-速度图；本研究针对每个动作采集64帧雷达数据，以步长为3帧在64帧数据中得到16帧数据，即每个动作可得到16张距离-速度图。

其中， X_bk为若干帧数据雷击后求均值得到的背景帧，s表示距离-速度图中背景帧的累积个数，m和n分别是距离-速度图的距离轴和速度轴的像素总数。

3.2.2 多普勒-时间图

当人在毫米波雷达前做不同动作时，会造成雷达回波信号的频率发生变化，例如当人行走和跌倒时，由于人在跌倒时的瞬时速度远大于正常行走速度，因此当人跌倒时会使雷达回波信号产生短暂的频率升高。构建多普勒-时间图（多普勒频率图），可以通过人体动作的频率变化检测该目标的动作类别，这也是目前最常用的人体动作识别输入数据。多普勒频率图可以从距离-时间图中提取人体运动的多普勒偏移值得到，用来描述某一帧人体运动的速度信息。通过累积N_fra帧雷达数据对多普勒-时间图进行构建，如图5所示，在多普勒偏移值的提取过程中进行了背景噪声去除动态干扰抑制处理。

本文采集的多普勒频率图如图6所示，图6（a）—图6（b）分别表示无人、静止、行走、跌倒、挥手动作的频率图。

4 跌倒检测算法实现（Implementation of fall detectionalgorithm）

本文的跌倒检测和人体动作识别需要使用深度学习算法实现，使用本研究提出的双流融合神经网络识别跌倒、挥手、无人、静止、行走五类动作[6-7]，获得距离-时间图和多普勒频率图两种参数的图像。本文提出的双流融合神经网络主要包括四个部分：①设计残差网络（Residual Networks，ResNet）对多普勒频率图进行特征提取；②对距离-时间图设计CNN-LSTM网络进行特征提取；③将多普勒频率图和距离-时间图提取到的特征进行融合，并使用长短期记忆网络（Long Short-Term Memory，LSTM）提取融合特征的时序信息；④添加两个全连接层网络进行特征分类。

双流融合神经网络的实现流程如图7所示。

4.1 多普勒频率图特征提取

为充分提取多普勒频率图的特征信息，使用ResNet18神经网络对图像进行特征提取，整个网络包括1个卷积层和5个残差层即1个全连接层。将多普勒频率图输入ResNet18网络中，最终在全连接层得到1 000×1维的多普勒特征向量。

4.2 距离-速度图特征提取

为充分对距离-时间图的特征信息和时序信息进行提取，本算法使用CNN-LSTM网络，利用CNN对每帧图像的特征信息进行提取，利用LSTM对每个动作帧之间的时序信息进行提取。将16帧距离-时间图经过3层3×3层卷积后，在经过两次全连接层后，得到16帧1 000×1维的距离-时间图特征向量，在经过LSTM网络后得到1000×1的特征向量。

4.3 特征融合时序信息提取

将多普勒频率图和距离时间图生成的两组1000×1维度特征，并联组成总长度为1000的融合特征。在生成的融合特征中，每组特征中包含雷达回波信号中的人体运动的距离、速度和多普勒具有时序上的联系。本系统使用LSTM网络进行特征提取，将融合后的特征输入LSTM单元。其中，当前细胞状态存储了其前几步的人体运动信息，并且决定了此时的输出，由此保留了融合特征的时序信息，生成最终的时序特征向量，具体处理过程如图8所示。

5 实验结果（Experimental result）

对二维参数数据集进行预处理后，得到的距离-速度图和多普勒图的质量有一定的提升，为了验证预处理后的效果，分别对处理前和处理后的数据集利用本文提出的双流融合卷积神经网络进行实验，对模型每隔500步迭代保存，并进行测试验证，验证数据集的准确率曲线如图9所示。

为了验证本文提出的人体跌倒检测识别方法的可行性，选取元志安等[8]提出的基于距离-速度图识别的RDSNet神经网络，孙济舟等[9]使用5层CNN网络对老人雷达点云进行分类，以及王智等[10]利用ROS平台设计并实现的基于激光雷达的室内跌倒检测系统，分别在速度、准确率、防误触方面与本文提出的方法进行对比分析，详细结果见表3。

从表3中的数据看出，虽然本系统算法在速度上略快于文献[8]和文献[10]提出的算法，但是在准确率和防误触方面明显优于其他文献的算法，准确率高达98.75%，较其他网络算法出现误报、漏报的概率大大减小。

6 结论（Conclusion）

本文提出了一种双流融合特征网络提取算法，对多普勒频率图用ResNet进行特征提取，然后对距离-时间图设计CNN-LSTM进行特征提取，将提取到的两种特征进行融合，并对融合特征的时序信息使用LSTM提取，添加2个全连接层和1个输出层进行特征分类，最后通过大量的硬件和软件实验测试，结果表明所提算法准确率高达98.75%。未来，研究人员将采集更加丰富的数据集，进一步对算法进行评价，并加以改进。

作者简介：

许向阳（1967-），男，硕士，副教授.研究领域：IP网络，多媒體通信，网络安全，卫星通信.

张俊强（1997-），男，硕士生.研究领域：卫星通信网络研究.

沈月健（1997-），男，硕士生.研究领域：人工智能及雷达信号处理.

李猛（1998-），男，硕士生.研究领域：复杂网络及数据挖掘.