黄继风， 白国臣， 熊乃学， 魏建国

(1. 上海师范大学信息与机电学院，上海 200234；2. 天津大学智能与计算学部计算机科学与技术学院，天津 300050)

心率(heart rate，HR)是衡量生理活动的指标，可以表明一个人的健康和情感状态[1]。体育锻炼、精神压力和药物都会影响心脏活动，因此，HR信息可被广泛地应用于医学诊断、健康评估、刑侦检测[2]等领域。对于 HR的测量，心电图(electrocardiography，ECG/EKG)[3]是目前为止最为精确的HR检测方法，自从心电图在临床中正式投入应用以来，各种生理参数检测技术和设备相继问世。但是心电图在使用过程中需要连接复杂的电极，适于需要准确的生理参数的场合。而光电容积脉搏波描记法(photo plethysmo graphy，PPG)[4-5]是基于生物医学传感技术，通过对实时描记被测部位的光吸收量来获取外周血管的血液，从而获得HR相关信息，其容积随心脏搏动而产生的脉动性变化，即血液体积脉冲(blood volume pulse，BVP)，但有关PPG的研究仍停留在接触式测量阶段。

相对于接触式HR检测方法，非接触式检测方法由于不需要与被检测者发生接触，因此具有更为广泛地应用前景。在过去十年中，研究人员专注于非接触式(即远程式)检测方法，主要基于计算机视觉技术。PAVLIDIS等[6]于2007年首次提出基于面部的非接触式生理信号的测量方法，其研究发现，面部区域具有较薄的组织层便于检测。文献[6-7]通过面部热成像，可以完成基于生物热模型检测HR。文献[8-9]通过采用专用光源如红灯或红外灯等非侵入性光学的PPG技术检测HR。

2008年，VERKRUYSSE等[10]利用面部视频在环境光下实现PPG估计测试者HR的可能性，其发现普通摄像头采集到面部区域的色彩强度存在周期性变化，且与BVP具有相关性。在2010年，POH等[11]提出了从普通相机采集的面部颜色信息中检测HR的框架，该框架基于摄像头实现了非接触式HR检测(图 1)，从而被广泛采用，其核心思想是使用盲源分离(blind source separation，BSS)[12]，通过恢复面部颜色的时间变化来检测心跳信号。2013年，文献[13-14]提出了基于微弱的头部运动估计HR的方法。文献[15-16]通过应用发散噪声降低算法和光学建模方法直接研究了 HR的估计。文献[17-18]从机器学习的角度出发，使用基于监督学习的方式，将肤色变化的信号与使用 BVP感知器获得的数据进行训练学习，从而获得HR信号。此外，GUPTA等[19]使用多种类型的摄像头，利用信息融合的方式提高检测的精度。

图1 基于摄像头非接触式心率检测示意图

传统的研究方法已经较为成功地解决了受控的实验室环境下非接触式HR信号的提取，比如需要测试环境光线均匀、环境中噪声较小、面部姿势保持自然等要求。因此上述条件在自然环境下(比如移动、物体遮挡、阴影)以及特殊情况下，例如本文使用的数据集中存在着部分受测人员佩戴眼镜、耳麦的情况，以及面部存在表情动作，如嘴部的张合、眼球的运动、眼皮的跳动等，很难满足之前实验方法的要求。另外，有些研究(分区域的)将面部区域分成多个子区域，对采集到的 BVP信号在时域中进行信号处理，但不同子区域的波形信号存在对齐问题(图2)，给信号处理带来复杂性。

图2 不同区域采集到的原始BVP信号存在

在相关研究的基础上，本文提出了一种对噪声(阴影、遮挡等自然环境导致)更为鲁棒的非接触式HR信号提取模型。该模型基于低秩稀疏矩阵分解的方法，用来解决提取色度信息中含有的噪声、面部阴影情况下的干扰；尽管不同子区域提取的信号存在对齐问题，但利用时频转换可避免上述问题的发生。通过实验证实了本文模型的有效性与创新性。

1 模型框架

本文提出的非接触式HR信号提取的方法模型以及信号提取的过程，图3包括4个步骤：①基于面部检测与面部特征点检测技术，实现对面部感兴趣的区域(region of interest，ROI)定位；②将 ROI区域等分成25(5×5)个子区域，提取ROI每个子区域 的 色 度 信 息ci(i=1,2,···,25)， 在 此 基 础 上 对ci(i=1,2,···,25)带通滤波，获得[0.7 Hz，2.0 Hz]内含有噪声的 BVP信号，并将时域信号转换到频域，组合成矩阵C；③应用低秩稀疏矩阵的分解模型，将矩阵C分解为一项表示BVP频域信号低秩矩阵L和一项表示噪声的稀疏矩阵S，分离出低秩矩阵L；④从L中选出最大幅值对应的频率，并估计HR值。

图3 基于低秩矩阵分解的非接触心率估计模型框架

1.1 面部ROI区域检测与BVP频域信号提取

在之前关于HR信号提取的方法中，往往采用OpenCV视觉处理库中提供的Haar-cascade 检测方法，其结果是获得一个包含部分背景的矩形区域，从而对结果造成影响。另外，也有一些研究[20]在使用该方法时，通过找到面部区域的中心点，选择某一固定大小的区域作为目标ROI。

然而上述使用固定区域的方法在人体移动、头部旋转或有面部表情时会给测量带来噪声。另外，考虑到人在做张嘴活动时，嘴部区域的变化(如牙齿露出)同样也会对 ROI区域的色度值造成影响。本文采用文献[21]提出的基于嵌入式回归树方法得到面部的68个关键特征点，利用其中的5个特征点坐标(图4绿色点，分别为眼睛下部、嘴唇上方、两腮处)，去除面部区域中对实验影响较大的眼部与嘴部区域，作为实验所用的ROI区域，避免由于头部旋转晃动导致的误差。

在HR信号提取过程中，特征的选取对信号提取至关重要，理想情况下选择的特征对光照、遮挡等引入的噪声具有较强的抗干扰能力，同时又能够对皮肤颜色细微的变化提供足够的区分。现阶段，文献[22]提供了一种非接触式 HR信号提取中最佳的特征——色度特征C，该特征在RGB色彩空间的基础上，考虑了皮肤颜色变化的色彩比例。该特征的具体定义为

其中，Rn，Gn和Bn分别为正则化后的R、G与B3通道的强度值；α=σ(X) /σ(Y)；σ(*)表示与Y的标准差。

将红色ROI区域等分成25(5×5)个子区域，对分割的每个子区域计算色度特征值(分别记为ci(i=1,2,···,25))，利用[0.7 Hz，2.0 Hz]的带通滤波器对ci(i=1,2,···,25)滤波，得到含有噪声的 BVP 信号。将滤波后的各个 BVP信号利用快速傅里叶变换转换到频域空间，将各频域信号组合成矩阵C。

图4 ROI区域(左图为头部正常姿势检测到的ROI区域，右图为头部旋转的情况，利用眼睛下部，嘴唇上方，两腮处5个特征点(绿色)实现ROI区域(红色)随头部的旋转；粉色的为面部检测框；蓝色为面部特征点连接而成)

1.2 低秩稀疏分解模型

在使用色度特征非接触式提取HR信号的过程中，存在一个重大的问题，即在面部ROI区域的色度信号构成的矩阵C中除了含有BVP信号外，还受到面部阴影、遮挡或其他噪声因素的影响。当噪声矩阵的元素服从独立同分布的高斯分布时，可用经典的 ICA/PCA方法提取较为理想的信号，但当具有低秩的数据信号中混合大量的稀疏噪声时，上述方法无法求解。本文为了剔除噪声因素的干扰，考虑到由频域BVP信号组合而成的矩阵C具有的低秩性特点，因此本文提出使用低秩稀疏分解的(low-rank and sparse matrix decomposition)[23-25]模型予以解决。

低秩稀疏矩阵分解需考虑如何从含有较大的但稀疏的误差中分离出本质上低秩的数据矩阵(图 5)。低秩稀疏矩阵分解从数学上可以描述为：给定观测矩阵C∈Rm×n，则

其中，C为观测矩阵；L为具有低秩矩阵；S为存在的稀疏噪声矩阵；||*||0为零范数。

图5 低秩稀疏矩阵分解模型(其中观测矩阵(Observation Matrix)可以被分解为一项低秩矩阵(Low rank Matrix)和一项稀疏矩阵(Sparse Matrix))

而上述模型为NP-hard问题，可以使用最小化分解误差优化问题模型近似描述

文献[26]证明了式(3)可以收敛到局部最小值，且式(3)可通过式(4)进行求解

借助对(C-St-1)使用奇异值硬阈值逐步迭代求解Lt，对(C-Lt)使用投影硬阈值迭代计算St，即

由于处在频域空间的 BVP信号所组成的低秩矩阵中，包含的HR信号具有一致性，即该低秩矩阵L的秩数k为1。在算法中利用双边随机投影 BRP代替 SVD，实现快速计算，利用低秩矩阵分解的方法，分离出低秩性的频域BVP信号(图 6)。

图6 低秩矩阵分解方法

1.3 心率估计

通过低秩稀疏分解得到去除噪声的频域 BVP信号，选择频幅最大值对应的频率f，由式(6)可得HR值

其中，f为最大幅值对应的信号频率；HR单位为bpm。

2 实验评估

2.1 实验环境与数据集

对于上述方法的实验验证是在 HP Elite 8380台式机、Ubuntu 16.04操作系统、Python 2.7编程语言实现的。实验数据来源包括 MAHNOB-HCI(https://mahnob-db.eu/hci-tagging/)数据集(该数据集包括12名男性，17名女性，测试者在不同情绪、表情以及动作时，使用心电图仪获得的 HR信号)和使用surface Pro4电脑采集的分辨率为640×480像素，15 fps的视频数据(该数据集测试者的HR值由手环测得)2个数据集。在2个数据集中，既包含平静理想状态下的情况，也包括说话、移动、不同肤色等复杂情况下的数据(表1)。

表1 使用的部分MAHNOB_HCI数据集以及说明

2.2 结果与评价

为了评价本文方法，特从统计分析与一致性评价2个角度对测试结果进行分析和评价。

选用5个统计指标：误差均值Me、标准差SDe、根方差RMSE、误差比均值和皮尔逊相关系数r。实验中，对上述2部分数据集。

进行分别测试，并对MAHNOB-HCI数据集测试的结果与其他方法进行对比对 MAHNOB-HCI数据集测试结果见表 2，本文采集的数据集测试结果见表 3，可以看出其结果优于其他方法的测量值。

在临床医学等领域，会出现2种或更多种检测或测量方法。其测得的结果往往会有一定的差异，这种差异被称为偏倚(bias)。偏倚可通过对结果的平均数进行估计，的变异情况则使用差值的标准差SD表示。如果差值的分布服从正态分布，则 95%的差值应该位于- 1 .96SD与+ 1 .96SD之间，并将该区间称为 95%的一致性界限。为了说明这些方法之间可以相互替代使用，需要对不同方法获得的测试结果进行一致性评价。Bland-Altman图[28]可通过分析计算这些方法得到结果的一致性界限，并用图形的方式直观地反映一致性界限，从而得出这些测量方法是否具有一致性的结论。

表2 本文方法与其他方法在MAHNOB-HCI数据集上测试结果比较

表3 本文采集的数据集测试统计结果

图7(a)的线性拟合图显示r为0.92 (r2=0.86)，具有较高的相关性；图7(b)显示的所有的测试者在采用本文方法与其他方法的 Bland-Altman分析图，并对本次实验进行整体的一致性评价。图7(b)中实线表示均值=- 0 .67bpm，均值上下2条虚线分别为+ 1 .96SD(即 7.2 bpm)和- 1 .96SD(即-8.5 bpm)，可以看到本文方法获得的 HR值均在置信度为 95%的一致性界限区间之中。

图7 本文方法与其他测量方式获得的心率值试验结果对比图

图7(c)和(d)2幅图为使用不同测试方法分别分析白色人种和有色人种测量结果对应的 Bland-Altman图。从图7(c)可以看出白色人种在使用本文方法得到的偏倚值= 2 .5bpm一致性界限为[-6.3，11.3]bpm。而从图 7(d)可以看到该方法在测量有色人种时，其偏倚值=- 1 .2bpm，一致性界限为[-6.1，3.7]bpm。即该方法模型在对有色人种的实验测试结果比白色人种的实验结果更优，对于具体原因还需要进一步研究。

3 结 束 语

本文分析了现有的非接触式HR信号提取方法对自然状态下鲁棒性不足的原因，并在此基础上提出一种基于低秩稀疏分解模型的提取方法，在去除阴影、噪声后得到较为理想的信号，进而评估 HR值。为了检测该方法的测试效果，本文采集部分数据集，同时也使用了部分MAHNOB-HCI数据集作为实验测试数据。对于实验数据，通过使用统计学方法与Bland-Altman一致性分析方法，对实验效果进行评估，发现该模型在现有模型中取得理想的实验结果，满足一致性的要求。