郑 浩 刘建芳 廖梦怡

1(平顶山学院计算机学院 河南 平顶山 467000)2(华中师范大学国家数字化学习工程技术研究中心 湖北 武汉 430079)

0 引 言

近年来，监控摄像已广泛应用于银行、超市、监狱、机场、停车场、加油站、救援、医学检测等场景，以保证人民生命及财产安全和社会稳定[1-2]。同时针对室内老年人异常行为检测与识别方面也有较广泛的应用，但由于室内照明变化、遮挡和相似背景其他对象等因素的干扰，对于异常行为的检测和识别具有一定的挑战性，学者针对现有监控识别系统在人体异常行为检测和识别性能的提升开展了大量研究工作[3]。其中常见的状态检测和识别方法包括[4-5]：检测和跟踪、跟踪前检测和基于概率假设密度滤波器等多目标跟踪技术。虽然学者们已经提出了许多以互斥方式处理照明变化、运动状态变化等因素的干扰和局限，但当有障碍物遮挡和存在其他相似对象时对人体异常行为的检测和识别问题仍未得到完全解决。其中，平均移位跟踪算法[6]建立在密度外观模型上，用于跟踪静止或移动物体，由于其结构简单和计算量小等优点，已被广泛应用于物体的实时检测与识别。但其主要问题是当目标物体靠近或远离相机的焦点时会导致跟踪失败。因此，文献[7]提出了一种用于拥挤场景中快速异常检测和定位的级联式三维深层神经网络，并对比了其余传统光流法和社会力模型等方法的异常行为检测效果，但该方法主要针对室外拥挤场景，且更侧重于异常行为的检测与定位。文献[8]则针对该问题提出了一种社会网络模型的检测方法，利用局部社交网络对全球社交网络显示场景中的动态对象进行检测，并对所划分的每个长方体中的人体行为践行建模，最终实现异常行为的检测与定位。文献[9]提出了在跟踪过程中自适应地调整跟踪窗口的大小和目标对象的分布模式的改进连续自适应均值漂移(CAMS)，但CAMS跟踪方法在目标对象所在背景中有相似颜色的其他对象或是所要跟踪的对象突然被障碍物遮挡时，其检测和识别性能往往差强人意。文献[10]提出了一种整合跟踪和识别技术的背景减法算法，以检测室内环境中的人体存在，并消除背景中相似颜色其他对象对人体异常行为检测和识别的干扰，但当有障碍物遮挡时的跟踪效果却有待提升。

此外，在CAMS和Kalman的组合滤波器中，Kalman滤波器主要用于预测目标物体的可能位置，同时借助CAMS在预测区域中搜索和匹配目标物体，以实现目标对象的检测、识别和跟踪。如文献[11]在CAMS无法正确估计目标物体的路径时，引入卡尔曼滤波技术来跟踪目标对象，以实现对目标对象的检测和识别，然而却受限于高斯假设，导致跟踪效果欠佳。粒子滤波器因其所具有的非高斯、非线性等假设属性而被应用于视觉对象跟踪[12]。研究表明，粒子滤波器和CAMS的组合可以提高在线跟踪的性能，但粒子滤波器使用转换优先级作为提议分布，并且不考虑当前观察到的数据，从而导致低概率区域中许多粒子的浪费[13]。

因此，提出了在CAMS基础上，引入无味粒子滤波器(UPF)和校正背景权重直方图(CBWH)，整合稀疏表达的多技术混合跟踪方法来提升室内人体异常行为检测与识别系统的综合性能。本文创新点总结如下：

(1) UPF技术可以有效解决CAMS跟踪过程中目标对象被遮挡的问题，对目标进行有效跟踪；

(2) CBWH技术可以在被跟踪目标对象背景中具有与其颜色相近的其他对象时提高算法对目标对象路径估计的准确性。

(3) 稀疏表达的引入可以针对人体异常行为进行有效检测和识别，实现系统预期功能。

此外所提集成技术，对于检测和跟踪视频序列中的对象具有良好的快速性和鲁棒性。

1 基于混合算法的人体异常行为检测和识别方法

所提出的混合算法人体异常行为检测与识别系统框架如图1所示。首先，将一系列视频帧传递到颜色转换模块以分解帧中目标对象的颜色。若目标对象背景中具有与其相近颜色的其他对象时，则通过CBWH模块从其背景干扰中恢复对目标对象的筛选，并确定可能的颜色分布，再调用CAMS模块；否则直接调用CAMS模块。此外，当目标对象的路径被障碍物遮挡时，CAMS模块将输出到UPF模块，进行目标对象路径的正确估计，再通过基于稀疏表达的异常行为识别模块最终以视频形式显示。

图1 多技术人体异常行为检测与识别系统框架

1.1 CAMS跟踪算法

CAMS是一种目标跟踪算法，它通过改变窗口的大小将循环中的Mean-Shift算法结合起来直到收敛[14]。初始化搜索窗口的位置和大小须包含视频序列中目标对象的所在区域，通过对搜索窗口内每个像素的色调进行采样，生成概率密度函数并存储为直方图目标对象的模型[15]。在跟踪的下一阶段，通过扫描所捕获场景的每个像素来进行概率分布估计，最后计算该像素属于目标对象的概率。若隐藏搜索窗口基于(x，y)坐标的初始位置，则搜索窗口第零，第一和第二阶图像矩阵可表示如下：

(1)

(2)

(3)

式中：p(x，y)表示图像中位置(x，y)处的概率值，x和y分别表示矩形搜索窗口的坐标。在下一步中，搜索窗口中的中心位置(Cl)可利用下式计算：

(4)

同时，通过使用目标对象的纵横比(Ar)来更新搜索窗口位置：

(5)

Width=2M00×ArHeight=2M00/Ar

(6)

CAMS跟踪算法用于检测和跟踪视频序列中的目标对象时，重复上述式(1)-式(6)直到达到所需的收敛状态。但当目标对象具有与其背景中其他对象颜色相似时，算法跟踪性能通常会变差。其次就是在视频序列中所要跟踪的对象出现遇到被遮挡的情况时，CAMS跟踪算法就会失去对物体路径的估计能力，从而导致跟踪效果不佳。这两个突出的问题在当前大多数跟踪算法都较为突出。因此，引入CBWH和UPF方法来加以优化。

1.2 校正背景权重直方图(CBWH)技术

在对目标对象进行跟踪时，检测区域中通常会包括对象的背景信息，当目标和背景或背景中其他对象具有较高相关性高的情况下，对象的定位精度将降低，从而影响跟踪准确性[16-17]。为最小化背景特征的对定位精度的影响，引入了CBWH技术来刻画目标对象与背景之间的特征差异[18]，以提高对目标物体的跟踪精度，CBWH的数学模型可表示如下[19]：

(7)

(8)

(9)

(10)

1.3 无味粒子滤波(UPF)技术

滤波技术被广泛用于建立模型，其主要目的是估计后续帧中目标对象的状态。比较常见的滤波方案是采用序贯蒙特卡洛法，即粒子滤波器(Particle Filters，PF)对后续统计值进行估计和计算，其中包括平均值、模式、峰度和方差等。然而，PF对抽样的合理性要求较高，若不能使用最新的可用信息来估计新的状态值，则只有少数粒子可以存活。因此，采用UPF方法作为提议分布，将粒子尽可能多地移向高可能性区域，以便恰当地估计目标对象在被遮挡情况下的路径。UPF算法第一阶段涉及到的目标对象初始化状态可表示如下：

(12)

(13)

(14)

(15)

(16)

(17)

(18)

通过最后步骤的计算，将生成来自已知提议分布的样本粒子。其中每个样品粒的权重已知，并进行归一化处理。由此将CBWH和UPF集成到CAMS中，以构建一个可靠且高效的人体异常行为检测和识别系统。

1.4 图像稀疏表达

异常行为图像检测的稀疏表达流程如下：先针对训练样本建立查询字典库，再根据查询字典库进行稀疏重构样本，最后通过比较重构稀疏度，对异常行为图像进行检测。图像稀疏表达如图2所示，其中x∈Rm×l表示原始特征数据，D∈Rm×n表示查询字典库，α∈Rl×n为系数矩阵，同时也是x的稀疏表示。

图2 图像稀疏表达

稀疏表达式如下：

(19)

式中：λ表示权重系数，‖α‖1表示系数矩阵的稀疏度。设定异常行为图像检测的特征数据为sampletest∈Rm，它在查询字典库上的表示系数为：

(20)

重构误差φ为：

(21)

比较重构误差与阈值，判定样本sampletest是否为异常行为。

2 实验与分析

2.1 实验基础

为验证所提方案的可行性和有效性，基于Windows 10平台使用MATLAB(R2016a)进行了实验，该模型运行于6核i7-8700处理器，8 GB RAM的惠普690-076ccn台式计算机上。其数据来源的视频文件通过Canon HF R806百万像素数码摄像机采集，分辨率设置为350×320，速率32帧/秒。通过将视频进行格式转换后加载到传统的CAMS算法和提出的跟踪方案中以观察其检测和识别性能。

所提跟踪检测方案流程大致如下：首先基于帧间差异确定视频序列中的图像变化；其次通过在二值图像上设置阈值来提取轮廓，以得到关于目标对象的特征向量，并利用目标对象周围的统计像素值来计算颜色直方图；最终通过反投影恢复原始对象的颜色概率分布。当跟踪目标对象被遮挡时，UPF模块利用轨迹历史来预测下一组帧中的对象的位置；当跟踪目标对象在其背景中具有相似颜色的其他对象时，CBWH模块用于提供信息使CAMS算法聚焦于目标对象而非背景。实验主要设置无障碍遮蔽、有障碍物遮蔽和背景中存在相似颜色其他对象三种场景下所提方法与传统CAMS方法的对比案例，其具体实验步骤和结果如下。

2.2 无遮挡场景下的跟踪性能对比

本组实验通过使用一组没有任何障碍物遮挡的视频文件，分四次对所提方法和传统CAMS算法的检测和识别性能进行检验。图3为使用提方法和传统CAMS方法的一组人体运动检测和跟踪结果。

图3 分别在50,150,250和350帧进行人体运动跟踪 ((a)-(d)为传统CAMS方法;(e)-(h)为所提方法)

从图3所示的结果可以看出，所提多技术跟踪策略能准确估计从初始帧(图3(e))到最终帧(图3(h))的人体运动路径。由于没有障碍物遮挡，CAMS算法也正确地估计了人体运动的路径(如图3(a)-(d)。在所有帧中，所提方法和CAMS在沿X和Y轴对目标对象路径估计方面的性能如图4所示。可以看出所提方法具有与传统CAMS方法相似的跟踪性能。在四个不同实验中，通过使用均方误差(MSE)来对所提方法和CAMS方法沿两X和Y轴对目标对象路径估计的准确性进行比较，其结果如表1所示。

(a) 沿X坐标

(b) 沿Y坐标图4 无障碍路径估计结果

试验数量CAMS法MSE所提方法MSEX轴Y轴X轴Y轴10.250.230.270.2220.190.170.140.1530.230.150.140.1840.240.230.190.13平均值±标准0.227± 0.0230.195± 0.0530.185±0.0350.170±0.063

通过计算四次实验结果可得，提方法沿X轴和Y轴的平均估计误差分别为0.185%和0.170%，而CAMS方法沿X轴和Y轴的平均估计误差分别为0.227%和0.195%。从实验结果可以看出，传统的CAMS方法在没有障碍物的情况下能够正确估计视频序列中目标对象的路径。

2.3 存在障碍物遮挡时的跟踪性能对比

本组实验以一系列面部视频为实验对象，引入尺寸约为210 mm×297 mm的A4白纸作障碍物对目标对象进行遮挡以比较所提方法和传统的CAMS算法对目标对象的跟踪性能，其实验结果表明，提出的混合跟踪方法因引入无味粒子滤波器的预测能力，可以在目标对象被遮挡或者恢复时保持较好的跟踪性能。针对传统方法和所提方法，分别沿X和Y轴对目标对象路径进行了估计，其结果如图5所示。

(a) 沿X坐标

(b) 沿Y坐标图5 目标对象被遮挡时路径估计结果

由图5可知，在有遮挡场景中提出的方法能够正确地估计并跟踪目标对象的路径。传统CAMS方法在无遮挡时表现良好，但当完全遮挡时，在沿X轴(280.2，105)丢失了物体路径的完整轨迹。沿Y轴跟踪效果与X轴相似，丢失轨迹的处为(269.2，87.8)。进一步分析两种方法的平均跟踪精度，结果如表2所示。

表2 所提出方法与CAMS算法在有遮挡情况下的跟踪结果

根据表2中所示的目标对象路径估计结果，可以观察到所提方法在X和Y轴上实现了82.8%的平均估计精度，而传统的CAMS方法由于障碍物的遮挡，其平均估计精度仅为55.37%。该结果也说明UPF技术的引入，对系统在存在障碍物遮挡的场景中对目标对象的跟踪和识别性能具有一定的改进能力。

2.4 在公开数据集UMN上的实验验证

实验所用UMN数据集的包含3个不同拥挤场景，分别采用3个不同场景对异常行为进行检测。如图6所示，(a)-(c)为正常帧，(d)-(f)为存在异常行为的异常帧。采用所提算法与传统光流法和社会力模型等方法分别在三个情景中进行比较，其中，传统光流法和社会力模型的结果参考自文献[20]。实验结果通过绘制接收者操作特性曲线(receiver operating characteristic curve，ROC)来表示，如图7所示。

图6 公开数据集UMN中正常帧(a-c)和异常帧(d-f)

图7 不同方法在公开数据集UMN中的异常探测ROC曲线

图7中，S1、S2、S3分别代表UMN公开数据集中的三个不同场景，从图中可以看出，在不同场景下，所提方法都较传统光流法和社会力模型等方法有更好的异常行为识别效果。这是因为提出的方法为最小化背景特征的对定位精度的影响，引入了CBWH技术来刻画目标对象与背景之间的特征差异，提高了对目标物体的跟踪精度。

2.5 存在背景影响的跟踪性能对比

本节实验目标对象背景中存在与其相似的其他对象，主要检验传统CAMS方法和所提方法在老年人摔倒等异常行为方面的检测和识别效果。实验结果如图8所示，(a)-(c)为传统CAMS算法，(d)-(f)为所提方法。尽管背景中存在与其跟踪目标相似颜色的其他对象，算法也能保持对视频序列中目标对象的良好跟踪效果，而传统CAMS方法却不能较好地检测和识别该异常行为。

图8 传统CAMS算法和所提出算法在50帧、100帧和150帧处当背景中存在其他类似物体时对异常行为的检测情况

此外，分析所提方法和传统的CAMS算法分别沿X和Y轴对移动小球进行路径估计情况，其结果如图9所示。可以看出，无论背景中是否存在与目标对象颜色相近的其他物体，所提方法都能够正确地估计目标物体沿X和Y轴的路径。CAMS算法仅能在开始阶段具有较好的跟踪效果，而分别在沿X轴(77.3，135.5)，沿Y轴(39.5，193.7)处丢失对目标对象完整路径的估计。分析两种方法沿X和Y轴对目标对象的跟踪的MSE，其结果如表3所示。

(a) 沿X坐标

(b) 沿Y坐标图9 当目标对象背景中有相似颜色的其他物体时的路径估计结果

试验数量CAMS法MSE所提方法MSEX轴Y轴X轴Y轴10.580.460.170.1520.340.440.130.0930.530.560.210.1540.550.640.220.21平均值±标准0.5±0.1230.525±0.1430.182±0.0360.15±0.032

根据表3中对目标对象路径估计的统计结果显示，所提方法在X和Y轴上的平均估计精度为83.4%，而由于背景中与目标对象颜色相似的其他对象的存在，传统的CAMS方法估计精度仅为48.75%。所提方法由于引入了CBWH技术，使得跟踪算法能够从相似颜色对象中准确检测并跟踪目标对象，从而实现系统跟踪性能的改进。

此外，进一步将所提方法与CAMS引导粒子滤波器(CAMS+PF)和CAMS引导卡尔曼滤波器(CAMS+KF)进行运动跟踪的性能评估比较，以处理粒子所花时间为对比指标，其结果如图10所示。

图10 同时估计目标物体路径时处理粒子所花费的时间对比

三次实验结果显示，CAMS+PF和CAMS+KF处理粒子以跟踪目标所需平均时间分别为0.09 s和0.088 2 s，所提方法用时最短，为0.065 s。这再次说明所提对象跟踪方法相对于现有方法有较强的鲁棒性和较高的精确性，更具有快速估计目标对象的路径的优点。

3 结 语

针对室内人体异常行为检测与识别问题，集成了CAMS、CBWH和UPF技术，提出了一种对目标对象检测与识别的混合算法，同时利用三种不同场景，对比了所提算法与传统CAMS在路径跟踪和目标检测方面的性能比较。实验结果表明，所提方法在有障碍物遮挡和目标颜色与背景中有相似对象的情况下，具有更好的识别和跟踪性能，对于提高室内人体异常行为的检测与识别的准确性和快速性具有重要意义。

但目前研究大多局限于单个摄像机的目标对象跟踪与识别，对于复杂场景下多摄像机中目标对象的跟踪与识别问题仍亟待解决。整合CAMS、CBWH和UPF三种技术，提出针对有障碍物遮挡和背景中具有相似颜色目标对象的目标检测与识别方法，将有望提高在拥挤场景下多个摄像机中目标对象跟踪与识别的快速性和准确性。