吴松伟 刘军 范长军 陈久红 程球 柳明

摘要：在刑侦过程中通过基于视觉的行为分析与理解技术，及时地发现和识别潜在作案者的异常行为，对犯罪预警具有极为重要的现实意义。文章分析了视频监控系统在异常行为检测方面存在的问题，对异常行为检测系统的实现形式、系统架构以及异常行为检测方法进行研究。设计了视频监控异常行为检测系统的软硬件系统框架;研究了基于视频的行人检测方法与异常行为检测识别方法;完成了相关算法在上述系统上的实现与开发.系统测试表明，该系统可以准确、高效地检测异常行为，能够满足当前刑侦中视频监控产品的需要。

关键词：视频监控;异常行为检测;行人检测;刑侦

中图分类号：TP391.4

文献标识码：A

文章编号：1006-8228（2020）09-67-05

Design and implementation of video-based abnormal behavior detection system for criminal investigation

Wu Songwei'， Liu Jun2. Fan Changjun3， Chen Jiuhong3， Cheng Qiu3， Liu Ming3

（I. Investigation Technology Division of Air Force Political Worle Department， Beijing 100843， China： 2. Chine.se People's Liberation Army /Vo.63650; 3. No. 52 Re.search Institute of China Electronic Technology Corporation）

Abstract： In the process of criminal investigation， it has great practical significance to detect and identify abnormal behaviors ofpotential perpetrators by visual-based behavior analysis and recognition technology. In this paper， the problems of abnormal behaviordetection in current video surveillance systems are analyzed. and implementation forms， system architectures and related methods ofabnormal behavior detection system are studied. After designing the overall hardware and software framework of the system.studying the methods of pedestrian detection and abnormal behavior detection， and realizing the related algorithms for the system， avideo-based abnormal behavior detection system is implemented. The experimental results show that the system can detect abnormalbehavior accurately and efficiently， and can meet the needs of current video monitoring products in criminal investigation.

Key words： video monitoring; abnormal behavior detection; pedestrian detection; criminal investigation

0引言

安防監控产品日益普及，覆盖银行、地铁、停车场、超市、学校、主干道等公共场所，在刑侦、安保等领域发挥了重要作用。现有的视频监控数据量庞大，依赖人力已无法及时有效地处理，而大多数监测系统只是对监控范围内发生的情况进行简单记录和存储，并不进行检测处理。即使有人值守，由于各种复杂场景等原因，监控的实时性也不高[1]。为了解决上述问题，出现了无人值守的智能视频监控系统。

目前，一些最新的智能视频监控产品开始具备视频分析的功能，能对简单的人体行为进行检测并报警，可以辅助刑侦人员提高工作效率。国内的部分智能监控产品实现了对预先定义的简单异常事件进行检测，包括入侵检测，移动物体检测，移走物体检测等[2]。比如，华为公司研发出了eSpace IVT智能监控平台，利用网络摄像机实现多点部署，提供物体移走检测，突然出现检测，周界入侵检测、速度检测等简单功能[3]。对行人行为的理解与异常行为的检测是刑侦、安保领域研究的重点和难点之一，也是智能视频监控系统的一个重要组成部分。可以看到当前智能视频监控系统人体行为检测部分的功能依旧很弱，在智能化、模块化的方向上仍有很大改进空间，目前还缺少一套完善的方法和系统框架能够对监控视频中行人的异常行为进行有效检测和识别。

针对上述现象，本文设计并开发了一套行人异常行为检测与安全预警系统，对该领域的技术发展与进步进行积极的探索。首先，设计了异常行为检测系统软、硬件系统框架，通过分层的方法，支持硬件设备的自由拓展，比如：增加监控点、增加处理器，以支撑多种算法的高效调度和运行;其次，研究了现有的行人检测算法与人体行为动作识别算法，选择稳定高效的对应算法进行组合研发，以实现所需的功能;最后，在上述框架和算法的基础上，实现了一套行人异常行为检测系统，完成算法在平台框架上的调试，并实际运行和测试。

1系统功能分析与总体设计

1.1系统功能分析

针对银行、医院、广场、主干道等公共场所，为异常行为检测视频监控与预警安全系统设计了以下主要功能，如图1所示。

（1）提供视频图像分析引擎功能，支持普通单路视频单人、多人行为动作识别，支持多路视频并行处理。其中，单人异常行为主要包括攀爬、发狂、打砸物品等;多人异常行为主要包括抢夺财物、袭击他人等;

（2）行人主动求助。行人在面对危急情况时可以通过面向摄像头做特定动作（比如，双臂交叉挥舞）启动求助功能。在这样的情况下，摄像头能够识别求救信号，启动救助程序;

（3）远程查看。刑侦人员可以在网上远程查看摄像头的实时录像。

1.2系统总体架构设计

本系统由多路行人卡口IPC网络摄像机、前端Web服务器、后端算法服务器、大数据服务器等硬件以及运行在这些服务器平台上的算法及软件组成。总体的系统架构如图2所示。

异常行为识别系统总体采用层次化、模块化设计，不同类型的服务器上部署有不同功能的软件服务。后台算法服务器提供可供调用的智能算法库，包括对异常行为进行检测的神经网络的训练和推理算法等，并保证算法运行的实时稳定;算法调度模块通过下层算法库提供的接口调用算法，并保证调度的效率和有序性;拉推流模块负责拉取边缘节点IPC的视频流，以及将处理完成的视频流推送至中心调度模块;中心调度模块负责数据的传输与调度工作，Web页面模块负责产品前端展示部分，此两者均可运行在Web服务器上。同时，在大数据服务器上加入分布式计算与分布式存储的内容.分布式计算模块负责对历史视频数据和检测结果做进一步的分析与挖掘，分布式存储模块负责行人视频数据库与历史信息数据库的维护。

在以上的系统框架下，数据在各模块之间流动，实现了整个异常行为检测系统的功能。总体的数据流向如下：多路边缘感知节点IPC采集各路视频流，智能算法服务器拉取视频流并进行行人检测算法和异常行为检测算法处理，算法处理后原始视频流加处理结果传送至Web及调度服务器中的中心调度模块进行调度;最后，中心调度模块对Web展示和大数据计算及存储进行调度，完成算法处理结果的存储、展示，或者进一步的挖掘。

1.3管理配置流程设计

对多路视频的支持要求异常行为检测系统有强大的计算能力以及良好的可扩展性，设计的原则是尽量保证各模块的低耦合。为此，该系统的计算服务器均以集群的形式来提供，在此基础上本文设计了对应的集群配置管理体系及流程。具体如图3所示。

总的配置管理流程分为五个步骤：

Step1用户通过Web可视化管理平台发起服务管理配置请求，如所需的智能处理服务选取（行人检测、异常行为检测），视频/图像选取，服务参数设定（类别、阈值）等，或者通过业务系统发起服务管理配置请求，并发给视频图像分析引擎;

Step2视频图像分析引擎通过解析服务管理配置，对集群管理提出资源请求;

Step3集群管理根据获得的服务请求进行资源配置，并返回请求结果给视频图像分析引擎;

Step4视频图像分析引擎根据服务配置解析得到的结果以及分配到的资源，调度图像视频智能处理服务;

Step5视频图像智能处理服务反馈服务启用情况给Web可视化管理平台。

1.4算法总体流程设计

异常行为检测与其他生物特征识别技术相似，应用过程的基本流程包括先对要识别的行人目标进行检测和分割，然后针对这些行人目标，开展人体行为动作的分析和异常与否的判定。

总得来说，系统开始运行时，管理员首先需要接入实时视频流，同时设置异常行为事件上报接口。然后启动人员分析服务，对实时流中的行人进行检测，进而针对行人进行行为动作的识别和分析，如果分析结果中包含攀爬、发狂、打砸物品等异常行为和抢夺财物、袭击他人等危险行为，则将异常的行为动作上报给用户。具体如图4所示。

本系统算法总体流程如图5所示，异常行为检测的流程主要包括了行人检测以及人体行为动作识别两个部分。异常行为检测服务在收到视频图像时，首先进行多目标行人检测。其中，行人检测分为三个步骤：①通过运动建模来区分背景和运动的物体;②通过人体检测从前景中筛选出图像中的所有行人;③针对检测出的行人做优化筛选处理。其次，在这些多人检测结果的基础上，结合3D CNN（3-Dimension ConvolutionalNeural Networks）与LSTM（Long Short-Term Memory）深度神经网络来进行人体行为动作的识别。最终，根据阈值将算法的输出结果进行筛选，判定是否为异常动作或者危险动作，通过上报接口对动作进行上报。

其中，人体行为动作识别由三维卷积神经网络3DCNN与循环神经网络LSTM相配合来实现，神经网络的实现总体包括两个步骤，分别是离线模型训练与在线实时推理。由于基于神经网络的方法需要大量的数据，并且训练过程需要耗费大量的算力和很长的时间，因此，需要在系统搭建之初即完成数据收集以及模型训练的工作，在系统的实施阶段将模型导入服务器以作为后续在线实时推理的基础组件。

算法总体的业务逻辑如下：当程序启动后，根据相机ID创建进程，然后初始化四个主要功能模块：视频拉推流功能模块，行人检测模块，人体行为动作识别模块，逻辑判定模块。算法框架中这四个模块可并发执行，初始化完成后，根据到来的实时视频流依次执行上述功能。

2异常行为检测算法原理与设计

在现实环境中，可疑目标行为在不同场景下存在着背景杂乱、视线阻挡和视角变化等情况。过去大量人体行为识别方法的应用场景苛刻，例如目标小尺度变化和小视觉改变等，但现实中难以满足。而且传统的检测方法因判别因素单一，且缺乏多因素之间的关联性分析，而难以取得令人满意的检测效果。本文针对上述的缺点与不足，分两个阶段进行异常行为的检测：①对运动视频采用基于混合高斯模型的方法进行背景建模以得到运动前景，对这些运动前景提取HOG特征并采用支持向量机进行行人检测与识别以得到每帧图像中的行人前景;②弱化视频中每帧图像背景区域的影响，将处理后的视频通过结合3D CNN及LSTM深度神經网络的方法来进行行人人体行为动作的识别。将识别出的行为类别及其置信度与预设的阈值做比较，最后得到异常行为检测的结果。

下面针对异常行为检测系统中最重要的两个算法，行人检测与人体行为动作识别，分别进行分析与阐述，并针对本文系统进行了针对性的设计。

2.1行人检测算法

行人检测采用混合高期模型（Gaussian Mixed Model，GMM）加支持向量机（Support Vector Machine，SVM）的方式来实现。主要有两个步骤：①使用混合高斯模型对视频中的每帧图像进行背景建模，提取出运动前景图像区域;②对前景图像区域进行行人检测，判断前景图像中是否含有行人以及行人的位置。

具体地，先利用混合高斯模型[4]建立视频中每帧图像的背景模型，从而实现视频图像前景目标的发现，算法代码如下：

输入：高斯模型的数量K

输出：前景目标外接矩形集合SF

for 在视频中的每一帧图像/

P←图像/标准化

If P为第一帧图像then

GMM←初始化K个高斯模型

Pb←初始化背景

else

GMM←更新高斯模型

Pb←更新背景

PJ←P←Pb

BRs←对PJ进行二值化

BR←缩放BRs至视频大小

Pf'←对BR进行形態学处理

Pf''←计算p'的轮廓

SR←计算Pf''中各个目标的外界矩形

SF←精简轮廓

end if end for

基于方向梯度直方图与支持向量机[5]的行人检测算法如下：

Step1创建SVM行人检测分类器，分类器类型为epsilon类支持向量回归机，使用径向基核函数;

Step2将SR设置为当前帧Pcur的感兴趣区域，并裁剪得到Pdst;

Step3将感兴趣区域提取出来保存至新的图像中，并放缩至固定大小，比如64×128，以提高算法运行速度，并防止输入图像过小以至小于检测窗口的最小限制;

Step4使用直方图均衡化增强Pdst的亮度和对比度，并对其进行多维度检测，并将结果保存到集合SPR中;

Step5遍历集合SPR，处理得到的行人矩形框，将不嵌套的矩形框加入新集合SPF中，而嵌套的矩形框则取大的矩形框加入SPF;

Step6求出矩形框在原图像Pcur中的坐标，得到行人检测结果;

Step7重置Pcur的感兴趣局域，重复步骤2-7，知道SR遍历完成。

2.2人体行为动作识别算法

通过行人检测过程，获得了视频中每帧图像中的行人前景图像区域和环境背景图像区域;随后将背景图像区域的RGB值进行减半处理，以弱化背景部分，来突出运动行人前景部分，我们把经过上述处理的视频序列记为V。

假设视频序列V有N帧图像，可表示为V=（v1，v2，…，vN）。首先，将V分割成T个短视频序列（或称视频剪辑），则V= （v1s，v2s，…，vts，…，VTs），其中vts表示第t个视频剪辑，其中T= N/K，其中K是每个视频剪辑的长度;接着，通过3D CNN网络编码每一个视频剪辑，生成X=（x1，x2，…，xT）;最后，将上述数据输入时序模型LSTM来进行分类和识别。

首先，进行3D信号编码。采用C3D对视频V进行编码，提取时空特征X=（x1，x2，…，xT）。针对V中的每个视频剪辑，采用3D CNN对其进行卷积操作，以构建每个视频剪辑的动作特征的表征[6]。具体的卷积神经网络的结构如图6所示。

其次，生成序列转换模型。对于包含多个视频剪辑的单个视频V，使用LSTM提取多个视频剪辑之间的时序关系[7]。本文中单个视频V包含10个剪辑视频，每个视频剪辑包含16帧，即T=10，K=16。LSTM模型使用序列转换模型，输入序列为经过3D CNN编码后的X=（x1，x2，…，Xt，…，xT），输出序列为最后的隐藏层的值（h1，h2，…，hL）。在LSTM网络层的后面加上基于时间序列的池化层，输出记为Z。

最后一层为Softmax层，用来输出该视频中对应各异常行为类别的概率分布Pu，w（y），以进行人体行为动作的识别与分类，最终即可预测出该人体行为动作的类别以及对应的置信度。具体如下面的公式所示。其中，U为3D CNN网络的参数，c为备选的行为类别集合。最后，将置信度与预设的阈值进行比较，即可判定得到该检测到的行为是否为异常行为。

其中，Szc，Szc、，bc，bc、都是Softmax层的参数。

3实验与分析

为方便对本文方法进行评估，收集并标注了大量的视频数据集。重点收集的行为类型包括：攀爬、发狂、打砸物品、抢夺财物、袭击他人等，并扩充了包括走路、上楼、下楼、跑步、骑自行车、开车等20多种日常活动类别。

在此数据集的基础上。进行模型的训练，验证与测试。将训练集、验证集与测试集的比例划分为8：1：1，每次测试通过随机抽取其中的80%数据进行训练，在剩余的数据中，随机抽取50%作为验证集，另外50%作为测试集，然后循环往复测试10次，取其准确率（Accuracy）的平均值为最终结果，如表1所示。本文方法可以达到平均84.0%的准确率。从D.Tran等人的工作[8]可知，当前较好的深度3D CNN方法在UCF101数据集上的平均准确率为82.3%，与之相比，本文方法达到了较好准确率。

4结束语

本文设计并实现了一整套面向刑侦视频的异常行为检测系统，应用于刑侦、安保等领域。首先，设计了异常行为检测系统的总体框架和算法流程，主要由运行在三类服务器上的六个功能模块实现;然后，分析了系统核心算法——行人检测和人体行为动作识别，设计了由混合高斯与支持向量机实现的行人检测算法，以及由3D CNN与LSTM构成的人体行为动作识别神经网络，并基于Softmax层来进行人体行为动作的分类;最后，根据分类的结果及其置信度与对应的阈值相比较，实现了对异常行为的准确检测。基于上述设计进行了广泛的实验，实验结果表明了本文系统的有效性。

参考文献（References）：

[1]王娟.基于视频的异常行为检测系统的设计与实现[D].西南交通大学硕士学位论文，2015.

[2]雷玉堂，安防&智能化视频监控系统智能化实现方案[M].电子工业出版社，2013.

[3]尚进.监控视频中行人异常行为检测系统的设计与实现[D].东南大学硕士学位论文，2015.

[4]徐志通，骆炎民，柳培忠，欧阳怡，赵亮.一种基于时空HOG与级联SVM的行人检测算法[J].海峡科学，2016.7.

[5]黄鑫娟，周洁敏，刘伯扬，自适应混合高斯背景模型的运动目标检测方法[J].计算机应用，2010.30（1）：71-74

[6]刘嘉莹，张孙杰.融合视频时空域运动信息的3D CNN人体行为识别[J].电子测量技术，2018.7.

[7]刘景巍，基于扩展数据集的LSTM行为识别方法研究[D].辽宁大学硕士学位论文，2018.

[8] D. Tran，L Bourdev， R. Fergus， L. Torresani， and M.Paluri. Learning spatiotemporal features with 3dconvolutional networks. Proc. 2015 IEEE Int. Conf.Comput. Vis.， Dec，2015：4489-4497

收稿日期：2020-04-02

作者简介：吴松伟（1982-），男，山东潍坊人，硕士，工程师，主要研究方向：侦查工程，智能安防。

通讯作者：刘军（1974-），男，河南洛阳人，硕士，高级工程师，主要研究方向：计算机网络技术，大数据技术。