田瑞娟,雷雨能

(西南自动化研究所，四川 绵阳 621000)



【信息科学与控制工程】

基于DM8168的哨位安全智能视频分析系统

田瑞娟,雷雨能

(西南自动化研究所，四川 绵阳 621000)

设计了一种基于DM8168嵌入式平台的多路视频输入的哨位安全智能视频分析系统，并采用灰度与光流双模型的背景建模与更新，实现了对人员闯入、遗留物检测，并对哨兵异常行为识别；试验表明：系统的检测精度高，虚警率较低，系统性能稳定、实时性好；本系统在哨位安防监控中得到了很好的应用，有效提升了哨位对安全威胁的预警能力，满足武警、公安部队哨位智能设备的应用需求。

DM8168；哨位安全；视频分析；背景建模

哨兵是哨位职责的执行者，承担着保护目标安全的神圣使命，因此极易成为恐怖分子和黑恶势力攻击的对象。最近几年国内外针对哨兵被袭的恶性事件屡有发生，给哨兵带来极大的生命安全威胁。如中国重庆和沈阳发生的两起哨兵遇袭的恶性案件、印度兵营被袭击事件等等[1]。

目前哨位安全主要靠哨兵进行“人防”，提高哨兵的敌情观念、增强哨兵的防范意识等手段来实现。由于受限于哨兵视线、注意力等多方面的限制，安全预警能力普遍较低，因此迫切需要采用先进的技术手段对安全威胁进行主动识别[1-3]，及时提醒哨兵进行处置。通过“人防”加“技防”，有效提高哨兵的快速反应能力和处理突发事件的能力，充分保障哨位及目标的安全。

哨位安全智能视频分析系统是以保障哨位安全为目的，通过智能视频分析技术对哨位一定范围内的威胁人群或威胁物品进行智能检测、识别、预警，对哨兵出现的异常行为进行检测和预警。

本文的哨兵安全智能视频分析系统采用基于TMS320DM8168为核心的数字视频处理器。在该处理器上实现对哨位区域的多路视频进行采集、处理、传输。系统可根据监控区域的具体情况设置非规则的虚拟警戒区域和虚拟警戒线，自动对警戒区域内入侵人员进行检测，对出现的可疑滞留物进行检测，以及对哨兵出现的异常状态检测。

1 DM8168处理器介绍

DM8168嵌入式硬件平台为TI公司的达芬奇架构视频处理器。TMS320-DM8168是TI Davinci系列数字多媒体处理芯片，是一款基于DSP+ARM架构的高性能、高集成度、超低功耗的高清图象处理器芯片[4-5]，集成了4个内核和多个外设和总线接口，包括11C674x DSP，主频可达1 GHz，处理能力可达8 000/6 000MIPS/MFLOPS；22Cortex A8 ARM，主频可达1.2 GHz；33VPSS M3，用于控制高清视频处理子系统HDVPSS，负责接收从TVP5158的数据总线进来的视频图像，并进行预处理如滤波、反交叠、融合以及图像显示等功能；44VIDEO M3，用于MPEG、H264、VC-1、AVS等格式的编解码。

2 系统硬件组成

哨位安全智能视频分析系统以DM8168处理器为核心，在其外围扩展存储器、电源转换、以太网接口、视频接口等设备。其系统框图如图1。

在系统中视频输入接口采用TVP5158，支持16路D1图像输入，通过4片TVP5158共可输入16路D1视频。

DM8168的视频输出形式包括： 1个HDMI视频输出接口，4个标清DAC视频输出接口，3个高清DAC视频输出接口；并提供了两个高清数字视频接口。

DM8168 处理器ARM A8运行于linux系统下，而VPSS M3、VIDEO M3、C674x DSP运行于TI的BIOS系统下，各核共享DDR内存，相互之间可通过信号量和邮箱、内存共享机制进行同步控制和数据传递。应用开发基于TI公司的DVRRDK开发工具包，目前使用版本为3.0.0.0。DVRRDK中，各软件处理单元包装为LINK，并赋予相应的输入输出控制参数。在本系统的LINK链接，应用从视频端口输入，视频帧送至DSP进行分析处理，处理帧经压缩再送至A8处理器，A8就可经网络将视频流和分析数据送出。

自行开发的智能视频分析处理应用程序通过NFS服务器下载到ARM文件系统中。通过配置BIOS地址，系统上电后，自动将哨位智能视频处理程序加载到DSP核运行。

3 视频分析处理与效果验证

DSP接收ARM A8的视频数据后，根据ARM发送的指令对相应的视频流进行虚拟警戒闯入、遗留物检测，以及哨兵的行为分析等视频处理。为保证实时性兼顾DSP处理能力，DSP每间隔2帧图像处理1次视频。

3.1 灰度与光流双模型的背景建模

在哨位安全智能视频分析系统中多为针对固定摄像机进行视频分析，因此，背景建模与更新是进行虚拟警戒与遗留物检测的基础。

1) 灰度背景模型。本文采用均值法建立灰度背景模型,Pi(x,y)表示第i帧(i∈[1,n])点(x,y)的灰度值，m(x,y)表示点(x,y)的背景模型，灰度背景模型如：

2) 区分静止背景和运动背景。Bi(x,y)表示第i帧(i∈[1,n])点(x,y)是否静止背景：

TH为阈值，目前TH值的确定主要靠经验。区分静止背景与运动背景后，用灰度背景模型表示静止背景。

3) 光流背景模型。令x={x1,x2,…,xn}表示用来训练的n个样本，xt(t∈[1,n])包括时刻t像素的灰度信息、邻域内的灰度信息以及时刻t-1对应像素的灰度信息与其邻域内的灰度信息；c={u,v,w}表示每个像素的光流背景模型，u,v,w如下式：

u=(umin,umax,u-diffmin,u-diffmax)

v=(vmin,vmax,v-diffmin,v-diffmax)

w=(wmin,wmax,w-diffmin,w-diffmax)

光流背景模型为

u=(mint{ut}, maxt{ut}, mint{u-difft}, maxt{u-difft}}

v=(mint{vt}, maxt{vt}, mint{v-difft}, maxt{v-difft}}

w=(mint{wt}, maxt{wt}, mint{w-difft}, maxt{w-difft}}

c={u,v,w},其中：t∈[1,n]。mint{xt}, maxt{xt}分别表示N帧样本中的最小值和最大值。

4) 背景更新策略。灰度背景模型更新策略为

mt(x,y),mt+1(x,y)分别表示当前帧与下一帧点(x，y)的背景模型，P(x,y)表示当前帧点(x，y)的灰度值，a∈(1,n)是更新率，按经验设定。

光流背景模型更新只针对背景运动速度变化。目标检测期间，为每个像素创建2个队列，分别记录最近N帧为前景的次数和速度信息。

Z(t)表示u,v,w在0的邻域范围内的次数,FG(t)表示被判定为前景的次数，k，r表示背景更新阈值，主要依靠经验确定。

软件流程如图2所示。

图2 视频分析处理流程

3.2 虚拟警戒区与虚拟警戒线闯入检测

运动目标检测是虚拟警戒闯入检测的核心，针对固定摄像机的视频分析，基于背景模型与更新的运动目标检测[6-7]是比较适合的视频处理方法。本文采用灰度与光流双模型的背景建模与更新方法对检测区域的视频分析，建立灰度背景模型，区分静止背景与运动背景，用该模型描述静止背景；建立光流背景模型描述运动背景，然后检测目标。

在离哨兵一定距离的区域可进行相应的非规则警戒区域或警戒线设置，一是在哨兵视线盲区进行设置，报警提醒哨兵对闯入情况的关注，二是哨兵的非接触安全区域，对区域内靠近哨兵的运动目标检测与跟踪[8-9]，闯入虚拟警戒目标进行预警。在一路视频中可设置多个警戒区和警戒线，进行不同级别的预警，相应地可接入不同的报警设备进行相应的警告，如语音、强声等预警手段。实验表明：当闯入目标的成像像素大于5×8像素，对比度大于8% 时，报警准确率达到95%以上。分析处理效果如图3所示。

图3 虚拟警戒检测效果

其中图3(a)中设置了一条警戒线和一个非规则的警戒区，当有人员出现在视场中，并接近警戒区域一定距离时，对该运动目标进行绿线框标识，但不报警；图3(b)(c)中对碰触警戒线或闯入警戒区的目标进行红线框标识并报警，若在一定时间内目标远离警戒线和警戒区，系统根据设置的规则自动销警。

3.3 遗留物检测

炸药、爆炸装置、易燃易爆的液体逐渐成为了恐怖分子一种恐怖袭击武器，通过图像处理难以进行检测与识别，而视频作为辅助手段可实现对类似爆炸物的静止遗留物进行检测，实现对运动人群中出现的可疑遗留物品的预警，而规避流动的人群对检测的影响。

遗留物检测则是在背景建模与更新中，对出现的无运动轨迹的非背景的静止目标进行检测。与运动目标检测规则略有区别，需要多帧连续视频的运动特征判断。由于进行了实时背景更新，系统适应昼夜变化。实验表明，当遗留物成像像素大于5×5，对比度大于8%时，检测精度大于90%。视频分析处理效果如图4所示。

图4 遗留物检测效果

图4(a)对划定虚拟警戒区内的非背景目标进行检测，具有运动特征的目标不报警，图4(b)虚拟警戒内出现静止非背景目标，对其进行静止时间统计，图4(c)对静止异常的目标进行预警提示。

3.4 哨兵行为分析

进行识别哨兵行为分析的目的，一是规范哨兵的行为，更主要的目的是对哨兵人身安全出现威胁时进行预警。通过对哨兵区域的视频数据分析，判断哨兵是否处于正常状态，以及对哨兵区域的近身入侵目标进行判断，规避哨兵在检测范围内的运动对检测的影响。正面站立、侧面站立、弯腰、坐下、蹲下和躺下是日常生活中几种常见的姿态[10]，而哨兵行为分析具有其特殊性，正常状态为站姿，可在小范围内进行站姿活动，蹲下、坐下、躺下，以及离岗均为异常状态，判断为哨兵执勤不规范或哨兵遇到安全威胁。

本文的行为检测不同于一般的智能监控中通过对运动目标提取运动轨迹识别行为类型。哨兵长时间仅在小范围内运动，无法进行背景建模与目标轮廓提取，因此将哨兵融入背景，进行分区域灰度特征统计。根据各区域以及整体区域的灰度特征变化判断哨兵行为是否出现异常，而在哨兵区域的外围一定环形区域进行运动目标检测来判断入侵事件的发生。实验表明，在室外非逆光环境下，当哨兵与背景的对比度大于8%，且将哨兵行为分类为正常站姿、异常站姿(蹲下、坐下、躺下统称为异常站姿)和离岗三大类，系统的哨兵行为识别准确度大于90%，检测的视频效果如图5所示。

图5 哨兵行为检测效果

图5(a)确定哨兵的活动区域，图5(b)检测到入侵的人或物，采用双线框标识报警，区别于哨兵的其他行为识别，图5(c)检测到哨兵下蹲或卧倒等异常行为，图5(d)检测到哨兵离岗，将黑线框变成白线框进行预警标识。

4 结论

基于DM8168处理器的哨位安全智能视频分析系统采用视频分析自动预警为主要手段，对入侵哨位目标和哨兵的异常行为进行自动检测。实验表明：基于灰度与光流双重背景建模的方法，虚警率低，满足工程化需求。系统可外接报警系统，实现对异常事件的预警；可单独组网使用，也可接入其他监控系统实现对监控系统的智能化升级改造。

目前，该系统集成于哨位预警系统中，在武警部队试用，运行稳定，取得了较好的应用效果，该系统实现了对现有哨位预警的系统的智能化升级，提升现有哨位的预警能力，对保障哨兵的人身安全，起到了积极的作用，本系统可广泛应用于军队、公安、武警、国家机关等重要部门的守卫。

[1] 刘治红，骆云志.智能视频监控技术在哨位安全威胁智能识别中的应用[J].兵工自动化,2011,30(7):82-85.

[2] 侯宏录,李宁鸟.一种基于运动目标识别的智能视频监控系统[J].兵工自动化,2012,31(3)：5-9.

[3] 何谐.基于DSP优化的行人识别算法在智能监控中的应用与研究[D].成都:电子科技大学,2014.

[4] 周建平,刘歆浏,赖文娟.基于DM8168的高清视频智能分析系统设计与实现[J].现代电子技术,2013，36(22):90-92.

[5] 管庆,朱海,王凯.基于TMS320DM8168的视频监控跟踪系统[J].数据采集与处理,2012，27(6):60-62.

[6] 乐应英,胡静波.融合LBP与背景建模的自适应目标检测混合算法[J].计算机与数字工程,2013，41(7)：71-75.

[7] 李亚南,周勇,田瑞娟.基于混合高斯模型和三帧差法的背景建模[J].兵工自动化,2015，34(4):33-35.

[8] 常风华.基于粒子滤波的视频多运动目标跟踪研究[D].杭州:杭州电子科技大学,2012.

[9] 李翠君,王成儒.窗口自适应更新的柔性目标视频跟踪[J].光电工程,2012，39(11):102-108.

[10]陈瑞强.基于人体姿势分析的智能监控系统研究[D].秦皇岛:燕山大学,2010.

(责任编辑 杨继森)

Intelligent Video Analysis System Based on DM8168 Security Guard

TIAN Rui-juan，LEI Yu-neng

(Southwest Automation Research Institute, Mianyang 621000, China)

We designed a kind of intelligent video analysis system sentinel security based on DM8168 embedded platform for multi-channel video input, and used background modeling and updating method of gray model and optical flow modeling of double background to realize the detection of personnel, the sentry and so on. Experiments show that the system has high detection accuracy, low false alarm rate, stable performance and good real-time performance. The system has a good application in sentinel security monitoring, and it improves the early warning ability of security threats sentinel to meet the application requirements of intelligent equipment of security forces and armed police sentry.

DM8168; sentinel security; video analysis; background modeling

2016-11-15；

2016-12-25 作者简介：田瑞娟(1972—)，女，高级工程师，主要从事图像处理和机器视觉研究。

10.11809/scbgxb2017.04.026

田瑞娟,雷雨能.基于DM8168的哨位安全智能视频分析系统[J].兵器装备工程学报，2017(4):118-121.

format:TIAN Rui-juan，LEI Yu-neng.Intelligent Video Analysis System Based on DM8168 Security Guard[J].Journal of Ordnance Equipment Engineering,2017(4):118-121.

TP3

A

2096-2304(2017)04-0118-04