APP下载

速度异常的横穿马路行人检测算法

2018-06-06许烨豪杨大伟大连民族大学机电工程学院辽宁大连116605

大连民族大学学报 2018年3期
关键词:摄像机行人速度

许烨豪,毛 琳,杨大伟(大连民族大学 机电工程学院,辽宁 大连 116605)

横穿马路的行人运动速度太快、太慢或者突变都可能影响驾驶者的判断,从而导致交通事故。车载辅助系统应能够在交通路口为驾驶者提供异常行人的速度预判信息。文献[1-2]通过对不同红绿灯情形进行建模分析并实际采集某路段的交通视频,分析红绿灯与行人穿越马路的方式对行人安全性的影响,这种方法主要研究交通环境与行人安全的关系,受实际环境的影响较大。文献[3]同样以分析交通环境为主,主要研究夜间情况下交通信号灯的控制方案与行人车辆碰撞冲突的关系,通过实地采集交通数据,研究能保证行人安全和车辆正常通行的交通信号配时方案。文献[4]将关注点集中在人的头部,通过判断头部姿态预测行人可能的运动方向,将运动方向会与车辆发生冲突的行人判定为危险行人。但文献[3-4]对采集图像的分辨率要求较高,无法用于一般的车载摄像头。文献[5]建立了一个行人运动和横穿马路的神经网络模型,利用行人的运动轨迹来计算行人的碰撞概率,这种方法主要是分析行人的运动轨迹和趋势与车行方向的关系,缺点在于危险判断的范围距离车头过近且判断方式过于单一,不能很好地适用于复杂环境。文献[6]提出一种基于模糊判决的行人碰撞分析方法,通过采集行人步进方向、速度、车速以及车和行人的相对距离四种要素,采用模糊推理法进行危险程度的计算。文献[7]提出一种动态骨架行人行为识别算法,根据预先设计的异常动作找出特定行人目标,而文献[8]提出一种针对街道上低头使用手机行人姿态的辨识算法,这两种方法计算量较大。

本文所提算法依靠单目摄像机,利用行人运动特性的跟踪学习检测(Tracking Learning Detection,TLD)快速检测算法和自适应融合颜色和梯度方向特征的粒子滤波跟踪算法来提取目标行人信息,以行人运动速度为判决依据,寻找行人目标中的异常行人,有效发现对交通安全造成威胁的目标,一方面为驾驶者和车载辅助系统提供早期路况预警,另一方面为后续行人风险分析与行人意图分析提供必要参考依据。

1 速度异常行人检测算法

在人车混行的交通路口,行人的速度往往决定了发生意外的概率。过快的速度会使驾驶者来不及反应,而过慢速度的行人可能包含老人等弱势群体,在横向穿越马路过程中,也更加值得驾驶人员注意。

给定车前行人可能的运动速度上下确界为VMAX和VMIN,正常行走的行人速度满足v0∈[1.1,1.4] m·s-1,设α为异常速度参数,v为待测量行人的实际行走速度,且v,v0∈[VMIN,VMAX],若

∃v,|v-v0|>α

(1)

成立,则该行人为速度异常行人,以下称为异常行人。

异常行人检测算法逻辑框图如图1,本文通过行人运动特性的TLD快速检测算法[9]、自适应融合颜色和梯度方向特征的粒子滤波跟踪算法[10]来获取图像坐标系下的行人信息,经逆透视映射[11]得到世界坐标系下行人实际运动速度,利用速度异常行人辨识对异常行人做出检测框标识。

图1 异常行人检测逻辑框图

1.1 行人轨迹提取

1.1.1 行人检测

行人运动特性的TLD快速检测算法,通过窗口扫描方法在图像坐标系中对行人目标进行搜索,经由

fB(g)=maxz∈Z(g)β·Φ(g,z)

(2)

计算全部搜索框得分,确定行人检测目标位置结果。式中:fB(·)为目标得分;β是模型的参数向量;Φ(g,z)是模型的特征向量;z是目标配置参数。Φ(g,z)是特征金字塔中任意窗口所对应的HOG特征和部件变形特征构成的特征向量。该公式所得结果即为行人位置坐标,x、y分别为行人在图像坐标系中的横坐标和纵坐标。

1.1.2 粒子滤波跟踪

该算法采用空间核函数加权颜色直方图和梯度方向直方图来对特征进行描述,经融合实现对目标的建模和跟踪,改善单一特征信息导致的跟踪精度低和鲁棒性差的问题。

设从初始时刻到t时刻,离散动态系统的状态序列为Xt={X1,…,Xt},观测序列为zt={z1,…,zt}。系统的状态转移模型和观测模型分别为

Xt=G(Xt-1,qt),zt=H(Xt,st)。

(3)

式中:G为状态转移方程;qt为过程噪声;H是测量方程;st为系统的测量噪声。

将行人坐标(x,y)代入式(3)作为粒子滤波算法的初值,得到下一帧的行人坐标位置。

(4)

成立。当μ足够小时,可以认定粒子跟踪滤波器所得行人位置能够近似估计行人运动轨迹。

1.2 异常行人辨识

1.2.1 俯视行人位置变换

俯视变换的目的是针对单目摄像机,利用基于消失点的鲁棒逆透视映射变换,获得二维世界坐标系下(不含Z轴高度信息)的行人轨迹位置,逆透视映射示意图如图2。图2(b)中线段AB和CD为实际行车视角在俯视角下的边界线,线段AC为车头所在位置。坐标转换公式为

(5)

(6)

式中:(U,V)为行人在摄像机图片中的像素坐标;(M,N)是图片的长和宽;(rx,ry)是行人在俯下的实际坐标;(Cx,Cy,Cz)是摄像机在世界坐标系中的位置;αU和αV是摄像机在水平和垂直方向上的孔径角;θ是摄像机相对于水平方向的倾斜角。经计算可得,图2(a)中行人i和j在俯视角下的实际位置(rxi,ryi)和(rxj,ryj)。

(a)实际行车角度

(b)俯视角下的车前环境

1.2.2 行人速度计算

设Fk和Fk+1分别为视频第k帧和第k+1帧时的行人位置矩阵。

Fk={(rx1k,ry1k),(rx2k,ry2k),…,(rxfk,ryfk)};

(7)

Fk+1={(rx1k+1,ry1k+1),(rx2k+1,ry2k+1),…,

(rxfk+1,ryfk+1)}。

(8)

式中,(rxik,ryik)和(rxik+1,ryik+1)分别为行人i在视频第k帧和第k+1帧的实际坐标位置。则行人i的运动估计速度为

vik+1=(rxik+1-rxik)/t。

(9)

式中:vik+1为第k+1帧时行人i的运动估计速度;rxik和rxik+1分别为第k帧和第k+1帧时的x轴横坐标,;T为相邻帧间的时间间隔。

1.2.3 速度异常行人检测

设异常行人的速度异常程度为VAD(Velocity Anomalous Degree),用来描述该行人的速度与普通行人速度的差异程度,且VAD∈[-1,1],负值表示慢速异常,正值表示快速异常。VAD数值越接近0说明行人速度偏离正常值越小,此时行人与正常行人速度差异不大,危险性较小;相反,则说明当前行人的速度偏差较大,危险性也较大,更加值得关注。

根据运动速度的不同将异常行人分为慢速异常行人和快速异常行人。其中,慢速异常行人和快速异常行人均满足式(1),vv0为快速异常。则速度异常程度计算公式为

(10)

式中:v为异常行人速度;v0为普通行人速度;VSP为慢速异常系数;VFP为快速异常系数。

2 仿真测试

本文采用单目摄像机,仿真环境为Windows10和MATLAB 2014b。仿真所用参数v0=1.25,α=0.3,VFP=3.75,VSP=1.25,VMIN=1,VMAX=5。仅对视频中的异常行人用实线检测框进行标识说明。

慢速异常行人的横穿马路仿真场景如图3:(a)在第46帧时,行人B被判定为慢速异常行人,此时运动速度估计值0.83 m·s-1,VAD为-0.33;(b)为仿真视频第54帧,从这一帧开始行人A的速度稳定在 0.92 m·s-1,对应的VAD为-0.26,将行人A判定为慢速异常行人;(c)为视频第93帧,行人B速度估计值0.76 m·s-1,且VAD为-0.39,为慢速异常行人。在这3个场景的视频中可以看出,慢速异常行人穿越马路的速度明显低于正常行人,极容易滞留在街道路口,对驾驶员的注意提醒可以帮助区分行人是否完全通过马路。

(a) (b) (c)

快速异常行人横穿路口的仿真场景如图4:(a)在第51帧时,行人B的速度估计值为1.81 m·s-1,对应的VAD为0.15,表现为快速异常行人;(b)快速异常发生在第84帧,行人A的速度估计值为1.88 m·s-1,VAD值为0.17,行人A为快速异常行人;(c)在第32帧时,行人B的速度估计值为2.11 m·s-1,VAD为0.23,行人B为快速异常行人。快速异常行人是对多车并行通过能力的挑战,驾驶员应格外注意这些突然加速的过街行人,以防危险发生。

(a) (b) (c)

混合异常行人仿真场景如图5,场景中包含有多个快速异常或慢速异常的行人:(a)中,一前一后两人,一快一慢同向而行,从驾驶者角度观察,当两人重叠遮挡后,快速行人对于车辆驾驶者来说危险程度较高,特别值得提早关注;(b)和(c)场景,行人快慢相向而行,对于可能滞留在街道上的行人来说,发生危险的可能性也更大。

(a) (b) (c)

由于行人检测和跟踪算法可能会给出错误的行人坐标而导致该异常行人检测算法的判定结果出错,在经过测试1 500帧行人视频后,该异常行人算法对道路上异常行人的正确判定概率为69.5%。

3 结 语

为了保护交通路口的行人安全,本文应用单目摄像机,提出一种速度异常的横穿马路行人检测方法,实现对特定行人的标识。通过异常行人目标的检测与辨识,将匆忙赶路的行人、关注手机的行人和弱势群体等行人纳入异常行人目标进行重点关注,可以实现对行人的早期防护。该算法结合检测与跟踪技术,利用逆透视映射方法有效地估计出路面行人的运动速度,对运动速度过快或过慢的异常行人目标进行标识,为行人风险分析与意图估计计算出必要先验信息。经仿真验证,本算

法能够较准确地计算出视频中行人的运动速度,辨别出多个横穿马路行人中的异常目标,为驾驶者提供辅助预判信息,也为自主驾驶车辆提供避障和轨迹规划等应用提供依据。

参考文献:

[1] 聂瑞红, 程建川. 基于交通冲突技术的行人安全分析与改善[J]. 交通信息与安全,2012 (3): 105-109.

[2] 裴玉龙, 程坦. 城市道路平面信号交叉口行人安全分析[J]. 交通信息与安全,2009 (3): 105-107.

[3] 刘丽华, 李小江, 许伟强, 等. 一种夜间行人过街安全提示系统设计[J]. 河南城建学院学报. 2015 (6): 37-40.

[4] SCHULZ A, STIEFELHAGEN R. Video-based pedestrian head pose estimation for risk assessment[C]. International IEEE Conference on Intelligent Transportation Systems, 2012: 1771-1776.

[5] PARK S, CHOI B, KIM B, et al. Collision risk assessment for pedestrians′ safety : Neural network with interacting multiple model apporach[C]. Proceedings of SICE Annual Conference, 2010: 2897-2900.

[6] HARIYONO J, KURNIANGGORO L, WAHYONO, et al. Analysis of pedestrian collision risk using fuzzy inference model[C]. International Conference on Control, Automation and Systems, 2016: 696-700.

[7] LIU J, WANG G, DUAN L Y, et al. Skeleton-based human action recognition with global context-aware attention LSTM networks[J]. IEEE Transactions on Image Processing, 2018, 27(4): 1586-1599.

[8] RANGESH A, ESHED O, YUEN K, et al. Pedestrians and their phones - Detecting phone-based activities of pedestrians for autonomous vehicles[C]. 19th IEEE International Conference on Intelligent Transportation Systems, 2016: 1882-1887.

[9] 杨大伟, 郭超, 吕伊鹏, 等. 利用行人运动特性的TLD快速检测算法[J]. 大连民族大学学报. 2017, 19(1): 36-39.

[10] 魏天舒, 尹丽菊, 高明亮, 等. 一种自适应融合颜色和梯度方向特征的粒子滤波跟踪算法[J]. 山东理工大学学报(自然科学版). 2017(2): 17-21.

[11] ZHANG D M, FANG B, YANG W B, et al. Robust inverse perspective mapping based on vanishing point[C]. IEEE International Conference on Security, Pattern Analysis and Cybernetics, 2014: 458-463.

猜你喜欢

摄像机行人速度
行驶速度
速度
毒舌出没,行人避让
路不为寻找者而设
我是行人
摄像机低照成像的前世今生
新安讯士Q6155-E PTZ摄像机
曝光闯红灯行人值得借鉴
比速度更速度——“光脑”来了
如何消除和缓解“摄像机恐惧症”