谭程午，夏利民，王 嘉

(1.中南大学 信息科学与工程学院，湖南 长沙 410075；2.国防科技大学 训练部，湖南 长沙 410073)

0 引 言

人体行为识别是计算机视觉的重要研究课题，有着广阔的应用前景。人体行为识别可以分为3个方面：个人行为识别、交互行为识别、群体行为识别。群体行为分析和理解是计算机视觉、图像处理等领域中的重要研究课题。以出发点不同将群体行为分析分为宏观和微观两大类。宏观是以整体为出发点，将整个群体看作一个整体，从全局来分析群体行为。Ernesto等[1]通过利用光流法以及无监督的提取特征法对高密度群体事件进行识别。Ge等[2]则是利用伯努利形状模型对群体中的人数进行统计。Kratz等[3]利用时空运动模型对群体异常行为进行检测。胡波等[4]通过利用灰度共生矩阵对人群密度进行估计。Xiong等[5]利用能量模型检测群体异常行为。此类方法对于大规模群体以及具有共同运动模式的群体很适用，然而忽视了运动方向、个体位置等特征，所以对于松散运动模式的群体行为并不适用。而微观则是以群体中的个体为出发点，对个体进行目标跟踪[6-8]，利用目标的姿态、运动轨迹对群体行为进行识别。Tu等[9]通过人的头部和肩部对人体进行定位。Blunsden等[10]利用AdaBoost分类器对行为视频中的异常行为进行检测。Guo等[11]通过建立运动模型以及外观形状来识别群体行为。胡芝兰等[12]利用目标的运动方向对走廊内的群体异常行为进行检测。此类方法不能有效描述行人间的相互作用以及人群的整体表现。因为小规模群体通常包含两到三人，并且群体间的运动具有某种关联性，所以分析小规模群体行为的方法既包括宏观特性，又包括微观特性。

目前大多数方法都是利用群体行为参与者的运动轨迹来描述运动信息[13]。把运动轨迹当作一个动态系统，然后通过马尔可夫平稳分布计算所提取的特征。Dore等[14]提出了利用统计表示来编码基于动态贝叶斯网络的双轨迹因果关系来分析交互行为的方法。Chu[15]提出一种基于热图的算法来进行群体行为识别。首先把轨迹作为一系列热源，然后利用热扩散过程做出一幅热图来描述群体行为。尽管运动信息对于描述行为模式更直观，但是外观信息作为识别特征对于促进理解群体行为是一个很好的补充[16]。利用三维多边形来描述群体行为的可视结构，但是三维结构对于激烈的群体行为没有很好的鲁棒性，而且不容易精确获得。Zhu等[13]利用局部外观信息，如尺度不变特征变换(SIFT)，作为群体行为的一个描述符号。然而，由于群体行为中单个参与者具有外观差异性，会影响局部外观特征的可靠性。因此，整体外观特征对于群体行为的描绘更合适。

针对以上问题，为了既能描述群体中个体运动的微观特性，同时又能描述群体中潜在的整体信息的宏观特性，提出了一种基于融合特征的群体行为识别方法。先将各行人目标看成网络的节点，利用协方差跟踪获得目标的运动轨迹，并利用格兰杰因果关系检验来衡量目标之间的相互作用，同时利用此因果关系来构建成双因果网络和成群因果网络，并结合外观特征来描述群体行为。采用改进萤火虫算法的支持向量机(SVM)进行分类，提高了分类精度，优化效果显著。

1 运动特征表示

1.1 网络的节点的确立

利用群体网络识别群体行为，首先将群体中的每个目标当作一个节点，将目标之间的因果作用当作边，相互作用的大小当作网络权值，以此来构建群体复杂网络。G(V,E,W)是有向加权图，利用它来表示群体复杂网络。为了确定群体复杂网络节点，需要获得一段行为视频中目标的运动轨迹，文中利用多特征融合的协方差匹配算法来进行目标跟踪。

协方差匹配算法的基本原理是首先在第一帧中对目标模板区域进行初始化,同时计算该目标模板区域的协方差矩阵特征，从而在随后的每一帧图像的候选区域中选择与模板区域最相似的区域进行匹配，将此区域视为目标在当前帧的位置。假设一图像区域R大小为M×N，(x,y)表示一个像素点，和每一个像素点相对应，fk表示该像素的特征向量，式(1)表示提取该像素的亮度、颜色、空间距离特征以及梯度：

fk=[R(x,y),G(x,y),B(x,y),d(x,y),I(x,y),Ix(x,y),Iy(x,y)]

(1)

(2)

其中，μR表示R中每一个像素点对应特征向量的平均值。

为了确定当前帧中与目标区域最相似的区域，需要对候选区域和目标区域的协方差矩阵之间的距离进行计算[17]。通过计算两个矩阵的广义特征值的对数平方和来表示协方差矩阵间的距离，如下式：

(3)

其中，λk(Ci,Cj)表示矩阵Ci,Cj的广义特征值，利用|λCi-Cj|=0计算。

1.2 网络的边的确立

为了构建群体复杂网络，在确定节点的基础上，还需要确立网络的边。利用目标之间的因果关联度来衡量目标之间的联系程度，用成双因果关系和成群因果关系来表示两目标间的因果关联度，同时构建成双因果网络和成群因果网络，然后对两个网络的特征参数进行融合，进而进行群体行为识别。

1.2.1 成双因果

成双因果关系在描述群体中两个目标之间的关系时，只考虑两个目标之间是否存在因果作用以及相互作用的强度，而对于其他目标对这两个目标的影响是不予考虑的。Zhou[18]提出首先得到目标的运动轨迹，然后利用格兰杰因果关系检验来定量度量两个目标之间的因果特性，用因果比表示一个目标对另一个目标的作用强度，反馈比表示另一个目标的反作用强度。

Pi(t),Pj(t)分别表示两目标同时运动的轨迹，假设在一段时间内两目标运动轨迹的相互作用是一个平稳过程，通过利用q阶线性预测器对目标i的运动轨迹进行建模，得到：

(4)

和因果比的计算相似，同样得到两个目标之间的反馈比：

反馈比与因果比揭示误差项的信息，能有效表示两个目标之间的相互作用强度。由反馈比与因果比可以得到一个n×n的因果关联强度矩阵gcp，n表示目标的个数，把gcp作为构建成双因果网络的依据。

1.2.2 成群因果

一个群体一般包含三人或三人以上的目标，所以在衡量两目标间的相互作用时，同时应该考虑其他目标的影响。在不包括目标j情况下，δ[Pi(t)/U(1:t-m)-Pj(1:t-m)]表示利用线性回归方程对目标i预测得到的标准偏差，U表示所有目标的轨迹信息，现包括群体中的所有目标，δ[Pi(t)/U(1:t-m)]表示线性回归标准偏差，此时得到两个目标之间的因果比：

(7)

同样得到两个目标之间的反馈比：

(8)

将所有目标之间的因果关系计算后，得到一个n×n的因果关联强度矩阵gcg，n表示目标的个数，把gcg作为构建成群因果网络的依据。

1.3 因果网络模型的特征提取

群体行为不同，人群特征也不同，同时构建的群体因果复杂网络模型也不同。就算是同一种群体行为，目标之间的相互作用不同，每个人在网络中的重要程度也是不同的。文中利用复杂网络的统计特征参数来描述人群特征，选择以下几个特征参数。

平均路径长度能够揭示网络中各目标节点之间的分离程度，通过计算两目标节点之间的最短距离得到平均路径长度。对一个群体复杂网络中所有两两节点间的最短距离取平均值就得到整个群体网络的平均路径长度，网络的平均路径长度越短表示网络中节点间的分离程度越小，反之，则分离程度越大。不同的群体行为构建的网络中两目标之间的关系不同，计算得到的平均路径长度也不同，所以利用平均路径长度来描述群体行为，如下式：

(9)

介数揭示对应目标在整个群体中的作用和影响力，能够衡量目标在网络中的重要程度，节点k的介数计算公式如下：

(10)

其中，d(i,j)表示节点i和j之间最短路径的数目；dk(i,j)表示经过节点k的节点i和j之间最短路径的数目。

不同的群体行为，影响力最强的目标是不同的，揭示其影响力的介数也不同，影响力最弱的目标也是如此。所以利用介数来反映不同群体行为构成的网络中影响力最强以及最弱的节点。因此用介数的最大值gmax、最小值gmin、平均值gave作为行为特征。

利用聚合系数描述网络中各目标的聚集程度，也就是各目标之间到底有多紧密的关系。群体行为不同，目标联系的紧密程度不同，比如在Linger(徘徊)这个群体行为中，各目标的运动是杂乱无序的，目标联系相对较松散，聚合系数较小，而Gather(聚集)这个群体行为中,各目标的运动遵循一定的规则，目标联系相对较紧密，聚合系数较大，所以利用集合系数表示群体行为特征，如下式：

(11)

其中，Ei表示和节点i相连的边的数目；ki表示和节点i相连的节点的数目。

综上所述，实验过程中采用了成双因果网络提取的特征向量和成群因果网络提取的特征向量，以及它们的组合向量。成双因果网络特征向量表示如下：

(12)

成群因果特征向量表示如下：

(13)

组合向量表示为：

Vc=[Vp,Vg]

(14)

2 外观特征表示

除了运动特征以外，整个群体的外观变化同样能反映群体行为的识别信息。通过描述群体行为的空间结构及其变化来进行行为识别，称之为群体形状。根据某一帧的所有参与者的位置可以形成一个平面多边形，利用它来描述群体形状，如图1(a)所示。然而这些没有约束的多边形有着复杂的构造，而且不是一致的跨帧，难以描述，并且丢失了群体中的详细相关信息。因此采用德劳内三角化代替多边形描述紧凑而又详细的结构信息。将一组点的德劳内三角化定义为一个三角形划分T。如图1(b)所示，和多边形相比，德劳内三角化能够描述更多群体内部结构的信息，并且考虑到了每一个参与者在群体中的影响。利用整体特征和局部特征分别去描述稳定的和变化的群体形状特征。

图1 群体形状图

整体群体形状特征：利用三角化的所有三角形的外接圆面积A，边界E，中心C，从整体角度来描述它的紧密度。这些参数能描述整个三角形划分的识别信息。为了描述群体行为的即时状态的稳定特征，定义如下公式：

Rarea=Std(A)/Mean(A)

(15)

(16)

(17)

其中，Std()表示标准差；Mean()表示平均值；Min()表示最小值；Max()表示最大值；Min(E)表示德劳内三角化的边集E中的最短边。

根据第i-1帧和第i帧三角形划分的不同来表示群体形状的变化。因此面积的改变，中心距离(CDist)的改变以及旋转变化都要考虑。旋转为X/Y轴主方向的变化。主方向近似为连接一个轴的最大值的点和最小值点的那条线的方向。公式如下：

Γareai=(Sum(Ai)-Sum(Ai-1))/Sum(Ai-1)

(18)

ΓCDisti=(Mean(CDisti)-Mean(CDisti-1))/

Mean(CDisti-1)

(19)

(20)

(21)

其中，Xmax，Xmin，Ymax以及Ymin表示三角形中在X轴和Y轴的极值点；Sum()表示求和；Angle()表示两条线之间的夹角。

因此，整体群体形状特征表示为[Rarea,Redge,Rcenter,Γareai,ΓCDisti,ΓX,ΓY]。

局部群体形状特征：为了得到更详细的群体形状信息，利用每一个三角形来描述群体形状信息。和整体群体形状特征类似，假设一共有k个三角形，面积为Ak，边界为Ek，夹角为Λk，那么可得到稳定的局部特征：

rarea=Ak/∑A

(22)

redgek=Min(Ek)/Max(Ek)

(23)

ranglek=Min(Λk)/Max(Λk)

(24)

根据第i-1帧和第i帧的三角形划分的不同来描述局部的变化，如下式。

γareaik=Aik-A(i-1)k/A(i-1)k

(25)

γedgeik=Max(Eik)-Max(E(i-1)k)/Max(E(i-1)k)

(26)

γangleik=(Max(Λik)-Max(Λ(i-1)k))/Max(Λ(i-1)k)

(27)

因此，利用[rareak,redgek,ranglek,γareaik,γedgeik,γangleik]来描述局部整体形状特征。

3 改进萤火虫算法的SVM

根据萤火虫算法，萤火虫发光越亮，表明其所处的位置具有更加优良的目标函数值。每只萤火虫在自己拥有的视野范围内，利用动态决策挑选亮度比自己高的萤火虫，与之结为邻舍并且向它移动。由于萤火虫算法依靠局部信息搜寻原理，使得萤火虫算法很难深陷局部极值点，同时由于存在动态决策域，保证了鲁棒性。因为萤火虫都趋向于向位置最佳以及亮度最高的个体移动，而最佳个体为了寻找更佳的位置随机移动，因此促使整个群体形成了一种正反馈，极大地提升了全局寻优能力，所以对于组合式参数(c,σ)的全局优化极其适用。

文献[19]代表目前的研究成果，结合实验发现基本的萤火虫算法还是存在一些缺点的，即算法前期的收敛速度相对比较缓慢，后期因为其收敛不够稳定以至于不能提升算法的精度。因为位置更新时段中的不变步长导致收敛不够稳定以及收敛速度缓慢。不变步长使得前期的萤火虫不能以最快的速度移向更亮的同伴，与此同时在后期随着萤火虫之间的位置越来越接近，亮度的差值也越来越小，起初的步长造成了萤火虫不能进一步靠近最亮的那只萤火虫的不稳定现象的产生，从而降低了基本萤火虫算法的精度。针对上述缺点，利用FA算法中的位置更新原理[20-22]，并通过在萤火虫移动时添加亮度特征，构成以下位置更新的公式:

(28)

(29)

所要靠近的那只萤火虫越亮，移动的步长越长，从而加快了前期的收敛速度，而在后期随着萤火虫之间的亮度越来越接近，也会缩短移动的步长，这样就可以在最优的位置微调，防止产生收敛不稳定的现象。

4 实验结果与分析

实验采用的群体行为视频都是用Canon EOS 70D单反相机在室外露天场地拍摄的，帧率为40 frame/ps，图片大小为480×640。一共包括6种群体行为：gather(聚集)、chat(聊天)、split(分离)、linger(徘徊)、meet(相遇)、together(同行)，图2表示6种群体行为的运动轨迹。图中各目标都处在第一帧的起始位置，曲线表示各个目标的运动轨迹，利用协方差匹配算法进行目标跟踪得到运动轨迹，曲线的终点位置表示各目标运动停止的位置，当有个别帧由于严重遮挡而造成目标丢失时，利用人工进行修正。

图2 六种群体行为轨迹图

样本视频如表1所示。实验采用改进萤火虫算法的支持向量机对群体行为进行分类，分类效果如图3所示。

表1 视频采集及实验样本数统计表

图3 群体行为的识别率对比

从图3可以看出，对于6种群体行为均是融合特征取得最好的识别率，而linger和together两种行为的识别率相对较低，together行为利用融合特征得到的识别率为85%，而利用运动特征和外观特征的识别率分别为72%和43%。而对于linger行为，利用融合特征得到的识别率为85%，而利用运动特征和外观特征的识别率分别为68%和56%。同时，比较了利用未改进的支持向量机对融合特征进行分类，结果表明文中方法更优。

综上所述，利用融合特征明显比单纯地利用运动特征和外观特征的效果好，并且采用改进萤火虫算法的支持向量机的分类效果要优于未改进的支持向量机。在这6种群体行为中，linger的识别率相对较低，那是由于linger行为具有较强的随机性，在进行小片段分解群体行为视频时，很容易影响其各段行为的一致性，所以识别率相对较低。

5 结束语

提出了一种基于融合特征的群体行为识别方法。利用运动轨迹，通过计算格兰杰因果检验值，衡量各目标之间相互作用和影响的程度，同时将人群个体作为顶点，将个体间相互影响程度作为边权重，构建群体复杂因果网络，并结合外观特征来分析群体行为，根据改进萤火虫算法的支持向量机进行分类识别。该方法融合了运动信息和外观信息来描述群体行为，从微观层面利用目标运动轨迹构建群体复杂网络，同时从宏观层面对群体复杂网络特性进行分析，以此在微观层面和宏观层面架起一个桥梁，为小规模群体行为识别开辟了一个新的想法。利用格兰杰因果关系检验算法对目标之间的因果关联度进行度量，同时以此量化网络的边的结构和权重，为群体因果复杂网络的构建提供了基础。改进萤火虫算法的支持向量机,既保证了收敛性能，又提高了分类精度，优化效果显著。

[1] ANDRADE E L,BLUNSDEN S,FISHER R B.Modelling crowd scenes for event detection[C]//International conference on pattern recognition.[s.l.]:IEEE,2006:175-178.

[2] GE W,COLLINS R T.Marked point processes for crowd counting[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2009:2913-2920.

[3] KRATZ L,NISHINO K.Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2009:1446-1453.

[4] 胡 波,李晓华,沈兰荪.场景监控中的人群密度估计[J].电路与系统学报,2007,12(6):19-22.

[5] XIONG G,CHENG J,WU X,et al.An energy model approach to people counting for abnormal crowd behavior detection[J].Neurocomputing,2012,83(7):121-135.

[6] 金 标,胡文龙,王宏琦.基于时空语义信息的视频运动目标交互行为识别方法[J].光学学报,2012,32(5):145-151.

[7] 梁 敏,刘贵喜.基于自适应混合滤波的多目标跟踪算法[J].光学学报,2010,30(9):2554-2561.

[8] 王泽兵,杨 卫,秦 丽.基于粒子群算法的动态热释电目标跟踪[J].光学学报,2014,34(10):27-33.

[9] TU P,SEBASTIAN T,DORETTO G,et al.Unified crowd segmentation[C]//European conference on computer vision.Marseille,France:[s.n.],2008:691-704.

[10] BLUNSDEN S,FISHER R B.Pre-fight detection-classification of fighting situations using hierarchical AdaBoost[C]//Proceedings of the fourth international conference on computer vision theory and applications.[s.l.]:[s.n.],2009:303-308.

[11] GUO P,MIAO Z.Action detection in crowded videos using masks[C]//20th international conference on pattern recognition.[s.l.]:IEEE,2010:1767-1770.

[12] 胡芝兰,江 帆,王贵锦,等.基于运动方向的异常行为检测[J].自动化学报,2008,34(11):1348-1357.

[13] ZHU G,YAN S,HAN T X,et al.Generative group activity analysis with quaternion descriptor[M]//Advances in multimedia modeling.Berlin:Springer,2011.

[14] DORE A,REGAZZONI C S.Interaction analysis with a Bayesian trajectory model[J].IEEE Intelligent Systems,2010,25(3):32-40.

[15] CHU H,LIN W,WU J,et al.A new heat-map-based algorithm for human group activity recognition[C]//Proceedings of the 20th ACM international conference on multimedia.[s.l.]:ACM,2012:1069-1072.

[16] KHAN S M,SHAH M.Detecting group activities using rigidity of formation[C]//ACM international conference on multimedia.Singapore:ACM,2005:403-406.

[17] FÖRSTNER W,MOONEN B.A metric for covariance matrices[M]//Geodesy-the challenge of the 3rd millennium.Berlin:Springer,2000:299-309.

[18] ZHOU Y,NI B,YAN S,et al.Recognizing pair-activities by causality analysis[J].ACM Transactions on Intelligent Systems & Technology,2011,2(1):389-396.

[19] 黄正新,周永权.变步长自适应萤火虫群多模态函数优化算法[J].计算机工程与应用,2012,48(8):43-47.

[20] YANG X S.Firefly algorithms for multimodal optimization[J].Mathematics,2009,5792:169-178.

[21] 刘长平,叶春明.一种新颖的仿生群智能优化算法:萤火虫算法[J].计算机应用研究,2011,28(9):3295-3297.

[22] YANG X S.Nature-inspired metaheuristic algorithms[M].[s.l.]:Luniver Press,2010.