周 波,李俊峰

(浙江理工大学 机械与自动控制学院,杭州 310018)

行为识别任务旨在从输入的包含行为的视频段中辨别出对应的行为类别.其应用领域十分广泛,涵盖了人机交互、智能监控、体育竞技、虚拟现实等领域.近年来与之相关的研究也受到更多的关注.受光照条件、相机角度、人体样貌、背景变化等因素影响,行为识别已成为一项非常具有挑战性的任务.

早期经典的行为识别方法主要是基于手工设计的特征.如Laptev 等[1]提出的基于时空兴趣点(Space-Time Interest Points,STIP)的方法能在具有较复杂背景的图像的行为识别中取得较好效果.Knopp 等[2]提出的对2D-SURF (Speeded Up Robust Features)特征进行扩展,形成3D-SURF 特征,以期得到更多的Harr-wavelet特征.Kläser 等[3]将局部梯度方向直方图(Histogram of Oriented Gradient,HOG)特征扩展到三维形成HOG-3D,以在多尺度下对时空块进行快速密度采样.Scovanner等[4]将SIFT 特征(Scale-Invariant Feature Transform)扩展到3D-SIFT.更多特征描述符还有光流梯度方向直方图(Histogram of Optical Flow,HOF)[5],方向梯度直方图(Histogram of Oriented Gradient,HOG)及运动边界直方图(Motion of Boundary History,MBH)[6]等.在众多基于手工设计特征的行为识别方法中,IDT (Improved Dense Trajectory)[7]是目前实验效果最好的方法.它通过沿着密集轨迹汇集丰富的描述符并补偿相机运动来明确地考虑运动特征,然后通过编码诸如BoW,Fisher 矢量的方法,将描述符聚合到视频级表示中.iDT 在行为识别领域的突出表现使得其与现今基于深度学习的方法仍有结合,譬如Wang 等[8]提出的TDD(Trajectory-pooled Deep-convolutional Descriptor),首先,用深度学习的方法来做特征映射;其次,做特征正则化;最后,进行轨迹池化操作得到TDDs.

现今基于深度学习的行为识别方法按输入图像数据的类型可分为……