王健弘　 张　旭　 章品正　 姜龙玉　 罗立民

(东南大学影像科学与技术实验室, 南京 210096)



基于时空信息和非负成分表示的动作识别

王健弘 张旭 章品正 姜龙玉 罗立民

(东南大学影像科学与技术实验室, 南京 210096)

为充分利用时空分布信息及视觉单词间的关联信息,提出了一种新的时空-非负成分表示方法(ST-NCR)用于动作识别.首先,基于视觉词袋(BoVW)表示,利用混合高斯模型对每个视觉单词所包含的局部特征的时空位置分布进行建模,计算时空Fisher向量(STFV)来描述特征位置的时空分布;然后,利用非负矩阵分解从BoVW表示中学习动作基元并对动作视频进行编码.为有效融合时空信息,采用基于图正则化的非负矩阵分解,并且将STFV作为图正则化项的一部分.在3个公共数据库上对该方法进行了测试,结果表明,相比于BoVW表示和不带时空信息的非负成分表示方法,该方法能够提高动作识别率.

动作识别;非负成分表示;时空Fisher向量;视觉词袋

人体动作识别是当前计算机视觉和模式识别领域的研究热点之一,它在视频分析、视频检索、智能监控以及人机交互等领域中有着广泛的应用[1].人体动作识别最关键的问题是如何有效并具有区分性地表示动作视频片段.目前广泛应用的方法是提取视频中的局部特征并采用视觉词袋(BoVW)给出视频表示.该方法采用码书中的视觉单词对动作视频中的每一个局部特征进行编码,然后统计整段视频的视觉单词直方图作为该视……