李煜堃 刘 熠 周 林 何艾莲 王亚立 彭小江 乔 宇*

1(中国科学院深圳先进技术研究院 深圳 518055)

2(中国科学院大学深圳先进技术研究院 深圳 518055)

1 引 言

视频行为理解因其在视频内容分析、智能监控、人机交互等方面的广阔应用前景而在人工智能和计算机视觉领域得到了广泛的研究。在学术界，关于视频理解已存在许多相关主题，例如修剪视频的行为分类[1]、未修剪视频中的行为识别[2]、时序行为检测[3]、时空行为定位[4]及视频高光时刻检测[5]。但是，这些任务所专注的研究都是离线设置下的，即需要以完整视频作为输入，待获取全部视频信息后输出结果。

自 2016 年以来，先后出现了一些在线设置下的视频动作研究工作，即在仅获取过去及当前视频帧信息的条件下输出当前结果，如在线动作检测[6]、在线动作预测[7]和在线动作起始检测[8-9]。在线任务除了需要解决离线设置下视频理解任务的所有难点以外，还需要解决视频帧下文信息不足的问题。因此，与离线任务相比，在线任务更具挑战性。目前，上述任务的研究大多是在原本作为离线设置下动作检测的数据集上完成的，如 THUMOS’14[10]、ActivityNet[2]或一些从电视剧集中获取的长视频数据集(如TVseries[11])。这些数据集的视频通常平均时长为数分钟甚至数十分钟，并且类别基本集中在人的动作上。尽管短视频在诸多移动端应用中无处不在，但丰富场景下的短视频在线检测的相关研究依然有所欠缺。

基于此，本文着眼于手机端短视频的视频理解提出在线精彩时刻起始检测(Online Highlight Start Detection，OHSD)任务。……