结合局部奖励机制的视频摘要技术研究
2021-06-11周娟平
计算机工程与应用 2021年11期
梅 锋,周娟平,陆 璐
1.广东省广播电视网络股份有限公司中山分公司,广东 中山528403 2.华南理工大学 计算机科学与工程学院,广州510006
随着大数据时代的到来,视频媒体应用程序以前所未有的速度堆积起来。因此,如何有效地浏览、检索和分析大量视频成为越来越需要解决的问题。视频摘要技术是解决以上问题的有效方法,它是从原始视频中提取关键帧或关键镜头,以更简洁的形式呈现视频重要内容的一种技术,这样可以加速用户浏览和节省存储空间。视频摘要技术是一个具有很强的现实意义但在研究和行业中都有待探索的课题。它主要包括以下三个步骤(如图1所示)。

图1 视频摘要生成的一般过程
首先,提取视频帧的特征作为输入序列,然后设计模型以预测视频镜头重要性分数,最后,将关键镜头合成生成视频摘要。
传统的视频摘要技术主要是通过无监督学习来实现的,包括聚类、图模型、稀疏编码等。尽管无监督方法长期以来一直主导着视频摘要领域,并且已经开发了许多方法,但仍有一些不足之处。由于视频摘要是一项主观任务[1],因此无监督学习难以实现面向用户的视频摘要。近年来,有监督学习的视频摘要方法引起了更多学者的关注[2-5]。有监督学习是为了明确学习和总结人类选择摘要的潜在标准。一般来说,有监督的方法比无监督的方法具有更好的性能[6]。
目前最先进的视频摘要技术是基于编码器-解码器框架,该框架将输入序列编码为固定长度的中间向量,然后将其解码为满足任务要求的输出序列。……
登录APP查看全文
