APP下载

基于卷积神经网络的光流估计模型

2021-02-04王传旭

数据采集与处理 2021年1期
关键词:细节特征融合

丰 艳,刘 帅,王传旭

(青岛科技大学信息科学技术学院,青岛266100)

引 言

从Gibson 等在1951 年首先提出光流的概念[1]开始,图像光流的估计算法已经取得了非常好的成绩[2-5]。由于光流包含着空间运动物体在观察成像平面上像素运动的瞬时速度和位移矢量等信息,且可以通过颜色域和空间域结合的形式表示图像物体运动状态,因此,它在目标检测[6]、图像分割[7]及人类行为识别[8]等领域有了广泛的应用,是计算机视觉研究中的常用方法和重要问题。在光流估计中,遮挡、大位移和图像细节表现等一直都是亟待解决的难点问题,最近的研究也大都致力于解决此类问题。文献[9]基于无监督的方法设计了一种新型Warp,希望解决大位移和遮挡问题,但细节呈现方面结果不如人意。文献[10]提出一种多假设性网络,结合多种损失计算方法,再对估计结果进行多次局部评估,以此来优化光流的细节表现。文献[11]设计了专门评估遮挡情况的子网络,将其加到网络级联架构中,并通过优化训练策略的方式提高网络性能,但是由于网络结构过于复杂庞大,内部有着海量的权重参数,导致网络过于臃肿。

以上是前人对解决光流估计难点问题作出的尝试,其中鲜有针对网络特征提取和融合部分的针对性优化,而本文认为对于光流估计方法的关键,就是寻找两幅图像之间的变化和联系,相邻帧图像特征的提取和特征的融合方式很大程度上决定了结果的优劣。因此为了加强网络的学习调整能力,针对性地解决遮挡、大位移和细节呈现等问题,本文做出的主要贡献是:(1)加入可形变卷积[12]到光流估计网络模型的卷积层,旨在提取相邻帧的空间细节特征和大位移特征捕获;……

登录APP查看全文

猜你喜欢

细节特征融合
村企党建联建融合共赢
融合菜
从创新出发,与高考数列相遇、融合
以细节取胜 Cambridge Audio AXR100/ FOCAL ARIA 906
《融合》
如何表达“特征”
不忠诚的四个特征
留心细节处处美——《收集东·收集西》
细节取胜
线性代数的应用特征