司书哲，徐晶，任正玮，田颖，方明

（长春理工大学　计算机科学技术学院，长春　130022）

一种基于鲁棒背景运动估计的电子稳像算法

司书哲，徐晶，任正玮，田颖，方明

（长春理工大学计算机科学技术学院，长春130022）

当场景中存在较大范围运动前景时，通常的电子稳像算法较难鲁棒地提取背景的全局运动。针对这种情况，提出了利用前景运动掩膜和对极几何关系抑制错误的全局运动估计，进而达到稳像的目的。首先，估计相邻帧间可视化密集光流图；将该光流图用颜色直方图统计各颜色比重，进而分割出运动前景并制作掩膜；利用掩膜删除掉分布在前景上的光流保留背景光流；之后进一步去除外点，利用剩余的光流进行全局运动估计；最后，采用卡尔曼滤波完成运动补偿。三组不同环境的实验结果均表明，该算法能够有效抑制运动前景对稳像结果的干扰，稳像前后图像的PSNR值提高了近36%，稳像效果明显。

电子稳像；密集光流；卡尔曼滤波

电子稳像是指通过确定图像序列帧间映射关系来确定帧间偏移量，计算出运动估计模型参数来进行运动补偿，目的是去除视频序列中随机抖动，获得稳定清晰视频的技术［1］。

目前电子稳像方法一般采用特征轨迹来进行运动估计，运动模型一般为2D仿射变换或透视变换。威斯康星大学Liu F利用SFM算法估计相机3D路径［2］，能够有效应用于复杂运动，但其需要设计复杂的线性滤波器来平滑该3D运动，从运动中恢复结构，估计出的3D路径通常是脆弱且耗时。天津大学朱振伍等人利用CUDA编程加速和卡尔曼预测为电子稳像实时性奠定了基础［3］，但其使用SURF特征匹配估计帧间运动的技术容易受前景运动干扰。特别是，当特征轨迹空间分布不均和稀疏时处理起来更加复杂，其可能在视频的任意帧开始或结束，获取一个长的特征轨迹往往更加困难。Shi J提出了运动分段技术来检测不同的运动，进而区分前景和背景［4］，然而运动分割本身就是一个困难的问题，其需要长的特征轨迹，由于相邻帧间缺少足够的运动对比，难以区分大的运动前景，本文使用密集光流进行运动估计，可以有效避免上述问题。

本文消除前景运动对全局运动的干扰，根据前景、背景分离的思想，提出了一种基于密集光流可视化颜色分割方法，并利用分割后的掩膜图滤除不能反应全局运动的点，计算帧间基础矩阵，用RANSAC进一步剔除外点，提高全局运动估计精度。

1　运动估计

1.1密集光流可视化

光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的运动关系。本文采用文献5方法估计每个像素的运动矢量。将矢量存于对应的像素位置形成密集光流图。采用Munsell颜色系统可视化该光流［6］。

图1　Munsell颜色系统

图1中，南北轴表示明度，从全黑到全白；经度表示色相，把一周均分为五种色调和五种中间色；轴距表示色度（色调的纯度）。这样可视化的光流图中，不同颜色表示不同的运动方向，深浅表示运动的快慢。可视化光流图的效果如图2所示。其中，（a）和（b）为参考帧图像和当前帧图像，场景中人在从右向左运动，同时相机存在不规则抖动。（c）为所估计的密集光流，（d）为Munsell颜色系统可视化的光流图。由于背景与运动前景光流大小、方向不同，可视化后前景与背景颜色差异比较大，因此，可以利用颜色分割分离出背景的全局运动。

1.2颜色直方图实现前景、背景分割

颜色直方图直观地显示了图像在色彩空间的分布状况，本文将RGB图像转换到HSV空间，以色彩（H），饱和度（S）分量建立二维颜色直方图。其中，H、S分量均被分为8个等级（h-bins=8，s-bins=8），首先计算H分量落在每级内的像素数量，选取H分量像素数量占最大的前m级；在计算该级下S分量占比重最大的前n级。将计算出的H前m级、S前n级对应的HSV转换为RGB，用R、G分量范围（R-min，R-max），（G-min，G-max）作为颜色分割的阈值，建立前景、背景分割的掩膜，如下式所示：

其中R（p）、G（p）是可视化密集光流图对应p点像素的R、G分量值，其中像素p满足分割阈值的编码为1，其余编码为0，由于光流跟踪失败的地方可视化光流颜色为白色，故RGB位于白色范围内编码为0。

图3（a）为图2（d）可视化光流的颜色直方图，根据M（p）双峰特性，本文m=1，n=3。图3（b）为根据图3（a）设定阈值的掩膜图。

图2　帧间光流运动矢量及可视化

图3　颜色直方图分割前景、背景效果

1.3对极几何异常匹配点排除

根据H-S直方图建立的掩膜M（P），由于密集光流估计每个点的运动矢量时，难免会产生误差，用颜色直方图分割前景、背景时由于阈值设置的不合适也会导致M（P）的一些点属于外点，这些异常点会降低全局运动估计的精度。本文采用对极几何约束来去除这些外点。

如图4所示，两个相机光心OlOr的连线称为基线。通过两个相机光心OlOr与目标点P构成的平面π称为对极平面。对极平面与相机像平面的交线Ll、Lr为极线。匹配点之间存在极线约束的关系，即像平面Ll上任意一点p，它在像平面上的匹配点一定位于极线上Lr；同理，像平面上任意一点p′，它在像平面上的匹配点p一定位于极线Ll上。

图4　对极几何模型

两幅图像的对极几何约束可用图像间基础矩阵描述［7］：p′TFp=0

本文用RANSAC算法，用点数目=8求解出颜色直方图分割后背景区域的基础矩阵［8］。将计算矩阵时用到的内点作为下一步估计全局运动的点，剔除错误的外点e。

1.4全局运动参数的估计

2D运动模型主要分为单应性运动模型和仿射性运动模型。单应性运动模型可表述多种复杂运动，但是单应性运动模型的参数的计算复杂度高且难度大。仿射性运动模型能够表示相机的平移运动、旋转运动以及缩放，其参数少，计算简单。本文采用仿射群中的欧式变换（公式2），它是一个刚体运动模型，包括旋转θ，平移tx、ty等3个变量。

其中，（x，y）为前一帧图像的任一点坐标，（x′，y′）为当前图像的对应点坐标。公式（3）为其分块表达形式。

在确定运动模型之后，就要做模型参数估计，本文使用如下算法来估计全局运动：

前（prev）、后（cur）两帧图像使用密集光流估计每个像素点偏移量存入命名为flow的矩阵内，得w×h对点对。

｛prev（x，y），cur（x+flow.x，y+flow.y）|0＜x＜w，0＜y＜h｝

forx=0tow//w图像宽

fory=0toh//h图像高

if（M（x，y）==1）//掩膜对应像素值为1，对应点对存入数组

//依次向vector＜Point2f＞pointArray存入点对

pointArray=

pointArray+｛prev（x，y），cur（x+flow.x，y+flow.y）｝

for i=0 to pointArray.size

if（e！=NULL） //e为不满足极几何约束的外点

pointArray=pointArray-e

根据前后两帧，满足全局运动的m个点对存入poinArray，用其求解欧式变换模型参数。求解最佳的欧式变换，可以转换为求下式最小和：

由公式（6），容易获得前后两帧图像的平移（dx，dy）和旋转角度dθ。估计出的帧间运动矢量作为初始变换矩阵，需要对估计出的运动矢量进行滤波补偿。

2　卡尔曼运动滤波

运动估计完成后，获得欧式变换模型的参数dθ、dx和dy，记录此时刻的运动矢量，其为全局运动，包含主动运动和随机抖动分量。将帧间全局运动矢量累加起来作为图像运动轨迹：

Δx（t）、Δy（t）和Δθ（t）分别是t时刻图像x方向、y方向以及角度旋转轨迹。

2.1卡尔曼模型

状态模型：

观测模型：

Δx（）k是图像轨迹x方向k时刻测量值，其余两项是k时刻y方向和角度测量值，测量变换矩阵也为3×3单位阵，R为观测噪声。可以根据估计视频的晃动量设置，设定的越小，则滤波器估计的运动越平滑，但更新值对观测值的反应越慢［9］。其中，本文通过大量预实验设置观测噪声为0.3。

2.2卡尔曼预测和更新

将通过帧间全局运动矢量累加计算得图像轨迹z（k）进行卡尔曼滤波，对其轨迹进行平滑得X（k|k ）。

其中，X初始值可以设置任意值。P为协方差矩阵，初始值非0。本文X的初始值为（000）T，P初始值为（111）T。

首先计算最优卡尔曼增益，如式（12）所示：

然后用最优卡尔曼增益更新X与P；运动滤波后，X为平滑后的图像路径。继而进行相邻帧补偿，补偿量是平滑后图像路径与原始图像路径差量。补偿后，建立新的帧间运动矢量，根据新的矢量对前一帧进行刚体变换。新的帧间运动矢量如式13所示：

图5　滤波前后帧间偏移量

3　实验

本文的计算机实验环境为双核3.10GHz处理器、4GB内存，算法由VS2010编译，使用了OpenCV视觉库，处理640×480的视频图像效率为9帧/秒。

表1　三组实验条件

表1为本文使用的3组实验环境，对实验1分别使用高斯混合模型（GMM）前景提取算法和本文方法进行前景、背景分离，实验结果对比如图6所示。

图6（a）、（b）是实验1视频44、45帧使用高斯混合模型提取的前景，明显看出抖动的背景（车）也被提取出作为前景。由于视频是抖动的，故抖动的背景不满足高斯分布［10］，前景、背景分离效果不理想。图6（c）、（d）是本文算法处理的效果，比较理想区分出了前景运动，可以有效删除前景运动对全局运动的影响，从而提高全局运动估计的精度。

如图7（a）、（c）所示，对比矩形框出的轮胎与由中心点画的十字线位置变化，上下抖动比较明显。观察图7（b）、（d）对应位置的变换，对应轮胎与中心线的位置一样，易知抖动得到了明显的抑制。

实验2为室外拍摄的视频，场景内无人但由于存在相机扫描运动（围绕车扫描），因此可能会在背景车上产生视差干扰，从而会降低运动估计的精度。如图8（a）、（d），相机绕左侧车扫描时产生视差干扰，用本文算法所建的掩膜避免视差干扰。

图8（b）、（e）存在绕左侧车的一个扫描运动，观察矩形框区域大厦的变化，存在因旋转导致的抖动。根据图8（c）、（f）矩形框区域处大厦几乎相同，本文算法有效解决该抖动。

实验3场景会在纹理不明显处跟踪光流失败，所以需要去除此处的点，如图9（a）、（d）所建的掩膜。

图6　实验1前景、背景分离对比

图7　实验1结果

图8　实验2掩膜图像及结果

如图9所示，由于手持相机存在向前扫描运动且随机抖动，反应在图9（b）、（e）内，矩形框椅子与由中心点画的十字线位置存在较明显变化。经过本文算法的运动补偿后，观察图9（c）、（f），椅子与中心线位置几乎相同，稳像效果较明显。

图9　实验3掩膜图像及结果

图10　稳像前后PSNR对比图

本文通过公式14求解峰值信噪比评价两帧图像间对应像素灰度的偏差值。

MSE（I1，I0）是两帧图像间对应像素灰度的偏差值，帧间值越大代表图像的灰度差别越小，稳像的效果越好［11］。如图10所示，稳像后值比稳像前平均提高约6，根据公式15，值提高了约36%，说明帧间相似性得到提高。

4　结论

本论文针对现有的稳像算法，大多难以去除运动前景对全局运动估计的影像，提出了一种新的稳像算法。该算法使用密集光流估计全局运动，用颜色直方图建立的掩膜去除前景的运动矢量，再使用RANSAC去除剩余背景运动矢量的外点，采用欧式变换模型，进行卡尔曼滤波。多种实场景的实验结果表明，当相机存在随机抖动时或存在扫描运动时，即使场景中包含剧烈变化的前景干扰，系统的稳像效果也非常明显。本文算法使用了耗时的密集光流，为了提高处理速度，在实时处理时可以采用GPU技术。

［1］ 王志民，徐晓刚.电子稳像技术综述［J］.中国图形图像学报，2010，15（3）：2-3.

［2］Liu F，Gleicher M，Jin H，et al.Content-preserving warps for 3d video stabilization［J］.ACM Transactions on Graphics，2009，28（3）：255-231.

［3］ 朱振伍，何凯，王新磊.基于CUDA和卡尔曼预测的实时电子稳像方法［J］.吉林大学学报，2015，33（1）：46-50.

［4］Shi J，Malik J.Motion segmentation and tracking using normalized［C］.In IEEE International Conderence on Computer Vision（ICCV），1998：1154-1160.

［5］Gunnar Farnebäck.Two-Frame Motion Estimation Based on Polynomial Expansion［A］.SCIA'03 Proceedingsofthe13thScandinavianconferenceon Image analysis Pages.Berlin：Springer，2003：363-370.

［6］ Baker Simon，Scharstein Daniel，Lewis J P.A databaseandevaluationmethodologyforopticalflow［J］.International Journal of Computer Vision，2011，92（1）：1-31.

［7］Hartley R，Zisserman A.Multiple view geometry in computer vision［M］.New York：Cambridge University Press，2004：159-176.

［8］ Hartley R I.In defense of the eight-point algorithm ［J］.IEEETransactionsonPatternAnalysisand Machine Intelligence，1997，19（6）：580-593.

［9］ 董晶，杨夏，于起峰.基于单应轨迹的视频实时稳像算法［J］.国防科技大学学报，2014，36（2）：100-104.

［10］ 宋杨.基于高斯混合模型的运动目标检测算法研究［D］.大连：大连理工大学，2008.

［11］ 黄晨，王建军，高昕，等.电子稳像中稳像质量评价方

法研究［J］.激光与红外，2013（5）：478-479.

An Electronic Image Stabilization Algorithm Based on Robust Global Motion Estimation

SI Shuzhe，XU Jing，REN Zhengwei，TIAN Ying，FANG Ming
（School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022）

When there is a scope of moving foreground，the common electronic image stabilization algorithm is difficult to be robust extraction of the global motion from background.It restrains the wrong global motion estimation with the use of the moving foreground mask and the epipolar geometry，to reach the goal of image stabilization.Firstly，the visualized dense optical flow between adjacent frames is estimated；then the proporation of this optical flow diagram with the color histogram is got.The moving foreground is detected and the mask is made；with the use of the mask the optical flow distributed in the foreground is removed and the background optical flow is retained.Then，further the exterior points are removed and the global motion estimation with the remaining optical flow is carried out.Finally，Kalman filtering is used to complete the motion compensation.The experiment results in three different environments all show that the interference of the moving foreground can be effectively restrained by this algorithm.The PSNR value has been increased nearly 36%after image stabilization and the effect of image stabilization is obvious.

electronic image stabilization；dense optical flow；kalman filtering

TP391

A

1672-9870（2015）05-0101-06

2015-07-01

吉林省科技发展计划项目（20120333，20130101054JC，20140204047GX）；吉林省留学回国人员择优资助项目（RL201329）

司书哲（1989-），男，硕士研究生，E-mail：863978892@qq.com

方明（1977-），男，博士，副教授，E-mail：fangming@cust.edu.cn