基于特征点匹配的电子稳像技术

2013-04-27吉淑娇胡汉平

中国光学 2013年6期

关键词：算子滤波特征

吉淑娇，朱明，胡汉平

（1.中国科学院长春光学精密机械与物理研究所，吉林长春130033；2.长春大学电子信息工程学院，吉林长春130022）

基于特征点匹配的电子稳像技术

吉淑娇1，2，朱明1*，胡汉平1

（1.中国科学院长春光学精密机械与物理研究所，吉林长春130033；2.长春大学电子信息工程学院，吉林长春130022）

为获得高质量视频输出序列，电子稳像技术常被用来去除成像设备所摄取的图像序列中的随机抖动。本文首先介绍了电子稳像的国内外发展现状。然后，从电子稳像技术中的运动估计模块出发，描述了国内外近年来出现的直接求取运动估计算法以及各种基于特征点匹配的运动估计方法，并对运动校正和运动补偿模块的算法进行了评述。最后综合分析了稳像算法的难点以及未来发展趋势，提出基于特征匹配的电子稳像技术的发展方向。

电子稳像；运动估计；特征匹配；卡尔曼滤波

1 引言

视频信息广泛应用于军用侦察系统、无人车辆导航系统、航空测量系统以及监控系统中。其中诸多摄像系统由于工作环境恶劣，载体姿态不稳定等，均存在不确定的抖动和振动，使得采集的视频序列帧间抖动较大，导致视频序列的质量下降。对于信息十分丰富的视频序列，用户首先希望图像画面清晰稳定，不稳定的视频序列将导致武器性能下降，人工观察困难，并极易引起视觉疲劳；另外，也会使后续图像处理算法的难度加大。因此，对于这种摄像载体所摄取的视频序列，有必要应用电子稳像处理技术去除不规则的随机抖动，将这些不稳定的视频序列转化为高质量的稳定视频序列输出。近年来，出现了很多电子稳像算法［1-2］，本文主要针对电子稳像系统的几个环节，论述近年来出现的处理各环节的算法，尤其对提取运动矢量的算法进行了详细叙述，最终给出未来电子稳像的发展方向。

2 电子稳像技术国内外发展现状

国外在电子稳像技术方面的研究已有30多年的历史，进入90年代以后，随着计算机技术和数字图像处理技术的迅速发展，很多西方国家如美国和加拿大率先采用电子稳像算法，使电子稳像系统向小型化、高精度、强实时性的方向发展。加拿大某研究机构成功研制了实时监视系统中的稳像装置，其图像处理、稳像速度达到30 frame/ s，系统的稳像精度达到1 pixel。美国军事研究实验室研制稳像系统应用在无人驾驶越野车上，其稳像精度已优于1 pixel。

韩国和日本的许多高档家用摄像机中也装有电子稳像设备，例如日本索尼公司生产的DCRSR87E家用摄像机就带有动态电子稳像装置，当因摄像机抖动而引起画面不清晰时，它会启动稳像装置以去除画面的模糊。到目前为止，很多技术先进的国家如美国、俄罗斯、日本、加拿大等，电子稳像技术的研究和在军事和民用领域的实际应用都已很成熟［1-3］。

国内电子稳像技术在民用和军用方面也有一定的发展。我国新型主战坦克88A、88B、88C虽装备了稳像式火控系统，但自动化程度还比较低。在20世纪末期，中国科学院长春光机所钟平［3］、孙辉［4］、李迪［5］等人开始对电子稳像算法技术进行了研究，并取得了很多成绩。经过十几年来的努力，研究范围已从通用小型无人机载电视侦察系统扩展到对侦察转台和侦察平台的研究。近几年来，国内很多院校和科研单位如北京理工大学［6］、西安科技大学［7］等也对电子稳像算法进行了广泛研究。

3 直接求取运动矢量的算法

图1 电子稳像系统的结构Fig.1 Structure diagram of EIS system

电子稳像是根据视频图像帧间差别，对摄像机的运动参数进行估计，并对参数进行校正，从摄像机的正常扫描运动中分离出随机抖动，得到补偿参数，进而消除或减轻随机抖动引起的图像模糊，获得清晰稳定的视频图像。

电子稳像的系统结构［5］如图1所示。主要包括4个模块：图像预处理模块、运动估计、运动校正和图像补偿。图像预处理主要是消除图像中的无关信息，增强有用信息的可检测性和最大限度地简化数据。运动估计模块主要是估计出当前帧相对于参考帧的运动偏移量，是一种全局运动的估计。运动校正主要是区分全局运动中的有意运动和随机抖动，计算补偿分量，采用补偿分量对各帧图像进行变换。图像补偿主要是对运动校正过程中出现的一些“无定义”区域进行重构，获得清晰的图像。运动估计模块是电子稳像技术的关键技术，国内外很多学者在运动矢量的求取算法上开展了广泛研究。

Huang［9］等人运用匹配算法在连续图像的边缘线上选取交叉点对，之后选取3对最适合的特征点进行仿射模型的参数测量，求取全局运动参量。交叉点对的数量少，能减少运算复杂度，提高运算的速度。

Antonio［10］在研究了整个图像序列的几帧图像的基础上，采用离散小波变换获得图像的特征，再由欧氏距离对每一个图像特征进行分析，并利用小波变换系数来评估其稳定性，最后通过低通小波系数重构了稳定的特征向量。

Litivin［11］提出一种基于概率估计框架的方法，将摄像机的主动运动和随机运动分开。此方法将摄像机的帧间估计参数作为摄像机主动运动的噪声测量。建立帧间运动参数的基于物理场的状态空间模型，然后运用递归卡尔曼滤波求得稳定的摄像机位置估计参数。最后运用6参数仿射变化模型描述帧间的变换，模型的估计采用基于多分辨率的p范数方法。基于概率估计的算法，计算量稍大，很难达到稳像的实时性。

S.Erturk［12］认为全局运动可以由4个子图局部运动估计得到。每个子图的运动估计都可以通过相位相关获得，再通过子图像相位相关的峰值获得可靠的局部运动矢量。最后运用卡尔曼滤波器进行运动滤波以获得稳定的视频输出。

Ho［13］运用简单的仿射变换模型，推导出新的类似极坐标的变换模型，对运动矢量进行处理。算法先把图像以某点为中心，以某角度为中心旋转获得当前图像，再运用文中算法对当前图像相对原参考图像求取运动估计矢量。经验证明所得结果和预处理的方法一致。该算法减少了运算量，提高了稳像的实时性。

徐［14］首次提出具有旋转不变性的基于圆形块匹配的方法，对所有指定的圆形块的中心提取局部运动向量，根据局部矢量指定相应圆形块的位置建立线性系统。然后，用最小二乘法求取全局运动参数，并由迭代的梯度下降法进行参数优化。

Lee［15］所采用的稳像算法是对占主导地位的运动进行统计区域分析，算法能对可选择区域自适应地采用特征直方图方式有效去除相机的随机振动，而保留物体的运动模式。算法的优点是引入了特征直方图匹配。

Pourreza，H.R等人［16］采用两层小波分解方法粗略估计水平和垂直方向的平移参数，将这些参数作为估计的初始值，然后采用特征点和梯度方法，进而精确计算估计参数。

Amanatiadis［17］认为视频序列的自身运动和随机抖动两种信号分别具有独立的性质，利用独立分量分析方法，使他们最大程度的统计独立。在分离出自身运动矢量后，分配给它相应的能量和信号，进而获得稳定视频序列。

Sanjeev［18］在傅里叶-格林域基于相位相关的算法中实现了鲁棒的二维仿射全局运动估计。接着在稀疏运动向量场采用最小二乘拟合实现图像序列稳定。在稀疏的运动向量区域，采用RANSAC算法优化计算结果。在图像金字塔的最佳分层处，随机选择高活动区域的位置，实现亚像素级的准确相位相关。

Konstantinos［19］运用Hilbert-Huang变换理论，对原始运动矢量信号进行经验模式分解，形成固有模态函数。然后运用Hilbert变换对每个固有模态函数分配能量，继而分解有意运动和随机抖动。

李迪［20］引入自组织递归的模糊神经网络方法，对视频序列存在的抖动进行函数逼近和学习能力模拟，预测出设备抖动位置，继而进行补偿，使输出视频稳定。

4 基于特征点匹配的运动估计算法

基于特征点匹配的稳像算法是运动估计的一种重要算法，这种算法的主要流程如图2所示。

图2 电子稳像系统的算法流程Fig.2 Algorithm flow of EIS system

算法首先求取参考帧和当前帧的正确匹配特征点对，再将特征点对的坐标代入如下仿射模型，求取运动矢量：

式中，（Xi，Yi）和（Xi′，Yi′）分别代表参考帧和当前帧的特征点坐标；参数S代表变焦系数；θ为旋转角度，Δx，Δy分别代表水平和垂直位移。求取运动矢量后再进行运动滤波及运动补偿实现视频序列稳定。求取运动矢量用时最多的就是提取正确特征点及匹配的计算过程。比较常用的提取特征点的方法有基于Harris算子、尺度不变特征变换算子（Scale Invariant Feature Transform，SIFT）以及改进的加速鲁棒特征算子（Speed Up Robust Features，SURF）和二进制鲁棒尺度不变关键点检测算子（Binary Robust Invariant Scaleble Key-point，BRISK）等。

4.1 几种提取特征点的算子

4.1.1 Harris算子

1998年，Harris和Stephens提出Harris算子，主要利用图像的灰度变化进行检测。算子的核心其公式为：

det M是矩阵M的行列式，trace M是矩阵M的迹，k一般取0.04～0.06。λ1，λ2为M矩阵的两个特征值，当各值都较大时，该点被认为是特征点。这种特征点检测方法计算简单，提取特征点均匀，自问世以来，得到了广泛的应用。

钟平［21］等人提出通过Harris算子提取特征点并进行匹配，求取局部运动适量，将其代入运动模型后求解全局运动适量。为了减少匹配计算的复杂度，加快匹配速度，采用了多分辨率图像金字塔匹配策略，可以较好地实现帧间平移运动和旋转运动的补偿。

朱娟娟［16］提出一种鲁棒的电子稳像系统。全局运动矢量通过Harris算子提取特征点的局部信息来估计，同时根据特征点集的结构特征提出用距离作为判断准则，对特征匹配进行验证来去除伪匹配点。最后将所有校验后的匹配点对代入运动模型中进行最优化迭代以获得全局运动矢量。

Harris算子［22］及其很多改进算法在特征提取领域都得到广泛应用，但是在图像含有尺度变化时，无法正确检测角点。后来又有人提出Harris-Laplace算子，虽然能适应尺度变换，但算法的耗时太长。

4.1.2 SIFT&SURF算子

SIFT［23］算子是2004年Lowe提出的基于尺度空间的特征提取算子。算法具有保证图像对平移旋转和尺度具有不变性，独特性能好的优点，缺点是基于多尺度空间进行搜索，计算量较大。Battiato［24］在2007年的ICIA国际会议上利用SIFT算子提取特征点，实现了视频序列去抖，取得了很好的效果。

SURF［25］算子是2008年由Bay提出的，是对SIFT算子的改进。主要运用Hessian矩阵对图像的极值进行检测，并在尺度空间内进行特征点检测。

对于一幅灰度图像，SURF中使用积分图像代替灰度图像，任意尺度的Hessian矩阵表示为：

式中，g（σ）是二维高斯函数，L（x，σ）是G（σ）与积分图像的卷积。实际应用中，用盒子滤波器代替高斯滤波器，通过改变σ的大小构建尺度空间。近年来很多文献报道了SURF算子及其各种改进算法的应用。

Binoy［26］运用SURF算子提取特征点法实现运动估计，采用不同的策略选择最适合的特征点轨迹，最后用Kalman滤波实现运动校正。张坤［7］采用SURF算法检测感兴趣特征点，得出当前帧相对于参考帧的运动矢量。再通过判断参考帧的更新情况，得到去抖后的全局运动矢量进行运动补偿。算法运行时间短，精确度可达到亚像素级。王洪［27］在SURF算子基础上，提出一种特征点预测方法，增强对外部环境和光照变化的适应能力，并在动态平衡KD树基础上进行快速匹配，经过加入噪声前后做测试比较，误匹配率降低为零。李小昌［28］在SURF算子的基础上，在特征区域选择的时候采用图像的熵来做检测，起到提高速度和减少计算量的作用，同时又改进了特征描述方法。吴威［29］等人采用SURF算子获取参考帧和当前帧的对应关系，再进行滤波和补偿，实现了全景稳像，稳像指标提高了近1/3。

4.1.3 BRISK算子

2011年，Stefan［30］在ICCV国际会议上提出了基于二进制鲁棒尺度不变关键点检测算子BRISK。算法主要包括特征点描述和匹配。BRISK特征检测子是以FAST算子为基础发展而来的，具有尺度不变、定位精度高等特点。BRISK描述符采用了在关键点附近采样的模式，由二进制比特串构成，一般采样60个位置。

许允喜［31］将这种方法用在组合导航系统的景象匹配中，大大提高了匹配的速度和精度，也适合大光照变化的情况。目前为止，将此算子用于电子稳像系统未见报道。

4.2 运动校正算法

运动校正的主要任务是消除或减轻摄像机抖动引起的视频序列随机运动。目前用于电子稳像的运动滤波算法主要有：均值滤波方法、Kalman滤波的方法、粒子滤波的方法、曲线拟合的方法以及α-β运动滤波的方法等。

S.Erturk［32］提出运用Kalman滤波对序列帧的随机运动和有意运动进行分离。M.K.Gullu［33］对Kalman滤波进行改进，提出运用模糊自适应的Kalman滤波对图像进行稳像。该算法中两个Kalman滤波器并行工作，其中一个用来作为参考滤波器，通过恒定过程的噪声方差工作来确保能平滑和密切跟踪相机运动的轨迹。稳定滤波器的噪声方差会自适应地根据它与参考滤波器的差值通过模糊系统进行调整。张帆［34］等人提出了一种基于固定滞后平滑滤波的平移运动滤波技术，该方法是在Kalman滤波的基础上得到的。算法通过滞后N帧图像所获得的更多图像位置信息，提高Kalman滤波的估计精度，算法计算速度较快，实时性好，滤波的平滑效果明显。

Yang［35］等人在粒子滤波框架基础上提出一种新颖的视频稳像技术，该技术对粒子滤波应用于传统的相机运动仿射模型进行了扩展，依靠所得图像的逆以获得稳定的视频序列。首先运用尺度不变特征点对摄像机运动进行粗略估计，接着运用粒子滤波进行平滑估计。这种方法在实验和理论上都表明，采用粒子滤波的估计精度较高。Jin［36］等人认为主观运动与当前帧及前两帧的全局运动相关，把运动的位移随时间的变化曲线视为一个信号，设计了一个二阶的惯性滤波器，滤波器参数需要凭经验设置，不能自适应调整。

近年来，很多学者针对不同的环境背景研究出了很多新的运动滤波算法。这些算法对已有的算法做了大量的改进，提高了算法的精度和速度。王斌［6］提出了用均值偏移和粒子滤波结合的运动滤波算法（MSPF）来实现运动校正。该算法通过粒子滤波来预测粒子，然后利用单次均值偏移迭代使粒子向目标真实位置区域移动，这样可以削弱计算结果的精度对粒子数的依赖。实验结果表明：MSPF算法使用50%的粒子就能起到传统粒子滤波算法同样的效果，缩短了计算时间，有利于实现实时稳像跟踪，适用于车载、船载、机载等稳定跟踪系统中。姚军［37］也利用粒子滤波实现了序列的稳像，取得了很好的效果。

Huang［38］等人采用特征点匹配法做帧间运动估计，之后采用α-β运动滤波算法分离随机运动和有意运动，实现运动平滑。此滤波方法是一种低通滤波方式，增益恒定，容易实现，最大的优点是增益矩阵可以离线计算。算法鲁棒性好，可以去除高频抖动，在工程上比Kalman滤波容易实现。

4.3 图像补偿算法

图像补偿主要对校正后的区域进行重构，获得完整的视频序列。近几年，电子稳像处理中图像补偿的方法主要包括基于运动复原的方法和图像拼接方法。

Matsushita［39］等人提出了一种基于运动复原的图像补偿方法。该方法利用算法将视频背景与运动前景分开，然后根据局部运动特性，利用视频的时空连贯性对图像进行图像补偿。杨占龙［40-41］等人采用图像拼接技术实现图像补偿。传统图像拼接方法对旋转和噪声敏感，针对这个问题，杨提出了两种图像拼接技术，一种是基于兴趣点的伪泽尼克（Zernike）矩技术，另一种是基于不变矩的拼接技术。两种方法都是利用Harris算子获取图像中的兴趣点，计算以兴趣点为中心邻域窗口的伪泽尼克矩和不变矩。然后根据几何变换模型剔除伪匹配点对，最后将两幅图像间的重叠区域进行图像融合，完成图像的拼接。

5 结束语

目前的电子稳像系统对于应用对象和环境针对性较强，任何一种单一的方法和应用已经无法满足人们的需求，为了降低计算难度，要根据不同情况选取不同的方法。与其他领域的新技术相结合是电子稳像技术的一个研究热点，也是一个具有挑战性的新的研究领域。

机载电子稳像技术的研究已经取得了很大的进展，在电子稳像的工程应用中仍需解决以下几个方面的难点：

（1）运动模型的局限性。目前在运动估计模块所用的运动模型都是基于某种条件下的假设，每种算法总有一定的使用范围，因此需要建立一个通用的或近似通用的几何校正模型，以适用于摄像机的任意运动。

（2）稳像算法的实时性。现今存在的电子稳像算法多数只能实现基于平移运动模型的实时处理，而这样的模型不能完整地描述环境复杂情况下摄像机的运动特征。实现多参数运动模型下的实时稳像处理是该领域学者的研究目标之一。

（3）图像拼接的重影问题。图像拼接算法是基于两幅图像间重叠区域并不存在运动物体的假设前提下的。但在有些情况下，待拼接图像采集过程中会有运动的物体出现或移动，这将会在合成图像中产生重影。因此，对图像运动补偿要尝试一些图像融合的算法，更大程度地消除运动物体产生的重影。

（4）利用图像的间接特征进行匹配。图像的能量、直方图以及频谱等信息都是图像的间接特征，利用这些特征进行图像匹配的文章还很少见，但这些特征都是图像的固有特性，这也是电子稳像算法今后努力的方向。

［1］赵红颖，金宏，熊经武.电子稳像技术概述［J］.光学精密工程，2001，8（4）：353-359. ZHAO H Y，JIN H，XIONG JW.Overview of the electronic image stabilization technology［J］.Opt.Precision Eng.，2001，8（4）：353-359.（in Chinese）

［2］王志民，徐晓刚.电子稳像技术综述［J］.中国图象图形学报，2010，15（3）：470-480. WANG ZH M，XU X G.A survey on electronic image stabilization［J］.J.Image and Graphics，2010，15（3）：470-480.（in Chinese）

［3］钟平.机载电子稳像技术研究［D］.长春：中国科学院长春光学精密机械与物理研究所，2003. ZHONG P.Study on electronic image stabilization technology for the image sequences of the aero-borne camera system［D］.Changchun：Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，2003.（in Chinese）

［4］孙辉，李志强，孙丽娜，等.基于相位相关的亚像素配准技术及其在电子稳像中的应用［J］.中国光学与应用光学，2010，3（5）：480-485.SUN H，LIZH Q，SUN LN，etal..Sub-pixel registration based on phase correlation and its application to electronic image stabilization［J］.Chinese J.Opt.Appl.Opt.，2010，3（5）：480-485.（in Chinese）

［5］李迪.微型飞行器电子稳像技术研究［D］.长春：中国科学院长春光学精密机械与物理研究所，2012. LID.Study on electronic digital image stabilization technology for the image sequences ofMAV［D］.Changchun：Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，2012.（in Chinese）

［6］王斌，赵跃进.基于电子稳像跟踪技术的运动滤波算法［J］.光学精密工程，2009，17（1）：202-206. WANG B，ZHAO Y J.Motion filtering algorithm for tracking technology based on image stabilization［J］.Opt.Precision Eng.，2009，17（1）：202-206.（in Chinese）

［7］张坤，许廷发，王平，等.高精度实时全帧频SURF电子稳像算法［J］.光学精密工程，2011，19（8）：1964-1972. ZHANG K，XU T F，WANG P.Rea-l time ful-l frame digital image stabilization system by SURF［J］.Opt.Precision Eng.，2011，19（8）：1964-1972.（in Chinese）

［8］朱娟娟，郭宝龙.一种鲁棒的电子稳像系统［J］.西安电子科技大学学报（自然科学版），2007，34（3）：418-422. ZHU JJ，GUO B L.Electronic image stabilization system based on global features tracking［J］.J.Xidian University（Nature&Science Edition），2007，34（3）：418-422.（in Chinese）

［9］ HUANG JC.Automatic feature-based globalmotion estimation in video sequences［J］.IEEE，2004，50（3）：911-915.

［10］ ANTONIO R K，ROLAND G.A wavelet-based approach to image feature stability assessment［J］.IEEE，206，22：1-25.

［11］ ANDREW L，JANUSZ K，WILIAM C K.Probabilistic video stabilization using Kalman filtering and mosaicking［J］.Image and video Communication and Processing，2003，5022：663-674.

［12］ ERTURK S.Digital image stabilization with sub-image phase correlation based globalmotion estimation［J］.IEEE T. Consumer Electronics，2003，12：1320-1325.

［13］ HO D S，JOON L.Digital image stabilization using simple estimation of the rotational and translationalmotion［C］.Proc. SPIE 5810，Acquisition，Tracking，and Pointing XIX，Orland，Florida，USA，March 2005.

［14］ XU L D，LIN X G.Digital image stabilization based on circular block matching［J］.IEEE T.Consumer Electronics，2006，52（2）：565-574.

［15］ JINHEE L，SANGKEUN L.Digital image stabilization based on statistical selection of feasible regions［J］.IEEE Transactions on Consumer Electronics，2009，55（4）：1748-1755.

［16］ POURREZA H R，RAHMATIM，BEHAZIN F.An electronic digital image stabilizer based on stationary wavelet transform（SWT）image procession［J］.Proceeding of 2003 International Conference on，2003，3：383-386.

［17］ ANGELOSA A，ANDREADIS I.Digital image stabilization by independent componentanalysis［J］.IEEE Trans.Instrumentation and Measurement，2010，59（7）：1755-1763.

［18］ SANJEEV K，HALEH A，MAINAK B，etal..Real-time affine globalmotion estimation using phase correlation and its application for digital image stabilization［J］.IEEE T.Image Processing，2011，20（12）：3406-3418.

［19］ KONSTANTINOS I，IOANNISA A.Digital image stabilization method based on the hilbert huang transform［J］.IEEE T.Instrumentation and Measurement，2012，61（9）：2446-2457.

［20］李迪，陈向坚，续志军，等.模糊神经网络在机载相机稳像中的应用［J］.浙江大学学报（工学版），2012，46（8）：1540-1545. LID，CHEN X J，XU ZH J，etal..Fuzzy neural network with self-organizing recurrent intervals for image stabilization of the airborne camera［J］.J.Zhejiang University（Engineering Science Edition），2012，46（8）：1540-1545.（in Chinese）

［21］钟平，于前洋，金光.基于特征点匹配技术的运动估计与补偿方法［J］.光电子·激光，2004，15（1）：73-77. ZHONG P，YU Q Y，JIN G.Motion estimation and motion compensation based on matching technology of feature point［J］.J.Optoelectronics·Laser，2004，15（1）：73-77.

［22］吉淑娇，朱明，胡汉平，等.基于特征匹配的视频稳像算法［J］.吉林大学学报（工学版），2013，43（增刊）：322-325. JISH J，ZHUM，HU H P，etal..Video stabilization algorithm based on the characteristicsmatching［J］.J.Jilin University（Engineering and Technology Edition），2013，43（Sup.）：322-325.

［23］ LOWE D G.Distinctive image features from scale-invariant keypoints［J］.International J.Computer Vision，2004，60（2）：91-110.

［24］ BATTIATO S，GALLOG，PUGLISIG，et al..SIFT Feature tracking for video stabilization［C］.International conference on Image Analysis and Processing，Modena 2007.

［25］ BAY H，TUYTELAARST，GOOL L V.SURF：speeded up robust features［C］.The Ninth European Conference on Computer Vision（ECCV）.Graz，Austria：Springer，2006：404-417.

［26］ BINOY P.Video stabilization using speeded up robust features［C］.Communications and Signal Processing（ICCSP），2011：527-531.

［27］王洪，嵇晓强，戴明，等.一种改进的快速鲁棒特征匹配算法［J］.红外与激光工程，2012，41（3）：811-817. WANG H，JIX Q，DAIM，et al..Improved speed up robust feathersmatching algorithm［J］.Infrared and Laser Eng.，2012，41（3）：811-817.（in Chinese）

［28］李小昌，朱丹.采用尺度不变特征和区域选择的图像配准方法［J］.红外与激光工程，2012，41（2）：537-542. LIX CH，ZHUD.Image registrationmethod based on region selection and Scale Invariant feature transform-invariant feature［J］.Infrared and Laser Eng.，2012，41（2）：537-542.（in Chinese）

［29］吴威，许廷发，王亚伟，等.高精度全景补偿电子稳像［J］.中国光学，2013，6（3）：378-385. WUW，XU T F，WANG YW，etal..High precision digital image stabilization with full frame compensation［J］.Chinese Optics，2013，6（3）：378-385.（in Chinese）

［30］ STEFAN L C，ROLAND S.BRISK：binary robust invariant scalable keypoints［C］.In proceedings of the IEEE international conference on computer vision（ICCV），2011，2548-2555.

［31］许允喜，蒋云良，陈方.惯性导航系统中基于BRISK的快速镜像匹配方法［J］.光电子·激光，2012，23（8）：1589-1595. XU Y X，JIANG Y L，CHEN F.Rapid scenematching algorithm based on BRISK for inertial integrated navigation system［J］.J.Optoelectronics·Laser，2012，23（8）：1589-1595.

［32］ ERTURK S.Image sequence stabilization based on kalman filtering of frame positions［J］.Electronics Letters，2001，37（20）：1217-1219.

［33］ GULLU M K，YAMAN E，ERTURK S.Image sequence stabilization using fuzzy adaptive Kalman filtering［J］.Electronics Letters，2003，39（5）：429-431.

［34］ ZHANG F，WANG X T，XU X G，et al..Electronic image stabilization algorithm based on fixed-lag smooth filtering［J］. Optoelectronics Letters，2007，3（4）：308-311.

［35］ YANG JL，SCHONFELD D，MOHAMEDM.Robust video stabilization based on particle filter tracking of projected cameramotion［J］.IEEE Transactions on Circuits and Systems for Video Technology，2009，19（7）：945-954.

［36］ JIN JS，ZHU ZG，XU G.Y.A stable vision system formoving vehicles［J］.IEEE T.Intelligent Transportation Systems，2000，1（1）：32-39.

［37］姚军，蒋晓瑜，杜登崇，等.使用粒子滤波器实现电子稳像［J］.光学精密工程，2009，17（5）：1105-1110. YAO J，JIANG X Y，DUD CH，etal..Digital image stabilization based on particle filter［J］.Opt.Precision Eng.，2009，17（5）：1105-1110.（in Chinese）

［38］ HUNG Y Q，JIANG X Y.Application of adaptiveα-βfiltering algorithm to electronic image stabilization［C］.2011 International Conference on Mechatronic Science，Electric Engineering and Computer，August 19-22，2011，Jilin，China，322-325.

［39］ MATSUSHITA Y，OFEK E，GEW，et al..Full-frame video stabilization with motion inpainting［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（7）：1150-1163.

［40］杨占龙，郭宝龙.基于兴趣点伪泽尼克矩的图像拼接［J］.中国激光，2007，34（11）：1548-1552. YANG ZH L，GUO B L.An imagemosaic technique based on invariantmoments of interest points［J］.Chinese J·Lasers 2007，34（11）：1548-1552.（in Chinese）

［41］杨占龙，郭宝龙.基于兴趣点不变矩的图像拼接方法［J］.光电子·激光，2007，18（6）：738-740. YANG ZH L，GUO B L.An imagemosaic technique based on invariantmoments of interest points［J］.J.Optoelectronics ·Laser，2007，18（6）：738-740.（in Chinese）

Aero-borne electronic image stabilization based on feature pointmatching

JIShu-jiao1，2，ZHU Ming1*，HU Han-ping1
（1.Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.School of Electronic and Information Engineering，Changchun University，Changchun 130022，China）
*Corresponding author，E-mail：zhu_mingca@163.com

Electronic Image Stabilization（EIS）technology usually is employed to remove the random jitter generated by the imaging equipment and to stabilize its video output.Firstly，the development status of EIS is introduced.Then themotion estimation module is studied in details，which is one of themost importantmodules of EIS.Both the direction motion estimation algorithms and the feature-points-based matching algorithms are discussed.Furthermore，themotion correction and compensation algorithm are presented.Finally，according to the difficulties and the future trends of the EIS，the developing direction for featurematching algorithms of EIS is proposed.

electronic image stabilization；motion estimation；featurematching；Kalman filter

TP391.4

10.3788/CO.20130606.0841