周文理, 金施群

(合肥工业大学 仪器科学与光电工程学院,合肥 230009)

基于 SIFT算法的可见光图像与红外图像配准

周文理, 金施群

(合肥工业大学 仪器科学与光电工程学院,合肥 230009)

为实现可见光图像与红外图像的有效配准,结合两类图像的特点,提出基于特征的SIFT算法,并进行道路和人脸的可见光图像与红外图像配准实验。结果表明,SIFT算法对纹理结构简单、光滑图像提取的特征点较少;随着阈值提高,可见光图像与红外图像的匹配点数目增加,匹配稳定性降低。该算法可用于可见光图像与红外图像配准。

图像配准;SIFT;红外;可见光

图像配准即对以不同方式成像的同一目标的图像进行空间上对准,它是进行图像融合和变化检测的前提条件,在遥感、军事、医学、计算机视觉等众多领域都有广泛应用[1]。随着图像配准应用领域的扩展,单一探测系统所获取的图像信息已不能满足应用需求,单波段的图像也因区域、温度等条件的变化而减少。因此,多种探测系统所获图像及多波段图像的配准方法成为研究热点。2004年,Lowe基于不变量技术的特征检测方法提出了尺度不变特征变换 (Scale Invariant Feature Transfor m,SIFT)算法[2]。该算法对图像的旋转、缩放、光强具有很好的稳定性,因此广泛应用于图像配准中。

可见光图像与红外图像具有不同的灰度特征,这些特征信息互为补充,可以融合在一起用于目标识别[3]。笔者运用 SIFT算法进行可见光图像与红外图像配准实验,以探索可见光图像与红外图像有效配准方法。

1 图像配准方法的选择

常见的图像配准方法大致可分为基于图像灰度的配准方法和基于图像特征的配准方法两类。基于灰度的图像配准方法一般利用整幅图像的灰度信息,建立图像间的相似性度量,然后采用适当的搜索方法,寻找使相似性度量值最大或最小的变换模型的参数值。基于特征的图像配准方法一般先提取图像的不变特征,再对这些特征进行匹配以得到最终的图像配准。该方法所提取的特征包括全局特征和局部特征两种。全局特征对图像的表达过于简单,局部特征是局部提取的有用特征描述子,具有较强的鲁棒性[4]。

基于特征的配准方法较适合于图像结构信息丰富,图像中物体易于区分和检测的情况,但其缺点在于,特征提取结果与图像的内容和质量密切相关[5]。边缘、轮廓及纹理等是图像的本质特征,不同波段的同一物体总是具有相似的特征,所以特征总是高度相关的。基于特征的配准方法可以提取图像中对旋转、平移、光照等保持不变的特征,这些特征可分为点特征、线特征和区域特征等类型。

可见光图像与红外图像的成像机理不同,可见光反应的是景物的反射信息,而红外光反应的是景物的辐射信息。因此,可见光图像与红外图像配准除考虑旋转变化、尺度变化和仿射变形之外,还要考虑因成像机理不同而产生的其他问题,如灰度差异,难以提取相似的几何特征,对温度、湿度的反应不同等。可见光图像与红外图像处于不同的波段,其配准属于多模态图像配准[3]。两类图像灰度差异很大,且像素灰度之间不具有相关性,不宜使用基于图像灰度的配准方法。因此,文中选用基于特征的图像配准方法。

2 图像配准算法

2.1 图像多尺度表示

尺度空间理论最早用于模拟图像数据的多尺度特征,高斯卷积核是实现尺度变换的唯一线性核[2]。图像的尺度空间定义为函数L(x,y,σ),可由一个变尺度高斯函数G(x,y,σ)和一幅输入图像I(x,y)的卷积操作得到,即

其中,(x,y)为像素坐标,σ为尺度空间因子。

在图像二维平面空间和 DoG(Difference of Gaussian)尺度空间中同时检测局部极值并作为特征点,以使特征具备良好的独特性与稳定性[6]。DoG算子定义为两个不同尺度的高斯核的差分,即

其中,k为两层相近尺度之间的比例。

2.2 SIFT特征匹配算法

SIFT算法首先在尺度空间进行特征检测,确定关键点的位置及其所处尺度,然后将关键点邻域的主方向作为该点的方向特征,具体步骤如下:

(1)尺度空间极值点检测

利用DoG算子处理不同尺度大小的原始图像,得到DoG图像。如图 1所示,在检测尺度空间极值时,图中标记为叉号的像素要比包括同一尺度的邻近8个像素以及相邻的上下两个尺度对应位置的9×2个像素的值都大或都小[7],以确保在尺度空间和二维图像空间都检测到局部极值。将满足上述条件的点作为一个局部极值点,并记下其位置和对应尺度。

图1 DoG尺度空间局部极值检测Fig.1 Detecting local extremum in DoG scale space

(2)计算关键点主方向

利用关键点像素的梯度方向分布特性为每个关键点指定方向参数,使算子具备旋转不变性[8]。

式(1)、(2)分别为(x,y)处梯度的模值和方向公式,L所用的尺度即各关键点所在尺度。在以关键点为中心的邻域窗口内采样,计算得到邻域像素的梯度直方图,直方图的峰值代表该关键点邻域梯度的主方向,将该方向作为该关键点的方向。图 2为利用梯度直方图确定关键点主方向的示例。

至此,图像的关键点已检测完毕,每个关键点有三个信息,即所处位置、尺度和方向。

图2 由梯度方向直方图确定的主方向Fig.2 Determ ined ma in orientation by gradient orientations histogram

(3)生成特征点描述子

图 3左侧的中央黑点为当前关键点位置,每个小格代表关键点邻域所在尺度空间的一个像素,箭头方向代表该像素的梯度方向,箭头长度代表梯度模值。在每个 4＊4的小块上计算 8个方向的梯度方向直方图,绘制每个梯度方向的累加值,即可形成一个种子点。如图 3右侧所示,一个关键点由 2×2共 4个种子点组成,每个种子点有 8个方向向量信息[8]。这种邻域方向性信息联合的思想增强了算法的抗噪声能力,同时为含有定位误差的特征匹配提供了较好的容错性。

图3 SIFT描述子Fig.3 SIFT representive

为增强匹配的稳定性,实际计算过程中对每个关键点使用 4×4个种子点来描述,这样每个特征点用 128维的向量表征。将特征向量的长度归一化,则可去除光照变化的影响。

2.3 SIFT特征点匹配

当生成两幅图像的 SIFT特征向量后,将关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量。根据最近邻和第二近邻特征点的欧式距离之比,选择可靠性较高的匹配点,将其作为两幅图像转换参数的候选点。取图像 1中的某个关键点,并找出其与图像 2中欧式距离最近的前两个关键点,在这两个关键点中,如果最近的距离除以次近的距离小于设定的某个比例阈值,则接受这一对匹配点。降低这个比例阈值,SIFT匹配点数目会减少,但更加稳定[9]。

3 实 验

采用低照度黑白 CCD摄像机、红外光源和滤光片采集道路和人脸的可见光图像与红外图像。将比例阈值设为 0.6,采用 SIFT算法分别对道路和人脸图像进行配准实验,结果如图 4所示。

图 4a左侧为室外环境湿度较大、自然光条件下采集的道路图像,图像成像清晰;右侧为增加了 760 nm截止波长的红外滤光片后采集的图像,由于滤掉了强光的干扰,其亮度有所下降,但仍保持了细节,成像比较清晰。该图中共检测到 23对匹配点,匹配点质量很高。

图 4b为实验室内自然光下和在红外光照条件下增加了 850 nm截止波长的红外滤光片后的人脸图像。该图中未检测到匹配点。

图4 阈值为0.6时 SIFT对应点匹配Fig.4 SIFT match points when threshold is 0.6

比例阈值提高至 0.8的实验结果如图 5所示。

图 5 阈值为 0.8时 SIFT对应点匹配Fig.5 SIFT match points when threshold is 0.8

图 5a中共检测到 75对匹配点,匹配正确率为80%;图5b中检测到10对匹配点,匹配正确率为40%。比较图 4、5可知,随着阈值提高,匹配点数目增加,但匹配的稳定性降低。可见,SIFT算法对不同情况下图像的配准效果不同,对纹理结构简单、光滑的图像其提取的特征点较少。

4 结束语

笔者提出了一种基于 SIFT特征的可见光图像与红外图像配准方法。道路和人脸的可见光图像与红外图像配准实验表明,SIFT算法可用于可见光图像与红外图像配准,但针对不同成像条件下的图像对,其配准效果不同;对纹理结构简单、光滑的图像往往提取不到足够的特征点。这说明该算法有其局限性,在实际的可见光图像与红外图像配准中需针对实际目标选择相应的配准算法,或综合使用不同的配准算法以获得更好的配准结果。

[1] ZITOVA B,FLUSSER J.I mage registration methods:a survey [J]. Image andVision Computing,2003,21(11):977-1 000.

[2] LOWE D G.Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2004,60 (2):91-110.

[3] 苑津莎,赵振兵,高 强,等.红外与可见光图像配准研究现状与展望[J].激光与红外,2009,39(7):693-699.

[4] 周 晓,潘洁珠.典型相关分析与多伯努利相关模型的图像标注[J].合肥工业大学学报,2010,33(6):841-846.

[5] 王鲲鹏,徐一丹,于起峰.红外与可见光图像配准方法分类及现状[J].红外技术,2009,31(5):270-274.

[6] 赵 彬,陈 辉,董 颖.一种基于压缩域的视频拼接算法[J].计算机应用,2007(11):2 781-2 785.

[7] 李生红,张爱新,郑燕双,等.基于 SIFT的图像复制遮盖篡改检测技术[J].解放军理工大学学报:自然科学版,2009 (4):339-343.

[8] 邱雪娜,刘 斐,刘士荣,等.基于双目视觉的移动机器人动态目标识别与定位[J].华东理工大学学报:自然科学版, 2010(1):103-112.

[9] 王 彦,傅卫来,朱 虹,等.一种基于 SIFT特征匹配的工件识别方法[J].西安理工大学学报,2009(2):202-206.

[10] 郎利影,张晓芳,杨志勇,等.相位相关算法在条形码识别中的应用[J].河北工程大学学报:自然科学版,2008(4): 89-91.

Visible/infrared image registration based on S IFT

ZHOU W enli,JIN Shiqun
(School of Instrument Science&Opto-electronic Engineering,HefeiUniversity of Technology,Hefei 230009,China)

Aimed at an effective registration of visible/infrared image,this paper proposes featuresbased SIFT algorithm,combined with the characteristics of two types of image,and describes an experiment focused on registration of road and face visible/infrared image.The result indicates that SIFT algorithm allows fewer features to be extracted from simple texture structure and smooth image.The increasing threshold means a greater numberof the imagematches and a lowermatching stability.This algorithm can apply to visible/infrared image registration.

image registration;SIFT;infrared;visible

TP391.41

A

1671-0118(2011)02-0121-03

2011-01-26

周文理(1987-),男,安徽省淮北人,硕士,研究方向:光电工程与机器视觉,E-mail:wenli8710@126.com。

(编辑荀海鑫)