APP下载

红外图像序列拼接算法改进研究

2018-08-31廖小军

中国科技纵横 2018年9期
关键词:红外

廖小军

摘 要:图像拼接技术是提高红外热像仪的图像覆盖范围并获得高分辨率全景图像的有效手段。为解决动态拼接过程中的错位和灰度跳变问题,研究并改进了基于最优拼接线的拼接算法。使用无人机搭载试飞图像序列进行了仿真分析,验证了改进算法的有效性。

关键词:图像拼接;红外;最优拼接线;图像序列

中图分类号:TP391 文献标识码:A 文章编号:1671-2064(2018)09-0026-03

1 引言

随着高分辨率红外成像技术的发展,图像遥感遥测技术已逐步拓展到了红外波段,在地理测绘、资源勘察、防灾减灾、区域救援等领域发挥了重要的作用。单个红外热像仪的图像覆盖范围有限,还不能满足广域地理信息遥感的应用需要。图像拼接技术是解决这一问题的低成本和有效的途径。

图像拼接技术使用有重叠区域的多帧图像或连续图像序列进行配准和融合以生成大区域、高分辨率的全景图像。在使用无人机、运输机或卫星搭载红外热像仪进行遥测作业时,搭载平台按照规划航迹进行连续飞行,对拍摄的图像序列进行机上在线或事后处理,就可以生成感兴趣区域的详细的全景图像,作业效费比较高,可快速反映作业区域的实际情况。但受限于不同拍摄时间地物红外辐射的波动、热像仪姿态的扰动和拍摄视角的变化等因素,拼接图像往往存在错位和灰度跳变等缺陷,造成地理特征的失真和图像灰度的不均匀性。

为解决上述问题,提高图像拼接过程对复杂作业环境的稳健性,本文研究了基于最优拼接线的图像拼接算法,并对主要步骤提出了改进措施。

2 算法及改进

图像拼接过程主要包括图像配准、灰度调整、拼接线检测和图像混合四个步骤。

2.1 图像配准

虽然搭载红外热像仪的飞行平台安装了惯性测量单元(IMU),可提供较高精度和实时性的姿态和GPS位置数据,但其精度仍不满足图像拼接的要求。为找出连续两帧图像的同名像素对,即同一地物点在两帧图像中的对应像素,以IMU姿态数据作为起始,使用圖像配准算法进行配准,以达到像素级精度。

配准原理如图1,主要流程如图2。主要包括初始重叠区域计算、特征点检测和描述、特征点配对、几何变换矩阵估值和剔除外点(outlier)、后一帧向前一帧图像变换对准以确定精确的重叠区域。

由于红外图像的细节信息不如可见光图像丰富,常规的SIFT特征检测法在较平坦区域往往得不到充分数量的特征点。Harris算子在相对均匀的区域也能获得较多的特征点。为提高特征点配对的稳健性,并为变换矩阵估值提供足够和可靠的配对,使用Harris和SIFT两类特征进行检测、描述和配对。

为适应飞行平台复杂的航路状况,在几何变换矩阵估值时,并行计算相似度(similarity)、仿射(affine)和透视(projective)三种模型下的变换矩阵,并使用内点(inlier)数量最多的变换矩阵。

2.2 灰度调整

灰度调整是使多帧图像拼接后的图像亮度均匀自然的重要环节,其方法主要有两类:全局调整法和局部调整法。全局调整法包括最小方差匹配法(least squares matching,LSM)、图像熵法(image entropy)、矩匹配法(moment matching,MM)和直方图匹配法(histogram matching)等。由于使用重叠区域进行整体调整而未考虑局部特征,拼接后的图像整体上出现了明暗不均匀。在局部调整法中,局部矩匹配法(local moment matching, LMM),使用两帧图像重叠区域对应的局部邻域计算一阶和二阶矩,进而计算两个局部邻域的灰度变换关系,进行灰度映射。在重叠区域内沿行或列方向移动邻域,计算变换关系并应用到待校正图像的全列或全行,以实现全部图像的灰度调整。局部矩匹配法的原理如图3所示。其中示出了沿行方向调整的过程;沿列方向调整方法类似。在重叠区域内定义邻域A和B,占满重叠区域全宽,行方向A和B完全重合;定义邻域C,占满当前图像全宽,行方向上位于邻域B的中心,高度仅一行。分别计算邻域A和B各自的均值mA、mB和标准差σA、σB,从而计算当前图像在邻域-C的调整增益GC和偏置PC,即灰度调整值:

FC=GCFC+PC GC= PC=mA-mBGC

每行计算一次,三个邻域整体平移一行,直至完成重叠区域的所有行。

2.3 拼接线检测

拼接线检测是实现图像拼接的关键,其目的是在图像重叠区域找出最优的拼接线,使得在该线上待拼接的两帧图像的相似度最高。拼接线应当沿场景的均匀区域或地物的边缘,而不能跨过地物特征而造成拼接后图像的错位。

最优拼接线的要求是:两图像的像素灰度差值最小,沿拼接线的几何差异最小。如图4,拼接线-A起止于重叠区域的角点,通过的区域比较平坦,没有两帧图像灰度差异较大或几何特征较多的区域;拼接线-B起止于重叠区域上下两个边界,穿过了建筑物,会使得拼接后起止位置和建筑物错位。显然,A优于B。

本文使用改进的自动分块动态规划(APDP)算法。最优拼接线包含三个部分:由两个角点开始的搜索路径和两个角点分处两侧的中间搜索路径。为每一条拼接线建立一个代价函数(cost function),路程最长且平均代价函数最低的拼接线为最优拼接线。代价函数定义为:

在上式中,Ndmk为待选像素所在邻域的灰度差,Ngmk为当前像素与待选像素间的灰度梯度最小值,Nemk为待选像素所在邻域的几何结构差。在搜索过程中,一旦搜索路径跨过几何结构和灰度差异的边缘线,Ndmk+Ngmk+Nemk将突然变大,从而约束搜索,使得几何结构和灰度差异均达到了最小。

在五方向搜索过程中,当搜索至地物形成的角落时,将强制终止或直接跨过地物,在一些情况下会造成拼接后图像的灰度跳变和错位。本文改进为八方向搜索,如图5。搜索的策略也进行调整,如图6。首先自重叠区域两个边角开始相向搜索,至搜索路径自相交或到达对方已搜索路径时终止。若未到达对方已检测路径,自一条已检测路径向另一条搜索,到达重叠区域边缘时沿边缘搜索,直至到达另一条已检测路径。若产生自相交,换一个起始点重复搜索。

2.4 图像混合

图像混合使用两帧图像重叠区域生成拼接后图像的对应区域,使得跨过拼接线的图像平滑过渡。其算法包括直接校正法(hard correction)、加权层叠法(weighted stacking on overlapped areas)和小波变换法(wavelet transform)、余弦距离加权混合法(cosine distance weighted blending)。这些办法均使用距离作为混合权重的依据,存在拼接区域灰度不均匀的问题。

为消除残余的图像灰度不均匀,我们使用局部均值方差计算灰度变换,再按余弦距离加权混合,从而大大降低图像灰度的不均匀性。变换关系为:

=AijFij+Bij Aij= Bij=mmn-mijAij

其中,mij、σij和mmn、σmn分别为当前和前帧图像像素邻域的均值和标准差,和分别为当前图像灰度值和变换值。变换过程如图7。

3 试飞图像仿真与讨论

为验证改进算法的有效性,使用试飞红外图像序列进行了仿真。拼接后的全景图像如图8-10。由图可见,采用改进后算法进行连续拼接时,地物变化连续,人眼观察不到几何错位和灰度跳变,拼接的位置精度较高,证明本文对算法的改进是有效的。

在图8中,由于红外热像仪残余的视场边缘照度不均匀,使得拼接后图像的非重叠区域仍然存在灰度不均匀性。在图9中,拼接后图像的灰度不均匀更明显,特别是残余的最优拼接线鬼影较大。这在更大范围的图10中更为明显。

经排查算法程序和热像仪,认为残余的灰度非均匀主要是热像仪处理程序造成的。热像仪将各帧图像的灰度全范围独立地和线性地映射到0-255灰度级,由于原始图像中存在闪烁性坏点,造成映射增益和偏置的波动较大,使得闪烁点的帧间灰度波动直接转换为全帧的灰度波动。但这并不影响对本文算法的验证。

4 结语

本文对基于最优拼接线的红外图像序列拼接算法进行了研究,主要的改进包括:(1)使用多类型特征进行检测和描述;这使均匀区域的特征点检测精度更高,数量更多。(2)在几何变换矩阵估值时,并行计算相似度、仿射和透视三种模型下的变换矩阵,并使用内点数量最多的变换矩阵;这使图像配准过程抑制飞行平台姿态扰动的稳健性更高。(3)在搜索最优拼接线时,使用八方向搜索,同时由起始于重叠区域边角的两条最优路径相互向对方进行搜索,形成三段合一的最优拼接线;这提高了搜索时获得更优路线的灵活度,进一步避免了错位的发生。(4)在进行图像混合时,先基于重叠区域对应像素邻域的局部均值和方差进行灰度变换,再进行余弦距离加权混合;这进一步降低了混合过程中最优拼接线附近的灰度不均匀。使用外场试飞红外图像序列的仿真分析表明,改进后的算法很好地解决了几何错位和灰度跳变问题,拼接位置精度较高,地物连续性较好。

由于红外热像仪输出的原始图像序列存在幅度较大的帧间整体灰度波动,造成拼接后的全景图像仍有残余的灰度不均匀,影响了全景图像的质量。这将在后续的研究中进行改进,并开展更充分的仿真和外场试飞试验。

参考文献

[1]徐亚明,刑诚,陈晓东.一种基于拼接线的无人机序列影像拼接方法[J].武汉大学学报·信息科学版,2011,36(11):1265-1269.

[2]宋耀鑫,張丹丹,唐伶俐,等.基于ASIFT算法的低重叠度无人机影像拼接方法[J].遥感技术与应用2015,30(4):725-730.

[3]Xinghua Li, Nian Hui, Huanfeng Shen, Yunjie Fu, Liangpei Zhang. A robust mosaicking procedure for high spatial resolution remote sensing images[J].ISPRS Journal of Photogrammetry and Remote Sensing,2015,109:108-125.

[4]Harris, C., and M. Stephens. A Combined Corner and Edge Detector [A]. Proceedings of the 4th Alvey Vision Conference [C].1988:147-151.

[5]Lowe, David G. Object recognition from local scale-invariant features [A]. Proceedings of the International Conference on Computer Vision [C].1999,2:1150-1157.

猜你喜欢

红外
网红外卖
闪亮的中国红外『芯』
8路红外遥控电路
TS系列红外传感器在嵌入式控制系统中的应用
红外成像导引技术应用中若干问题的探讨
基于快速递推模糊2-划分熵图割的红外图像分割
红外光谱法研究TPU/SEBS的相容性
红外成像系统在八钢欧冶炉竖炉的应用
扫描型长波红外连续变焦光学系统
热红外遥感在森林消防工作中的应用简述