程相正,赵 威,曾朝阳,邵 铭,张 雷,胡琥香

(1.中国洛阳电子装备试验中心,河南 洛阳 471003；2.光电对抗测试评估技术重点实验室,河南 洛阳 471003；3.装备学院光电装备系,北京 101416)

·图像与信号处理·

基于标定信息的高低分辨率图像配准方法

程相正1,2,赵 威1,2,曾朝阳3,邵 铭1,2,张 雷1,2,胡琥香1,2

(1.中国洛阳电子装备试验中心,河南 洛阳 471003；2.光电对抗测试评估技术重点实验室,河南 洛阳 471003；3.装备学院光电装备系,北京 101416)

针对激光三维成像系统分辨率较低,特征点不易提取,同时与可见光成像系统图像配准实时性不高的问题,提出了一种基于标定信息的低分辨率距离图像与高分辨率强度图像配准方法。首先,通过对激光三维成像系统与可见光成像系统进行标定,得到了二者的内参数、外参数以及畸变系数；其次,利用二者的标定信息,通过构造像素匹配模型,确定了低分辨率距离图像像素点所对应的高分辨率强度图像像素点。最后,通过遍历低分辨率距离图像每一个像素点,实现低分辨率距离图像与高分辨率强度图像的像素配准。实验结果表明：该方法在保持准配精度基本不变的情况下,配准时间从2.111 s减为0.856 s,降低了算法的时间消耗,具有一定的可行性。

图像配准；高低分辨率；距离图像；标定；实时性

1 引 言

利用无扫描激光三维成像系统[1]与可见光成像系统进行三维重建、视觉导航、目标位姿测量是当前计算机视觉领域的研究热点。然而受焦平面制造工艺限制,二者成像分辨率差异较大[2-3],需要研究低分辨率距离图像与高分辨率强度图像像素配准方法,才能实现图像融合进而提高三维重建、视觉导航、目标位姿测量精度。

图像配准是指依据相似性度量准则,使从不同传感器、不同视角、不同光照等条件下获取的同一场景的两幅或者多幅图像,变换到同一坐标系下,在像素层上得到最佳匹配的过程[4,5]。基于图像灰度信息的配准方法[6]不需要进行特征提取,易于实现,但对于畸变较大的图像尤其是异源图像配准效果不理想,这一类方法不适用于低分辨率距离图像与高分辨率强度图像像素配准。基于图像特征信息的配准方法具有鲁棒性强、稳定性高等优点,也适用于图像之间变换关系比较复杂的配准。该方法依赖特征空间的选择以及特征点的提取,对于特征点不易提取的低分辨率距离图像,配准效果则不理想,同时该方法需要进行特征提取、特征匹配,实时性有待进一步提高。针对激光三维成像系统成像分辨率较低,特征点不易提取,同时与可见光成像系统图像配准实时性不高的问题,提出了一种基于标定信息的低分辨率距离图像与高分辨率强度图像配准方法,并通过实验验证了算法的可行性。

2 光学成像系统标定

光学成像系统的基本模型为线性成像模型,其成像基础为小孔成像。设三维空间点P(xw,yw,zw)T在图像上的投影为(u,v)T,二者的齐次坐标分别为P(xw,yw,zw,1)T和(u,v,1)T。根据线性成像模型可得：

(1)

式中,k为非零尺度因子；K为成像传感器内参数矩阵;(u0,v0)T为主点坐标;fu、fv分别表示图像平面U轴、V轴方向的尺度因子;s表示U轴与V轴的不垂直因子,一般取值为0(因为一般情况下;θ值为90°,表示图像平面为矩形)[7-8]；[RT]为光学成像系统外参数矩阵,与系统本身属性无关[9]。

在实际应用中,由于光学成像器件设计、制造以及组装过程中的不精确性,致使成像过程中存在畸变,单纯使用线性模型已不能准确描述光学成像系统成像几何关系,需使用下述非线性成像模型进行描述：

(2)

式中,(xu,yu)T为理想图像物理坐标;(xd,yd)T为实际图像物理坐标;k1、k2为径向畸变系数;p1、p2为离心畸变系数。光学成像系统的标定就是通过求取其内参数、外参数以及畸变系数,以确定二维图像像素点与三维空间点的对应关系。

3 基于标定信息的图像配准原理

不考虑光学成像过程中的畸变因素,根据激光三维成像系统坐标系坐标与图像像素坐标系坐标之间的转换关系可得：

(3)

由式(3)可以解出：

(4)

对于同一空间点P(xw,yw,zw)T,分别根据激光三维成像系统坐标系坐标、可见光成像系统坐标系坐标与世界坐标系坐标的转换关系可得：

(5)

由式(5)可以得出：

(6)

令:

(7)

则式(6)可以转化为：

(8)

根据可见光成像系统坐标系坐标与图像像素坐标系坐标之间的转换关系可得：

(9)

将式(8)代入式(9)可得：

(10)

令:

(11)

将式(11)代入式(10)可得：

(12)

将式(4)代入式(12)可得：

(13)

点P在激光三维成像系统坐标系下的坐标为(xc1,yc1,zc1)T,因此点P到激光三维成像系统镜头光心的距离为：

(14)

点P到激光三维成像系统镜头光心的距离远大于系统焦距,因此可以假设激光三维成像系统测得点P到系统的距离di近似等于点P到激光三维成像系统镜头光心的距离,即：

(15)

同时由于激光三维成像系统视场比较小,并且假设目标处于激光三维成像系统视场中心位置附近,因此有：

(16)

此时,式(15)可以转化为：

(17)

故点P在激光三维成像系统坐标系下的z坐标近似等于激光三维成像系统所获取的点P的距离,即:

zc1≈di

(18)

将式(18)代入式(13)可得：

(19)

由于激光三维成像系统和可见光成像系统在硬件加工、安装过程中均存在误差,需要考虑光学系统成像过程中的畸变因素。根据非线性成像模型,利用实际图像物理坐标与理想图像物理坐标的关系,可得到实际图像像素坐标与理想图像像素坐标的关系为：

(20)

由以上推导过程可知,通过对可见光成像系统和激光三维成像系统的标定分别获得内参数、畸变系数以及可见光成像系统坐标系与激光三维成像系统坐标系相对位置关系,利用式(19)和式(20)所建立的像素匹配模型即可实现低分辨率距离与高分辨率强度图像的配准。因此,基于标定信息的图像配准流程如图1所示。

图1 基于标定信息的图像配准流程

首先,分别利用基于双线性插值算法的标定方法[7]与基于矩形消失点特性的自标定方法[10]对激光三维成像系统、可见光成像系统进行标定,得到二者的内参数、畸变系数以及成像系统坐标系相对于第一幅模板图像的外参数；其次,利用式(19)和式(20)所构造的像素匹配模型,确定(ui,vi)所对应的高分辨率强度图像像素(uj,vj)；最后,遍历低分辨率距离/强度图像每一个像素点,实现高分辨率强度图像与距离/强度图像的像素配准。

4 实验验证及结果分析

4.1 可行性验证及结果分析

为了验证基于标定信息的图像配准原理的可行性,在激光三维成像系统与可见光成像系统相对位置固定的前提下,利用基于双线性插值算法的低分辨率传感器标定方法和基于矩形消失点特性的传感器自标定方法从不同方位拍摄8幅模板图像进行标定,得到激光三维成像系统与可见光成像系统非线性成像模型参数,如表1所示。

表1 光学成像系统参数

由式(7)可以解出可见光成像系统坐标系相对于激光三维成像系统坐标系的相对位置参数为：

利用激光三维成像系统得到标定模板距离/强度图像,获取每一个像素点的距离信息。此时,激光三维成像系统光轴正对模板像素点距离d=3.07m。

然后,分别提取标定模板激光三维成像系统强度图像和可见光成像系统强度图像角点像素坐标,根据像素匹配模型,计算出可见光成像系统所成强度图像角点像素坐标,并与该角点实际图像像素坐标进行比较,得到了前4幅模板图像的角点像素偏差如图2所示。

图2 图像角点像素偏差分布图

从图2可以看出,图像角点偏差比较均匀,u轴方向最大偏差为8.90pixel,v轴方向最大偏差为9.84pixel,u轴方向平均像素偏差为4.20pixel,v轴方向平均像素偏差为4.08pixel,图像像素偏差较大。分析其原因主要有：

1)光学成像系统标定精度影响。基于矩形消失点特性的自标定方法精度依赖模板图像数目,当模板图像数目达到20幅以上,标定误差显著下降,标定精度明显提高,而本实验中仅利用8幅图像对可见光成像系统进行标定,标定精度不够高。利用20幅不同方位角模板图像对可见光成像系统标定,前4幅图像角点像素偏差分布如图3所示。

图3 利用20幅模板图像时的角点像素偏差分布图

对比图2、3可以看出,图像角点像素偏差得到了一定程度地减小。图像u轴方向最大偏差为7.82pixel,v轴方向最大偏差为7.14pixel,u轴方向平均像素偏差为3.46pixel,v轴方向平均像素偏差为3.02pixel。利用20幅模板图像对可见光成像系统进行标定,标定精度得到了提高,角点像素偏差有一定程度减小。因此,光学成像系统的标定精度能够影响像素空间配准的准确度。而基于双线性插值算法的标定方法虽然提高了低分辨率光学成像系统标定精度,但受焦平面制造工艺限制,激光三维成像系统分辨率较低,致使对激光三维成像系统的标定精度仍不够高,影响距离/强度图像与高分辨率强度图像的配准精度。

2)成像距离影响。在本实验中,由于实验室空间有限,标定模板与激光三维成像系统距离为d=3.07m,而标定模板大小为40cm×40cm。即使激光三维成像系统视场比较小并且标定模板处于激光三维成像系统视场中心位置附近,但对于标定模板边缘附近的角点,式(17)仍存在一定的偏差,并且距离/强度图像边缘附近角点距离大于光轴正对角点到激光三维成像系统的距离,越靠近边缘,偏差越大,因此图像角点像素偏差基本成均匀分布。当标定模板与激光三维成像系统距离增至d=5.11m(实验室空间允许最大距离)时,利用20幅不同方位角模板图像进行标定,前4幅图像角点像素偏差分布如图4所示。

图4 距离d=5.11 m时的图像像素偏差分布图

对比图3、4可以看出,当标定模板与激光三维成像系统距离增至d=5.11m时,图像角点像素偏差进一步减小。图像u轴方向最大偏差为5.12pixel,v轴方向最大偏差为6.04pixel,u轴方向平均像素偏差为2.54pixel,v轴方向平均像素偏差为2.60pixel。标定模板与激光三维成像系统距离增大,图像角点像素偏差减小,激光三维成像系统所成图像与可见光成像系统所成图像像素空间配准精度得到了提高。理论上讲,当目标距离从d=5.11m继续增大时,图像像素空间配准精度会进一步提高。

由以上实验可知,在光学成像系统标定精度较高的情况下,对3～5m的目标进行探测时,图像像素最大偏差为6.0～7.8个像素,平均像素偏差为2.6～3.5个像素。同时,该方法在图像配准时无需进行特征的提取,规避了激光三维成像系统成像分辨率较低的问题,具有一定的可行性。

4.2 实时性验证及结果分析

为了进一步验证基于光学成像系统标定信息的低分辨率距离图像与高分辨率强度图像配准效果,引入了图像像素RMSE(RootMeanSquareError,RMSE)、配准时间以衡量算法的配准精度和速度。实验中(实验平台硬件环境为：Intel(R)Core(TM)2DuoCPUE7500,主频为2.93GHz,内存为2G；软件开发环境为：WindowsXP32位操作系统,MATLAB(R2010a)),分别提取标定模板激光三维成像系统强度图像和可见光成像系统强度图像角点像素坐标,根据像素空间配准模型,求解出可见光成像系统所成强度图像角点像素坐标,进一步计算出该坐标与其实际图像像素坐标的RMSE[11],并与基于改进SURF算子的高低分辨率图像配准方法结果进行了对比,其结果如表2所示。

表2 配准算法对比

从表2可以看出,虽然基于标定信息的图像配准RMSE略微增加(这是因为低分辨率激光三维成像系统标定精度有待进一步提高),但由于该方法在可见光成像系统、激光三维成像系统二者属性以及相对位置不变的前提,只要掌握二者的标定信息即可实现激光三维距离图像与可见光强度图像像素配准,无需进行图像特征提取与特征匹配,致使该方法的配准时间从2.111s降为0.856s,提高了算法的实时性。

5 结 语

针对激光三维成像系统成像分辨率较低,特征点不易提取,同时与可见光成像系统图像配准实时性不高的问题,提出了一种基于标定信息的低分辨率距离图像与高分辨率强度图像像素空间配准方法。该方法在激光三维成像系统与可见光成像系统标定的基础上,通过构造像素匹配模型,实现了低分辨率距离/强度图像与高分辨率强度图像像素的空间配准。该方法无需特征点提取,规避了激光三维成像系统成像分辨率较低的问题,提高了图像配准的实时性,为激光三维图像与可见光图像融合提供了技术支撑。

[1] ZHANG Xudong，SHEN Yuliang，HU Liangmei,et al.Improved super-resolution reconstruction algorithm for PMD range image[J].Journal of Image and Graphic，2012,17(4)：480-486.(in Chinese) 张旭东,沈玉亮,胡良梅，等.改进的PMD距离图像超分辨率重建算法[J].中国图像图形学报，2012,17(4)：480-486.

[2] ZHAO Hongli,FAN Youchen,SUN Huayang,et al.Review about 3D laser radar system based on Geiger mode APD array[J].Laser & Infrared,2013,43(10):1083-1088.(in Chinese) 赵洪利,范又臣,孙华燕,等.基于盖革模式APD阵列的非扫描激光三维成像雷达研究综述[J].激光与红外,2013,43(10):1083-1088.

[3] D F Figer, J Lee,B J Hanold,et al.A photo counting detector for explanet missions[J].SPIE,2011,815:81510k.

[4] CHEN Hang,DU Xiaoping,XIA Lurui,et al.Registration method for hyperspectral image based on control points[J].Joural of Academy of Equipment,2013,24(3):109-113.(in Chinese) 陈杭,杜小平,夏鲁瑞,等.基于控制点的一种高光谱图像配准方法[J].装备学院学报,2013,24(3):109-113.

[5] ZENG Zhaoyang,CHENG Xiangzheng,CHEN Hang,et al.Registration method of high-low resolution images based on improved SURF[J].Laser & Infrared,2014,44(2):207-212.(in Chinese) 曾朝阳,程相正,陈杭,等.基于改进SURF算子的高低分辨率图像配准方法[J].激光与红外,2014,44(2):207-212.

[6] ZHANG Ran,WANG Lei,XIA Wei,et al.Comparision of similarity measurement and optimazation methods in 2D/3D image registration[J].Laser & Infrared,2014,44(1):98-102.(in Chinese) 张冉,王雷,夏威,等.2D/3D图像配准中的相似性测度和优化算法[J].激光与红外，2014,44(1):98-102.

[7] CHENG Xiangzheng,ZENG Zhaoyang,CHEN Hang,et al.Calibration method of low-resolution sensor based on bilinear interpolation strategy[J].Laser & Optoelectronics Progress,2013,50(7):071501.(in Chinese) 程相正,曾朝阳,陈杭,等.基于双线性插值算法的低分辨率传感器标定方法[J] .激光与光电子学进展,2013,50(7):071501.

[8] WANG Xiangjun,WANG Jing,LIU Feng,et al.Fast calibration for binocular vision measuring system with a large field[J].Optics and Precision Engineering，2013,21(10):2664-2671.(in Chinese) 王向军,王晶,刘峰,等.野外大视场双目视觉物体定位监测系统的单参数快速标定[J].光学 精密工程,2013,21(10):2664-2671.

[9] GUO Tao,DA Feipeng,FANG Xu.Camera calibration under small field of view[J].Chinese Journal of Lasers,2012,39(8):164-168.(in Chinese) 郭涛,达飞鹏,方旭.小视场环境下的摄像机标定[J].中国激光,2012,39(8):164-168.

[10]Zhaoyang Z,Xiangzheng C,Hang C.Research on method of sensor self-calibration based on the characteristic of rectangular vanishing point[C].Proc.SPIE8908,International Symposium on Photoelectronic Detection and Imaging 2013:Imaging Sensors and Applications,89080C.

[11]CHEN Jie,FU Dongmei,LIU Yan.Method of infrared and visible image registration based on similar triangles matching[J].Laser & Infrared,2010,40(2):215-218.(in Chinese) 陈洁,付冬梅,刘燕.基于相似三角形匹配的红外与可见光图像配准方法[J].激光与红外,2010,40(2):215-218.

Registration method between high-low resolution images based on calibration information

CHENG Xiang-zheng1,2,ZHAO Wei1,2,ZENG Zhao-yang3,SHAO Ming1,2
ZHANG Lei1,2,HU Hu-xiang1,2

(1.Luoyang Electronic Equipment Test Center of China,Luoyang 471003,China;2.Key Laboratory of Electro-Optical Countermeasures Test & Evaluation Technology,Luoyang 471003,China;3.Department of Optical and Electrical Equipment,the Academy of Equipment,Beijing 101416，China)

Due to the low-resolution of three-dimension laser image,feature points are difficult to extract and the speed of image pixel registration between three-dimensional image and visible image is slow. In order to solve these problems,a registration method between low resolution distance image and high resolution intensity image is proposed based on the calibration information of optical imaging systems. Firstly,by means of calibrations of the three-dimensional image and visible image,their intrinsic & external parameters and distortion coefficients are obtained. Subsequently,by establishing pixel registration model,the corresponding pixels between low-resolution distance image and high-resolution intensity image are determined on the basis of their calibration informations. Finally,by iterating each pixel of low-resolution image,the pixel registration is achieved. The experiment results show that the proposed method reduces the registration time from 2.111 s to 0.856 s,while remains registration accuracy.

image registration; low & high resolution; distance image; calibration; real-time

1001-5078(2015)02-0214-07

国家高技术研究发展计划资助项目。

程相正(1989-),男，硕士研究生，助理工程师，主要从事光电侦察、图像融合等方面的研究。 E-mail:846248088@qq.com

2014-06-11;

2014-07-06

TP391.41

A

10.3969/j.issn.1001-5078.2015.02.021