邹欢欢，赵海丽，景文博，徐向锴，刘健

（1.长春理工大学 电子信息工程学院，长春 130022；2.长春理工大学 光电工程学院，长春 130022）

在军事领域中，激光制导武器在现代战争中占据着重要的地位，此种武器根据激光照射目标并随之用弹药打击目标，因此激光制导武器的激光照射命中精度以及命中精度决定着激光武器能否准确打击目标［1］。激光制导武器的激光照射命中精度以及命中精度的测量由激光照射性能监测系统进行，其系统示意图如图1：由激光照射器发射激光照射在靶板上，在转台上搭载有激光探测器和光学系统，光学系统由红外传感器和可见光传感器以及滤波片和透镜等光学元件组成，用于跟踪靶板、采集靶板图像以及光斑图像，并将图像传输至PC机存储和处理。

图1 激光照射性能监测系统

激光照射性能监测系统采用了双传感器采集图像［2］。在红外传感器前安装有红外窄带滤波片1064nm±2nm，并使用短爆光采集图像，因此在红外图像中不存在背景信息。在此情况下，高精度显示激光照射的真实场景有很大难度。为了解决这一问题，本文提出了一种双路图像融合方法，首先对可见光图像与红外图像使用透视变换法进行图像配准，然后对红外图像使用阈值分割等技术进行激光光斑提取，最后使用自适应加权融合方法将可见光图像和红外图像融合为一，实现了激光照射真实场景的重现。

1 可见光红外图像融合

1.1 图像配准

在采集图像时，以目标为中心的世界坐标系Oxyz中，两传感器所处坐标不同，相对而言，以可见光传感器为中心的传感器坐标系O1x1y1z1与以红外传感器为中心的传感器坐标系O2x2y2z2两空间坐标系相交而不平行，建立模型如图2［3］，因此两传感器成像空间坐标系不同，反应在图像中为世界坐标系中的事物在两个图像的图像坐标系中形状、大小、位置不同，即成像时，事物关于两传感器的透视投影不同。

若世界坐标系Oxyz中存在一点P(x,y,z)，透视投影在坐标系O1x1y1z1与坐标系O2x2y2z2中的点分别为P1(x,y,z)、P2(x,y,z)，则三点间的关系可由下式表示：

图2 世界坐标系与传感器坐标系关系模型

式（1）中，TOO1、TOO2分别为世界坐标系Oxyz到坐标系O1x1y1z1、坐标系O2x2y2z2的透视变换因子，透视变换因子为3∗3的矩阵，可用式（2）表示，并可分解为式（3）：

式中，T1表示线性变换，包括空间旋转与放缩变换，T2表示空间透视变换，T3表示空间平移变换［4］。将（2）式代入（1）式任一方程有：

对式（4）展开得：

对式（5）改写如下：

由式（6）可知，对透视变换因子进行比例放缩而不会影响结果的准确性，对于传感器坐标系与世界坐标系之间的变换，通常将元素z、a3,3设为1［5］。因此矩阵未知数个数为8。求解8个未知数，只需要8个方程，即只需要4对点即可计算，当存在n(n≥4)对对应点时，有式（7）：

式中，X、Y为两个坐标系中的对应点对，T为透视变换因子。

图3 坐标系变换

根据式（7），已知三个条件中的任意两个即可求第三者。如图4所示，已知两个坐标系中的对应的4对点，即可计算透视变换因子，也可将某一坐标系中的点使用透视变换因子变换至另一坐标系。

根据上文中的透视变换原理，本文对红外图像使用了透视法与逆透视法相结合的方法对图像进行校正，如图4和式（8），可实现由红外传感器坐标系到世界坐标系再到可见光传感器坐标系的变换，得到成像空间、事物投影效果以及分辨率与可见光图像一致的红外配准图像。

图4 红外图像透视校正

式中，S(·)表示原红外图像，F′(·)表示逆透视红外图像，D′(·)表示透视红外图像，D(·)表示红外配准图像，·(a,b,c)表示空间坐标系中的坐标，IIPF（Infrared inverse Perspective Factor）为红外逆透视因子，VPF（Visible Perspective Factor）表示可见光透视因子。

1.2 激光光斑提取

对于红外传感器，由于红外高通滤波器的使用，在此图像中除激光光斑外没有背景信息，并且由于大气湍流、自然光等外界因素影响［6］，光斑分布不均匀，需使用图像处理技术对红外图像进行处理从而完成激光光斑的识别和提取，具体方法如图5：

图5 光斑提取流程图

（1）首先对红外图像进行阈值分割和二值化。阈值分割是一种经典的图像分割方法，用于图像中目标和背景的分割，阈值分割和二值化的优劣的关键在于阈值的选取。本文中，红外图像的采集环境为自然环境，为抑制自然光以及大气湍流的影响，达到激光光斑更准确的识别与提取，首先使用基于最大类间方差法（OTSU）得到图像的最佳分割阈值［7］，其原理为：求取图像的灰度直方图，并把直方图分为目标和背景两类，当被分成的两类之间的方差最大时，决定阈值，如式（9）：

式中，μ为整体图像灰度平均值，μ(T)为阈值为T时，背景图像灰度平均值，ω(T)为背景产生的概率。当δ（2T）取最大值时，阈值T即为所求阈值。

求得阈值T后，使用公式（10）红外图像进行阈值分割得到阈值分割图像，使用公式（11）对红外图像进行二值化得到二值化图像。

式（10）、（11）中，f(x,y)为原图像在点(x,y)处像素值，为进行阈值分割或二值化后图像。

（2）形态学处理，形态学的基本操作包括腐蚀、膨胀、开运算和闭运算等，广泛应用于图像边缘的平滑、图像内部的填充、图像物体的连接或断开［8］。本文中为了平滑光斑边缘的凸起、凹陷，对使用公式（12）、（13）对二值化图像进行闭运算处理，即先膨胀后腐蚀；

式中，⊗表示腐蚀，⊕表示膨胀，f表示图像，K表示结构元素，.c表示补集，l表示结构元素的大小。

（3）连通域分析是图像处理技术中区域分析的常用且重要的技术，分为四邻域连通域分析和八邻域连通域分析等等，连通域定义如图6。为准确定位光斑区域，引入了八邻域连通域分析。对二值化图像进行八邻域连通域分析，对所分析出的连通域进行面积特征提取，找出面积最大的通域即为光斑区域；

图6中，P表示其中图像中一个像素点，箭头指向即为P的邻域；

（4）图像相乘。将二值化图像中光斑区域的图像像素重定义为1，将光斑区域外的图像重定义为0，即在二值化图像中只保留光斑区域。二值化图像中的光斑不是真实采集红外图像中的光斑，为求得真实光斑图像，将重定义后的二值化图像与阈值分割红外图像做乘法操作，表达式为（14），得到的图像即为真实光斑图像。

式中，(x,y)表示图像坐标索引，B表示二值化图像，G表示阈值分割红外图像，表示真实光斑图像；

（5）图像填充。为防止真实光斑图像中光斑区域出现空洞，对图像空洞区域进行填充：在图像的光斑区域内，使用连通域分析以及最邻近插值法，根据光斑内空洞边缘的像素值对空洞进行填充，以得到完整光斑提取图像。

1.3 图像融合

由于光斑提取图像中所采集的为光斑、可见光图像中为所采集的目标，因此二者合二为一才能反映真实的激光照射在目标上的情景，可用图像融合技术对二者进行融合处理。

因可见光图像与红外图像由两个传感器采集所得，因此两图像之间存在因传感器曝光、增益等参数不同造成的图像对比度不一致，视觉上即为图像亮暗效果不一致，为了避免融合后图像对比度失衡，本文使用自适应加权融合法对可见光图像与光斑提取图像进行融合，其原理如下：根据光斑提取图像和可见光图像相对应位置的图像像素值自动计算二者加权值，再进行加权相加，具体方法如下：

遍历光斑提取图像，提取激光光斑所在区域的图像像素值及其坐标，根据所得坐标提取可见光图像对应位置图像像素值，并找到二者在该区域的最大像素值，根据二者最大像素值计算加权系数，所用公式如式（15）；

式中，α为光斑提取图像加权系数，β为可见光图像加权系数，Lmax(x,y)、Vmax(x,y)分别为在光斑区域R(x,y)上光斑提取图像和可见光图像像素最大值；

在光斑区域，对可见光图像与红外图像对应位置像素值使用加权相加法进行加法操作，公式如（17）：

式中，P(x,y)为光斑区域融合图像；

对光斑区域外的图像保持原有像素不变，即使用所得光斑区域融合图像P(x,y)替换可见光图像光斑区域对应图像，所用公式为式（18）；

最终所得图像V即为融合图像。

2 实验和结果

2.1 图像配准

以金卤灯做为全光谱光源、以间隔2mm的星点板作为目标，调节平行光管模拟远距离目标，采集星点图像，如图7所示：

图7 星点图像（左侧为可见光图像，分辨率为1392*1040；右侧为红外图像，分辨率为640*512）

根据所采集图像，在分别在可见光星点图像和红外星点图像中选取白色矩形框中四个点X(X1(x,y)X2(x,y)X3(x,y)X4(x,y))和Y(Y1(x,y)Y2(x,y)Y3(x,y)Y4(x,y))，选取星点板上对应星点坐标Z(Z1(x,y)Z2(x,y)Z3(x,y)Z4(x,y))。根据公式（9）使用Y与Z计算得红外逆透视因子（IIPF），使用X和Z计算可见透视因子（VPF），如式（19）；根据式（8），对红外星点图像进行配准，得到配准图像如图8所示；

图8 图像配准（左侧为可见光星点图像，右侧为红外配准星点图像，分辨率均为1392*1040）

2.2 图像融合

实验中所采用的靶板尺寸的长为145.5cm、宽为84.5cm，光源为波长1064nm的强功率激光，使用激光测距仪测得靶板中心距光学系统824.52m。采集图像时同步并实时采集连续图像500帧，所采集图像如图9所示：

图9 原图像（左侧为可见光图像，分辨率为1392*1040；右侧为红外图像，分辨率为640*512；同步采集图像，图像右下角时间信息均为：15：31：44）

（1）根据式（8），对图9中红外图像使用式（16）中的IIPF和VPF对红外图像配准，配准结果如图10所示：

图10 图像配准（左侧为原红外图像，分辨率为640*512；右侧为红外配准图像，分辨率为1392*1040）

（2）使用图4所示的光斑提取方法对配准后红外图像进行光斑提取，所得结果如图11所示：

图11 光斑提取（左侧为红外配准图像，右侧为光斑提取图像）

此时所得光斑提取图像与可见光图像即为待融合图像，如图12所示：

图12 待融合图像（左侧为可见光图像，右侧为光斑提取图像，二者分辨率均为1392*1040）

（3）使用章节（2.4）的图像融合方法对图12所示图像进行自适应加权融合，融合结果如图13所示：

图13 融合图像

对融合图像的效果好坏，有多种方法进行评价［9，10］，本文使用融合图像与原图像关系评价方法中的交叉熵方法对图像融合的效果进行评价，交叉熵公式为式（20）：

式中，P和Q分别为原图像和融合图像的灰度分布；使用式（21）计算融合图像与原图像的综合交叉熵：

对图13所示融合图像以及图12所示可见光图像以及光斑提取图像使用公式（20）分别进行交叉熵的计算结果如下：

由式（22）可分析得：融合图像中在可见光图像的基础上融合了红外图像中的光斑信息，而且对本身的目标以及背景信息没有过多的损失，图像对比度没有失衡。

3 结论

对红外图像使用图像配准方法进行红外与可见光图像配准，极大地消除了事物投影的不一致，得到视场范围、分辨率与可见光图像一致的红外配准图像，使用光斑提取方法对配准后红外图像进行光斑提取，极大的抑制了自然光对光斑的影响，极大的消除了因事物透视引起的光斑形变，得到近似于真实光斑的光斑提取图像；对光斑提取图像与可见光图像进行融合，得到同时显示光斑、目标以及背景的实时显示图像；本文实现了不同光谱下所采集不同目标、不同分辨率、不同视场范围的图像融合。