段琳锋， 侯新国, 胡致远

(海军工程大学电气工程学院，武汉 430000)

0 引言

图像配准是寻找不同图像的空间变换关系，使得相同场景不同视角的图像进行几何位置对齐，广泛地应用于图像融合、图像拼接、医学影像分析、遥感技术、三维重建等领域[1]。红外与可见光图像配准技术是图像配准研究领域的热点和难点。由于红外与可见光摄像机的成像机理不同，拍摄的图像在分辨率、光谱特性、灰度等方面都存在差异，使得两种图像配准算法的准确性和可靠性较低[2]，因此，研究红外与可见光图像配准算法具有重要的意义。

红外与可见光图像配准方法主要分为两类[2]。一类为基于区域的配准方法，主要是利用图像灰度信息进行图像配准，如文献[3-4]利用图像的梯度和互信息进行图像配准。这类配准算法适合图像纹理不丰富、细节较少的情况，但在求解模型参数时搜索空间大、耗时久，而红外与可见光图像间的灰度信息差异大，使得这类配准算法难以取得较好的效果。另一类是基于特征的配准方法，其主要是利用红外与可见光图像的共有特征去求解变换模型参数，这类配准算法应用比较广泛。如文献[5]利用尺度不变特征变换(SIFT)方法建立了特征点配准方法的基本框架;文献[6]利用加速鲁棒性图像特征(SURF)算法提取红外与可见光图像的特征点，并运用几何约束方法剔除错误匹配的特征点，这类算法直接在原图上提取的特征点之间的对应关系比较弱，特征匹配准确率低;文献[7]利用Canny边缘提取算法提取红外和可见光图像较为稳定的边缘特征，再使用SURF算法进行特征点提取与匹配，但Canny边缘检测算法高低阈值选择困难，存在伪边缘以及边缘不连续等问题;文献[8]利用FAST算法对无下采样轮廓波变换(NSCT)得到的一级低频图像进行角点检测，并利用局域强度不变特征描述符(Partial Intensity Invariant Feature Descriptor,PIIFD)得到配准图像，在环境温度相差较小时，红外图像上难以提取正确的特征点。

针对上述算法难以从两幅图像中提取相同特征点以及特征点匹配误差较大的问题，本文首先利用NSCT提取红外和可见光图像中稳定性较好的轮廓曲线，解决难以从两种图像中提取相同特征点的问题；采用轮廓曲线的中线作为特征点的主方向，并利用SIFT特征描述符进行匹配，解决特征点主方向依赖图像梯度的问题；再利用主方向一致性方法消除误匹配得到精确的特征点匹配对，解决特征点匹配误差较大的问题。

1 轮廓提取

1.1 NSCT原理

NSCT[9]具有良好的空域和频域局部特性、多尺度以及多方向性，能够很好地体现出图像的几何结构特征。NSCT由无下采样金字塔(Nonsubsampled Pyramid，NSP)分解和无下采样方向滤波器组(Nonsubsampled Directional Filter Bank，NSDFB)两部分构成。NSCT过程为：先将原始图像经NSP分解得到低频分量和高频分量，然后再对高频分量利用NSDFB进行多方向分解，从而得到不同尺度、不同方向的子带系数。想要实现多级结构，只需对低频子带进行多次迭代NSP与NSDFB分解即可。NSCT的框架结构如图1所示。

图1 NSCT框架结构图

1.2 基于NSCT轮廓提取

NSCT中的高频分量包含了图像的边缘轮廓信息，分别将红外与可见光图像进行多级、多方向NSCT分解，得到高频系数矩阵集合，然后利用最大类间方差法求得阈值，去除高频系数矩阵中小于阈值的数值，对处理过的高频系数矩阵集合进行NSCT反变换得到图像，再利用自适应阈值法去除反变换图像的较小系数得到轮廓曲线图，具体步骤如下。

1)利用NSCT对输入的红外与可见光图像进行分解，得到高频系数矩阵集合Qi j，其中，i表示尺度，j表示方向。

2)将高频系数矩阵集合Qi j中的每个高频系数矩阵分成R=A×B块，对每一块分别用最大类间方差法求得阈值On(n=1，2，…，R)，将块中小于阈值On的系数取值为0，大于阈值的系数保留原值，使得高频系数更能够突出轮廓信息，经过上述处理的高频系数集合记为H(Q)。

3)对高频系数矩阵集合H(Q)进行NSCT反变换得到高频图像E，即

E=N-(H(Q))。

(1)

4)因高频图像E的系数值较大处轮廓更加明显，为去除较小系数对轮廓图像的影响，利用自适应阈值方法对高频图像E进行处理，得到轮廓曲线图E1为

(2)

(3)

式中：δ1为全局阈值；δ2为局部阈值；ψ(r,c)为高频图像中以坐标(r,c)为中心5×5的局部块。

2 CSS角点提取

在得到轮廓曲线图E1的基础上，利用CSS角点检测算法[10]检测轮廓曲线上的角点。CSS角点检测算法的核心思想是在一个较高尺度σh上利用曲率公式计算出轮廓曲线的曲率，并把局部极大值点作为角点的候选点，若某个候选点处的曲率值大于给定阈值t，且是相邻局部曲率最小点处曲率值的2倍，则把该候选点作为角点；在较低尺度σl下计算曲率，对角点进行精确定位。

将原始轮廓曲线集合表示为

(4)

式中：Γi为第i条轮廓曲线；xi(u)，yi(u)分别为Γi上的点的横纵坐标，u为弧度参数；n为图像中包含的轮廓曲线数。

因噪声和“毛刺”对轮廓曲线的影响，利用高斯函数对Γi进行平滑滤波，即

(5)

式中：g(u,σ)为高斯函数，σ为尺度参数；⊗为卷积符号。

(6)

(7)

式中,g′(u,σ)和g″(u,σ)分别为g(u,σ)关于u的一阶和二阶导数。

3 特征点主方向一致性匹配

3.1 特征点主方向分配

将提取到的角点作为特征点，采用特征点轮廓曲线的中线作为特征点的主方向[11]。记P=(xi(f),yi(f))为轮廓曲线Γi上的一个特征点。定义点P指向Γi始端和末端邻域内的特征向量分别为

(8)

(9)

因为特征点处于曲率局部极大值处，始、末向量可以围成一个三角形。将三角形的中线指向的方向向量记为

(10)

图2 特征点主方向分配示意图

3.2 主方向一致性匹配

特征点的主方向保证了特征点的旋转不变性，若红外与可见光图像无相对旋转，理论上两幅图像中正确匹配的点具有相同的主方向，而错误匹配的点的主方向不一致，这一特性被称为特征点主方向一致性。

特征点主方向一致性匹配方法的具体描述如下。

1)在得到特征点的主方向的基础上，生成特征点的SIFT描述符，通过描述符计算红外与可见光图像特征点之间的欧氏距离，将欧氏距离最小的特征点记为初始匹配点。

(11)

式中，Δφ为角度制，其值域为[0°，360°)。

3)以5°为一个小区间，将[0°，360°)等分为72个小区间，统计每个小区间内包含Δφ元素的数量。将候选旋转角数量最多的区间对应的角度值，视为红外与可见光图像的旋转角度φr，如图3所示。因实际场景中可能存在一定的误差，取角度误差为ε，将Δφ中数值在区间[φr-ε，φr+ε]内的角度对应的特征点作为正确匹配的特征点。

图3 统计图

4)在3)中去除显著误差错误匹配点后，存有少量误匹配点，这些误匹配点在总匹配点中的比例较小。在误匹配点比例较小的模型下，使用随机抽样一致性(RANSAC)算法进一步消除匹配误差，得到高精度的匹配结果。

在得到正确匹配特征点后利用最小二乘法进行拟合得到最优仿射变换参数。NSCT轮廓与特征点主方向一致性的红外与可见光图像配准算法的流程如图4所示。

图4 配准算法流程图

4 实验结果与分析

为了验证本文提出的红外与可见光图像配准算法的有效性和鲁棒性，选取1组海康威视的热成像双谱网络摄像头拍摄的图像以及2组网上样本图像作为测试图像，实验平台为Windows10系统，编程环境为Matlab2017a。

4.1 实验图像

将本文算法与文献[7-8]所提算法进行对比实验。图5-图7给出了红外与可见光图像特征匹配点和配准的效果图。

图5 匹配点和配准效果对比(第1组)

图6 匹配点和配准效果对比(第2组)

图7 匹配点和配准效果对比(第3组)

通过图5-图7对比可以直观地看出，文献[7-8]所提算法提取的特征点的位置具有较大差异，两幅图的特征点存在许多错误匹配，导致配准的结果存在偏差，而本文算法提取原图像的轮廓图时，有效地减小了两种图像的灰度差异，能够精确地匹配两幅图相同位置的特征点，在配准图中红外与可见光图像中同一目标的位置基本吻合，配准效果较好。

4.2 实验评价指标对比

采用均方根误差(RMSE)和正确匹配率(CMR)作为配准精度的定量指标，其定义为

(12)

(13)

本文算法与文献[7-8]所提算法在图像配准精度以及匹配点正确率方面的比较见表1。

表1 配准精度以及匹配点正确率的比较

从实验数据看，本文算法得到的RMSE值最低、CMR值更高，表明本文提出的NSCT轮廓特征提取算法能提取出丰富的图像边缘信息，主方向一致性匹配算法比文献[7-8]的RANSAC算法消除匹配误差更准确，配准的精度更高。

5 结论

针对红外与可见光图像配准问题，本文提出了NSCT轮廓提取与主方向一致性匹配的红外与可见光图像配准方法。通过对比实验结果可以看出，本文算法相较于Canny，SURF和PIIFD算法，提高了图像相同特征点提取的准确度，特征点的定位更精确，主方向一致性匹配算法也有效地提高了特征点匹配的准确率。本文方法较好地解决了红外与可见光图像灰度信息差异大、特征点提取不准确、特征匹配精度差的问题，为后续的红外与可见光图像配准研究提供了借鉴。