尤红建 胡岩峰

(中国科学院电子学研究所 北京 100190)

SAR和光学图像精配准技术的研究

尤红建*胡岩峰

(中国科学院电子学研究所 北京 100190)

光学图像和 SAR图像的配准是实现多源图像融合和复合分析的基础，该文介绍了一种光学图像和 SAR图像精配准的方法。首先采用人工的方式选择 3～4个同名控制点，在此基础上实现图像的粗略配准，保证 SAR与光学图像尺度和旋转的归一化；然后在粗配准的光学图像上提取特征点，并分别采用不同的梯度算子提取 SAR和光学图像的梯度强度，基于梯度强度进行归一化互相关，从而得到不同图像上的同名特征点；最后根据提取的同名特征点构建不规则三角网，并对每个三角网构成的小面元进行图像的精确配准，最终实现SAR和光学图像的精配准。通过采用星载图像的精配准处理和检验，证明了该方法的可行性，能获得较好的配准效果。

SAR图像；光学图像；梯度强度；精配准；归一化互相关(NCC)

1 引言

随着对地观测的不断发展，积累的遥感图像数据在不断地增加，而SAR和光学图像是其中最为典型的两类图像，它们各有优势，而且一些应用中也会常常对SAR和光图像进行数据组织、图像融合、比对分析。为了能够实现这些功能，就需要对SAR和光学图像进行配准，保证它们在几何位置上完全一致。SAR和光学图像的配准技术可以广泛应用于异源图像的变化检测、复合立体、图像融合等应用场合。但是由于SAR和光学图像成像机理有着本质的差异，它们之间的配准难度较大。多年来国内外学者对 SAR和光学图像的配准算法进行了不少研究[1－5]，归纳起来主要包括：(1)基于边缘提取的方法[1,6]，即提取 SAR 图像和光学图像边缘特征的基础上按照一定的相似性测度进行匹配。缺点是依赖图像边缘的准确提取，如果边缘提取不够准确则配准效果就受到影响。(2)基于封闭区域的方法[2,7]，采用各种分割的方法提取封闭区域或子区，在闭合区域边缘进行匹配，精度和基于边缘类似，但是必须要求图像上存在封闭的边缘，如果没有封闭的边缘则很难实现配准。(3)基于图像互相关的方法[8]，但是由于SAR和光学机理差异大，互相关匹配的方法并不能完全有效。无论是提取图像的边缘还是封闭区域，都是根据原始图像提取边缘，而边缘的提取又会受到局部阈值的影响，阈值的不同会得到不同的边缘，因此基于边缘的方法十分依赖于边缘的提取效果。

如果直接提取梯度强度，会减少对阈值的依赖性，同时梯度强度信息有一定的相似性，因此考虑匹配测度上则采用互相关的优势。为此，本文针对SAR和光学图像配准问题，研究了一种由粗到精的精配准方法，图1给出实现的具体过程，首先通过人工选取 3～4个少量的同名控制点进行图像的粗配准，从而解决SAR和光学图像之间可能存在的旋转角度和分辨率差异，使得粗配准的图像之间只存在局部平移关系；然后在粗配准的图像上提取典型的特征点，并通过梯度算子提取SAR和光学图像的梯度强度信息，并基于梯度强度进行归一化互相关来提取SAR和光学图像上的同名特征点；最后根据SAR和光学上的同名特征点构建不规则三角网，并对每个三角网小面元进行图像的精确配准，从而实现SAR图像和光学图像的整体精确配准。

图1 SAR图像和光学图像精配准的技术流程Fig. 1 The flowchart of fine registration for SAR and optical image

2 基于Harris算子提取图像的特征点

图像的特征点是具有某种特征的“特殊点”，如角点、线性地物的交叉点、比周围图像更亮或更暗的点，这些点常常暗示图像周围存在某种特殊信息。特征点的检测本质上是从2维图像的数据空间来寻找具有极值的点。在计算机视觉领域，有两类主要的特征点检测算子：(1)基于导数表达的差分方法；(2)基于亮度场景中的局部极值方法。

最通用的特征点检测算子是高斯拉普拉斯(LoG)，后来发展了差分高斯方法(DoG)，其本质类似于拉普拉斯，可以被看成是拉普拉斯算子的近似。而基于 Hessian矩阵的特征点检测是根据尺度选择Hessian行列式(DoH)的尺度空间极值定义的斑点，在非欧式仿射变换下比更通用的拉普拉斯算子也具有略好的尺度选择特性(Lindeberg 1998)。DoG 和 DoH考虑尺度特性主要是为了在特征点匹配阶段具有尺度不变性。而我们在SAR和光学图像的粗配准阶段已经实现了尺度的统一，不需要再考虑多尺度特性。而Harris角点具有计算简单、稳定性好的优点，因此我们选用Harris角点检测算法来检测光学图像上的特征点。

Harris角点检测算法由Harris和Stephens于1988年提出，其基本思想是从局部小窗口中观测图像特征，因为角点的定义包含灰度值变化明显的点，那么窗口的移动会导致灰度值出现明显的变化。在平坦区域，任意方向的移动，窗口内灰度值无明显变化；在边缘附近，沿着边缘方向移动，窗口内灰度值无明显变化；当窗口覆盖角点时，沿任意方向移动，窗口内灰度值都有明显变化。设图像强度为I，则移动窗口后图像的强度变化为：

式中wu,v表示局部窗口函数，Ix+u,y+v为移动的强度，Ix,y为强度。通过求得 min{E}的局部极大值来确定角点。对于局部小的移动量，可以用双线性来近似表达：

计算M矩阵的两个主要特征值λ1,λ2，它们与局部自相关函数的曲线成比例。如果λ1,λ2都很小，则窗口位于图像的平坦区域；如果或者窗口内包含边缘信息；为此可以定义一个响应函数来确定窗口图像内的特征：

3 梯度强度图像的构建

3.1 光学梯度图像

计算光学图像的梯度算法也有多种，如Robert梯度、Sobel梯度等等，而提取边缘较好的 Canny算子先对图像进行Gauss函数平滑，再用一阶微分计算梯度。图像梯度的定义为：

其幅度为：

梯度的方向为：

对于图像而言，关键问题之一是如何数字化地估计Gx和Gy，常用的Sobel方法，根据当前图像的9邻域图像，分别用两个3×3的算子计算Gx,Gy方向的微分值：

这两个矩阵的作用是：将上述定义的Gx,Gy代入振幅计算公式近似计算梯度。图3为原始的光学图像，而图 4是利用Sobel算子计算得到的梯度强度图，它基本上正确反映了光学图像上边缘的强弱变化情况。

3.2 SAR图像的ROA梯度

由于SAR图像具有典型的乘性斑点噪声，常规的梯度算子很难反映图像的边缘和轮廓信息。而Touzi提出的基于比值边缘检测算法ROA可以较好地克服SAR图像斑点噪声，比较准确地反映SAR图像上的边缘信息[9]。为此可以采用 ROA来提取SAR图像的梯度强度。

计算SAR梯度强度是根据图5所示的4种模板进行的，每个模板被分为3个区域。4个模板对应着4个方向：水平、垂直、左倾、右倾，以感兴趣像素为中心，大小为w×w像素的滑动窗口被其分成两个相邻且无重叠区域，如图5所示。某个像素第i对区域边缘强度定义为：

式中，Pk,Qk分别是当前像素第k对的边侧区域像素的平均灰度值。并计算全部边缘强度R的最大值，即

图2 在光学图像提取的特征点Fig. 2 Characteristic points in optical image

图3 光学原始图像Fig. 3 Raw optical image

图4 基于Sobel提取的光学图像强度信息Fig. 4 Intensity of gradient in optical image extracted by Sobel operator

并采用4个方向的最大值作为当前像素的梯度强度值。图6为原始的SAR图像，而图7显示了基于ROA算子得到的SAR图像梯度强度信息，可以看出ROA算子的梯度强度能比较准确地显示SAR图像边缘的强弱。

4 基于梯度强度的同名点匹配

从数学上讲，归一化相关系数是标准化的协方差函数，协方差函数除以两个函数的方差即为相关系数，相关系数表示了两个函数的相似程度，如果相关系数达到 1，则表明这两个函数完全相同，否则相关系数小于1。

对于离散化的SAR图像而言，其计算公式为：

其中，T表示模板图像，I表示待配准图像；μT表示模板均值，μI表示待配准图像的均值，使用待配准的图像片在参考图像中进行匹配，获得归一化相关系数最大的位置就是需要的匹配点。

图8显示了利用光学图像的梯度强度和候选区域内SAR图像ROA梯度强度归一化互相关匹配的系数图，最大的峰值就是正确匹配的同名点位置。

5 基于三角网的自动精配准

两幅 SAR图像上提取的大量同名特征点为图像精配准提供了精确的配准依据，即可以根据这些同名特征点构成一系列的小面元区域实现图像精确配准，根据不规则分布的特征点采用不规则三角形网(Triangulated Irregular Network, TIN)是构建小面元的一种比较理想的选择，TIN的优点是能够对复杂场景进行准确描述。

三角形网格是最基本的一种网格，它可以表达各种复杂的场景。在所有可能的三角网中，狄洛克三角网表现最好，它构建的TIN是唯一的、保证最邻近的点构成三角形，且每个三角形尽量接近等边形状。构建TIN的方法主要有分而治之方法、数据点渐次插入方法和三角网生长方法。

通过特征点构成的连续三角形小面元来覆盖整幅图像。每个三角形小面元的3个顶点都是同名特征点，在特征点上两幅图像之间的对应关系是已知的，在三角形内部的像元点可以认为符合简单的仿射变换关系，从而计算出三角形小面元内部各个像元点的对应关系，也就实现了图像每个像元点精确对应，从而达到精确配准的目的。

图5 ROA计算原理Fig. 5 Principle of ROA

图6 SAR原始图像Fig. 6 Raw SAR image

图7 基于ROA提取的SAR图像梯度强度Fig. 7 Intensity of gradient in SAR image extracted by ROA

图8 基于梯度强度的归一化互相关系数图Fig. 8 NCC of intensity of gradient

两个三角形面元内部采用仿射变换模型来描述转换关系，即根据三角形的3个顶点建立1次多项式：

其中，(i,j)为参考图像的坐标，(x,y)为待配准图像的坐标。

由于 3个顶点坐标之间已经通过同名点构建，因此得到3组点对：T1(i1,j1,x1,y1),T2(i2,j2,x2,y2),T3(i3,j3,x3,y3)，利用这3个点计算该子块的仿射变换系数。即将这些点带入仿射变换公式，可以得到式(11)所示的方程，通过解算得到仿射变换的系数(a0,

可由式(11)计算出仿射变换系数：

这样每个三角形需要按照公式计算一次仿射变换系数，对整幅图像的三角网中的每个三角形都进行类似处理，就可以完成图像的配准。

6 实验和结论

为了验证方法的可行性，我们采用Cosmo 3 m分辨率的SAR图像和Ikonos的1 m全色光学图像进行了配准实验。首先用Harris提取光学图像上的特征点，并利用这些特征点构建三角网，图9显示了光学图像提取的局部同名特征点以及构建的TIN。利用光学图像的特征点为基础，基于梯度强度的归一化互相关提取SAR图像上的同名特征点，图10就显示了SAR图像上提取的同名特征点以及构建的TIN。最后根据这些同名点对的三角网进行逐个三角形的校正就实现了 SAR和光学图像的精配准，为了检验配准的精度，我们分别从配准后的SAR图像和光学图像上提取不同对应区域的子块区域拼合得到一幅新图像，如图11所示，由于该图像是由提取精配准后两个时相图像的相邻子块构成，因此它的地物自然程度和平滑程度就显示了两幅图像的配准精度，从图11可以看出，各种地物(河流、道路和田块)在子块交叉地区表现十分自然和平滑，表明配准精度是较高的。

为了定量分析SAR和光学图像的配准精度，采用北京地区的6组星载图像进行了配准实验和精度定量分析。SAR图像主要是3 m分辨率的Cosmo, TerraSAR-X以及RadarSat 2，而光学图像主要是Ikonos和我国的资源卫星图像。在配准后的图像上分别选取一定数量的特征点并量测其图像坐标，这些点一般都是位于地物的交叉点或地物角点上，根据这些点的坐标差，就可以计算出配准精度。表 1给出了这6组实验图像的配准精度，可以看出配准精度都是优于2个像素的。

表1 SAR和光学图像的配准精度结果Tab. 1 The registration accuracy of SAR and optical image

通过上面的分析和定量实验结果，可以看出图像的梯度信息包含了图像上的边缘轮廓及其强弱情况，因此利用梯度强度可以有效克服光学图像和SAR图像的不同成像机理所导致的图像差异。而人工选取少量控制点通过粗配准可以实现 SAR和光学图像的尺度和旋转关系的归一化，在此基础上再采用归一化互相关就能够精确地实现 SAR和光学图像局部平移匹配。

图9 光学图像上提取的特征点及其构建的三角网Fig. 9 Characteristic points and constructed TIN in optical image

图10 SAR图像上提取的同名特征点及其构建的三角网Fig. 10 Homologous points and constructed TIN in SAR image

图11 SAR图像和光学图像分交错拼合的图像Fig. 11 Interlaced image of SAR and optical image

[1] 于秋则, 程辉, 柳健, 等. 基于改进Hausdorf测度和遗传算法的SAR图像与光学图像匹配[J]. 宇航学报, 2006, 27(1): 130-134.

Yu Qiu-ze, Cheng Hui, Liu Jian,et al.. Matching SAR image to optical image using modified Hausdorff distance and genetic algorithms[J].Journal of Astronautics, 2006, 27(1): 130-134.

[2] 张绍明, 陈鹰, 林怡. SAR 图像与光学图像多子区鲁棒匹配算法[J]. 同济大学学报, 2009, 37(1): 121-125.

Zhang Shao-ming, Chen Ying, and Lin Yi. Robust algorithm of matching SAR image to optical image using multiple subarea[J].Journal of Tongji University, 2009, 37(1): 121-125.

[3] 张登荣, 俞乐, 蔡志刚. 基于面特征的光学与SAR影像自动匹配方法[J]. 中国矿业大学学报, 2007, 36(6): 844-848.

Zhang Deng-rong, Yu Le, and Cai Zhi-gang. A region feature based automatic matching for optical and SAR images[J].Journal of China University of Mining&Technology, 2007, 36(6): 844-848.

[4] Suri S, Türmer S, Reinartz P,et al.. Registration of high resolution SAR and optical satellite imagery in urban areas[C]. ISPRS Hannover Workshop 2009: High-Resolution Earth Imaging for Geospatial Information, Hannover, Germany, 2009: 413-418.

[5] Dare Paul and Dowman Ian. An improved model for automatic feature-based registration of SAR and SPOT images[J].ISPRS Journal of Photogrammetry&Remote Sensing, 2001, 56(1): 13-28.

[6] Cheng H. Matching of SAR images and optical images based on edge feature extracted via SVM[C]. 7th International Conference on Signal Processing, Beijing, China, 2004: 930-933.

[7] Hong T D and Schowengerdt R A. A robust technique for precise registration of radar and optical satellite images[J].Photogrammetric Engineering&Remote Sensing, 2005, 71(5): 585-593.

[8] Vassilaki D I, Ioannidis C C, and Stamos A A. Registration of unrectified optical and SAR imagery over mountainous areas through automatic free-form features global matching[C]. ISPRS Hannover Workshop 2009: High-Resolution Earth Imaging for Geospatial Information, Hannover, Germany, 2009: 723-727.

[9] Touzi R, Lopes A, and Bousquet P. A statistical and geometrical edge detectors for SAR images[J].IEEE Transactions on Geosciences and Remote Sensing, 1988, 26(6): 764-773.

尤红建(1969-)，男，籍贯江苏，中国科学院遥感应用研究所博士学位，中国科学院电子学研究所研究员，博士生导师。主要研究方向为遥感信息处理和应用。

E-mail: hjyou@mail.ie.ac.cn

胡岩峰(1975-)，男，籍贯北京，中国科学院西安光学精密机械研究所博士学位，中国科学院电子学研究所副研究员。主要研究方向为地理空间信息处理和应用。

E-mail: yfhu@mail.ie.ac.cn

Investigation on Fine Registration for SAR and Optical Image

You Hong-jian Hu Yan-feng
(Institute of Electronics, Chinese Academy of Sciences, Beijing 100190, China)

The registration of SAR and optical remote sensing image is the basise for fusing of multi-source image and comprehensive analysis. In this paper a new fine registration method for SAR and optical image is proposed. Firstly, three to four corresponding points are selected manually to realize a coarse registration that eliminates the differences in scale and rotation. Many characteristic points in the optical image are detected and the corresponding points in SAR image are extracted using normalized gradient correlations based on the different gradients by operators. An irregular triangle network is constructed using these corresponding points and each triangle region is finely registered. Finally SAR image and optical image are finely registered. Experiment and processed results demonstrate the feasibility of this method.

SAR image; Optical image; Gradient intensity; Fine registration; Normalized Cross Correlation (NCC)

中国分类号：O436

A

2095-283X(2014)01-0078-07

10.3724/SP.J.1300.2014.13154

2013-12-31收到，2014-03-06改回；2014-03-13网络优先出版国家重大型号工程项目资助课题

*通信作者： 尤红建 hjyou@mail.ie.ac.cn