李伟

（四川大学计算机学院，成都610065）

0 引言

几何形变的图像校正问题广泛的活跃在计算机视觉、医学、材料物理等各领域研究过程中。图像来自于不同的设备、不同时间的拍摄、不同角度的拍摄，这样都会产生图像的形变问题。不管图像识别、图像拼接、图像匹配，还是比较前沿的物体识别、目标跟踪、人脸识别领域，还是遥感图像处理、材料形变问题、医学图像配准问题，多个领域都涉及图像几何校正问题。图像的几何形变的校正过程，本质上对形变图像和标准之间建立坐标映射的过程。图像的几何形变分为一般的仿射变换、单应变换、扭曲变换。根据各类变换的复杂程度，可采取的模型校正方法也不同。

对于估计图像校正的映射关系，一般总的来说分为两种方式，拟合或者插值。拟合类的模型，通知多个对应坐标关系，利用最小二乘法的方式进行拟合参数，如最常用的多项式拟合。插值类的模型，选择合适的插值基函数，通过基函数的组合满足已知坐标映射关系。

在医学影像领域，由于医学类图像的特殊性，它将图像形变分为了刚性和非刚性形变。图像配准，解决的是原图像和目标图像之间的空间关系的拟合，而根据人体不同器官、结构的组成，拟合的方式有所不同。对于人体骨骼结构图像和头部，基于它们的不易变形性，采样刚性配准进行校正。对于肝脏、胸、腹这些部位的图像，容易发生变形，需要进行非刚性配准。刚性配准主要是解决的是医学图像在尺度、旋转、平移的变化，由于人体骨骼结构的相似性，很难发生较大尺度的变形，所以通过一般的仿射变换可以校正为正常图像。而对于图像非刚性的变形问题，由于某些器官图像如腹部图像，形变程度较大，为了有效地还原像素点的位置，基于B样条的插值算法和薄板样条配准成为医学非刚性配准的有效模型。

图1数据的拟合和插值

图2医学图像形变

普通镜头拍摄过程中，由于拍摄角度、拍摄视角、拍摄时间的不同，对同一拍摄点的拍摄图像也有差异。这些差异有些来源于镜头本身的畸变如桶形畸变、枕形畸变，也有来自于拍摄角度偏差的透视畸变。对于常用的桶形畸变和枕形畸变，常用多项式模型进行拟合获取形变参数。透视畸变，一般通过单应估计的方式，进行单应变换参数估计（本质也是一种多项式拟合）。在单应变换估计过程，一般不通过最小二乘的方式，而采用多个四点对进行多个单应矩阵估计。暴力的搜索出可能存在的多个单应矩阵，选取最优的单应矩阵作为透视畸变矫正的映射。

图3镜头畸变

更复杂的图像形变或者扭曲，多项式拟合是常见的方式。N次多项式，从理论上而言，可以拟合任意的复杂映射关系。通过多项式的方式，是解决复杂扭曲形变校正的最简单、最直接的方式。

图像作为二维的信号存在，遵循信号处理的一般流程。信息在采样过程中，根据奈奎斯特采样定律，当采样频率大于原始信号最大频率的2倍，就能完全恢复。当采样频率小于原始信号频率的2倍时，信号就会混入虚假的低频信息，也称之为混叠现象。图像在计算机系统中，作为离散的像素点进行显示，本质是经过了采样的过程。在进行映射变换时候，图像经历了重采样过程，也就是经历了从离散像素到插值连续再到图像再次采样显示的过程。重采样的不充分势必造成图像信号的混叠，图像内容显示的错乱。在一般图像几何校正的过程中，图像必然会出现混叠现象。在进行图像映射过程中，考虑抗混叠是一个必然的流程。

1 校正模型

1.1 一般流程

预处理：对图像的灰度、光照、噪声等进行预处理，降低灰度、光照、噪声等原因造成的图像特征误差，为下一步特征提取提供好的基础条件。

特征提取：图像特征的提取分为手工方式和自动提取两种方式。图像的手工标注特征点，像书本的边界点，道路的交叉点等，重复性的工作且费时间，严重依赖于人的主观性。自动化校正中，通过自动提取图像特征进行配准。自动化图像配准又分为基于图像区域特征配准、基于图像点特征的配准和基于图像线特征的配准。基于图像区域特征的配准，找到两图像之间相关系数最大的建立映射关系。基于图像点特征和线特征的配准，它特征提取依靠算子卷积获取图像特征，常用的特征提取算子有Harris算子、Susan算子、Log算子、Canny算子。

特征匹配：通过特征提取根据找到的图像特征找出两图之间相似度最大的进行匹配，从而生成一批点对。

变换模型估计：通过点对的关系，找出合适的模型，估计点对之间的映射关系。

坐标变换和插值：由于图像是离散的像素点构成，获取对应的像素值不一定在原形变图像中。需要通过映射关系，插值获取校正后的标准图像像素值。

流程中缺失了一个重要步骤，抗混叠处理。一般流程中，之间进行插值映射，获取校正后的图像，在经历了重采样之后，势必会有混叠现象。文献[1]中详细讲述了图像信号在重采样之后发生的信号混叠现象。本文在插值流程中加入抗混叠处理。标准的抗混叠是利用窗函数进行卷积操作，通过高斯核进行卷积操作，抑制高频信息在采样过程中的影响。

1.2 校正模型

最小二乘法：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

图4图像校正流程

尺度变换：图像的放大、缩小变化

旋转变换：图像绕着中心轴旋转

平移变换：图像整体像素平移变化

仿射变换：医学图像中的刚性变换，是平移、旋转和缩放的组合，又称仿射变换。通过式（1-3）三者组合成一个大变换矩阵，可以用来校正发生刚性形变的图像。

进一步的推算，可得：

不难发现，tx、ty参数控制仿射变换中的平移变化，C1,C2,C3,C4控制图像的放缩、旋转。

图像的仿射变换一共六个参数，需要至少3个点对才可以求解出参数。通过3个以上点对建立方程，基于最小二乘法求解其最佳参数可以得到仿射变换矩阵。

单应变换：又称投影变换，齐次坐标下非奇异的线性变换。单应变换一共8个自由度，至少需要四个点对才可以计算参数。

进一步，可得：

单应矩阵的HRk表示矩阵的第k行。矩阵的第三行的元素绝对值为1，所以9个参数，8个自由度。

非线性模型：线性模型，非线性模型都是把直线映射为曲线，适用于全局形变的图像形变问题。常用的非线性模型为多项式模型和B样条模型。多项式模型，通过多项式函数拟合需要的映射关系，根据多项式函数的次数的不同，拟合出的映射关系精度不同。次数越高，对点对的拟合程度越高，当次数越高映射的失真率越高。

F表示把图像从形变状态恢复的任意非线性二元函数，常见的二次多项式的写法可以写成：

多项式模型广泛用于各类图像的几何校正过程，使用范围广，也是最普遍的图像校正方法。利用多项式模型，可以模拟出图像的仿射、单应变换（当次数为1时就是线性变换）。多项式模型的缺点也很明显，对于复杂的形变而言，精度不够提高次数来进行拟合会造成估计的模型与实际偏差过大，模型失真。

所以在医学图像领域，尤其是涉及到医学图像的刚性形变校正中，B样条模型得到了广泛的应用。B样条模型，本质上也是（8）所示找出一个非线性的函数。

B样条模型，是基于基函数的理念。根据基函数的组合，构成一个大的非线性映射函数。常用的B样条是三次B样条。次数太低的校正效果达不到精度要求，次数太高计算困难且容易过拟合。

图像的抗混叠措施：图像的混叠产生的原因是信号欠采样的结果，采样频率的不充分引起恢复后的信号产生混叠现象。解决混叠的常用手段有：提高采样频率；抑制高频信息。对于图像重采样而言，受限于图像成像的像素点分布影响，标准采样频率不好改变，所以图像的反混叠主要是抗高频信号为主。现阶段，抗混叠在图像几何校正过程中一直被忽略。而混叠问题，基于图像的离散性，重采样必然会造成混叠现象。在图像几何校正过程中，加入混叠环节是必要的关键环节。本文在图像的最后环节加入了混叠环节。

2 评价标准

（1）相似性：根据形变校正后的浮动图像和标准图像之间的相似性进行判断：

其中，xm、ym分别为浮动图像平均像素强度、参考图像平均像素强度。xi、yi为浮动图像和参考图像每个像素强度。当CC值为1时，表示两图像之间相关性为1，表示图像完全相同；当CC值为-1时，两图像相关性为-1，表示图像完全相反；CC值越接近1，表示图像校正效果越好。

（2）互信息：本质也是一种衡量两图像之间像素相关性的一种计算。

其中，P( x,y)为联合分布函数，p1(x)、p2(y)为边际分布函数。当两个图像完全对齐的时候，互信息最大。当互信息最大时，表示两图像不确定性达到最小值；当互信息为0时，表示两图像完全独立、无关。

相似性评价标准适合于同一物体由于图像获取条件的差异或物体自身发生的小的改变而产生的图像序列，而互信息评价标准适合性更强，多种形变校正下均可以作为判别标准，且广泛用于医学图像配准领域。

3 结语

图像的几何校正问题广泛存在于计算机视觉、医学图像、材料物理、地理系统等各个研究领域，图像的几何校正问题，是一个基本理论范畴的研究问题。目前对于非线性的校正问题，还没有通用的模型可以统一解决图像各类复杂的形变问题。本文对常见的几种形变进行概况，通过常用的几种模型校正的方式，可以为校正复杂的几何形变问题提供一个有效的解决方式。同时，在原有的图像几何校正流程中，加入的抗混叠的步骤，规范了图像在校正过程中的科学性。