王正家 钱峰 柯楠 解家月

摘  要： 针对鱼眼图像校正过程中，校正图像局部宽大、边缘信息缺失、畸变校正不彻底等问题，在棋盘格标定的基础上，提出两步式鱼眼图像畸变校正方法。首先，构建基于线性特征的鱼眼图像畸变校正模型对鱼眼图像进行初步校正;其次，加入仿射变换算法对初步校正图像作进一步的校正，使校正后的图像尽可能多地保留原图像的信息。实验结果表明，使用该方法校正后的图像对原图像的放大倍数减小了24%，像素误差减小了0.033 8 px，校正效果优于其他方法。该方法鲁棒性好，硬件要求低，能够满足视频会议、安防监控、智能交通等领域对鱼眼图像校正的要求。

关键词： 鱼眼图像; 畸变校正; 数学建模; 线性特征; 仿射变换; 校正分析

中图分类号： TN911.73?34; TP391.4               文献标识码： A                    文章编号： 1004?373X（2020）18?0146?04

Abstract： In allusion to the problem of wide local correction image， missing edge information and incomplete distortion correction of the in the process of fisheye image correction， a two?step fisheye image distortion correction method is proposed on the basis of checkerboard calibration. A fisheye image distortion correction model based on linear feature is constructed to preliminarily correct the fisheye image. The preliminary corrected image is further corrected by adding the affine transformation algorithm， so as to make the corrected image retain the information of the original image as much as possible. The experimental results show that the magnification of the corrected image using this method is reduced by 24%， and the pixel error is reduced by 0.033 8 px， so that the correction result is better than other methods. This method has good robustness， low hardware requirements， and can meet the requirements of fisheye image correction in video conferencing， security monitoring， intelligent transportation and so on.

Keywords： fisheye image; distortion correction; mathematical modeling; linear feature; affine transformation; correct analysis

0  引  言

魚眼镜头焦距小，视场大，近年来被广泛应用于视频会议、安防监控、智能交通等领域[1?4]，前景广阔。鱼眼镜头基于非相似成像原理，采用多镜组设计结构，前后镜组分别具有绝对值极大的负光焦度和正光焦度，在获得超大视场成像的同时，也带来了严重的畸变问题。

目前，根据鱼眼镜头的视角、成像特点、应用场景等使用要求的不同，鱼眼图像校正方法主要分为3类：基于线性特征的校正方法[5]、基于球面投影等几何约束的校正方法[6]、基于神经网络的训练建立的校正方法[7]。基于线性特征的校正方法的校正过程比较灵活，准确率也比较高，但存在校正图像边缘信息缺失、图像局部宽大、畸变校正不彻底等问题。基于球面投影等几何约束进行校正的方法中比较有代表性的是球面透视投影模型校正法[8]、等距模型校正法[9]、椭圆模型校正法[10]。该类算法不需要标定模板，校正过程比较简单，但对应用场景要求较高，通用性不强，只能针对特定的鱼眼镜头进行校正。基于神经网络训练建立的校正方法的校正速度较快，但对校正系统的硬件要求较高，成本也较高。

本文结合传统的基于线性特征的鱼眼图像畸变校正算法的优势，加入仿射变换算法[11]，对初步校正的图像进行二次校正。通过缩放和投影变换处理，比较完整地保留了校正后的图像信息，并通过实验进一步对比分析了基于线性特征的鱼眼图像畸变校正算法、球面透视投影模型校正算法、两步式鱼眼图像畸变校正算法3种算法的实验结果。实验结果表明，两步式鱼眼图像畸变校正方法实验效果最优。

1  鱼眼镜头成像

鱼眼镜头成像时遵循的模型可以近似为单位球面投影模型，可以将鱼眼镜头的成像过程分解成2步：第一步，三维空间点线性地投影到一个球面上，它是一个虚拟的单位球面，球心与相机坐标系的原点重合;第二步，单位球面上的点投影到图像平面上，过程是非线性的。鱼眼镜头的成像过程如图1所示。

物理世界中的点Q投影到鱼眼相机上，可以用式（1）来表示：

式中：[q=xyw]; [M=fx0cx0fycy001]; [Q=XYZ]。其中：[fx]为摄像头的宽度方向焦距;[fy]为摄像头的高度方向焦距;[cx]为摄像头的光心位置的横坐标值;[cy]为摄像头的光心位置的纵坐标值;M为鱼眼镜头的相机矩阵;[q]为像素坐标[u，v]的图像坐标的齐次坐标形式;Q点为q的三维空间坐标点，[w=z]。齐次坐标把维数为n的投影空间上的点用n+1维向量表示，其额外限制是任何2点的交比不变，[w]为一个非零数平面。

2  鱼眼图像校正

2.1  畸变校正的数学模型

普通镜头相机成像遵循的是针孔相机模型，在成像过程中实际场景中的直线仍被投影为图像平面上的直线。鱼眼相机如果按照针孔相机模型成像，投影图像会变得非常大，当相机视场角为180°时，图像甚至会变为无穷大。所以，鱼眼镜头相机的投影模型为了将尽可能大地把场景投影到有限的图像平面内，允许畸变的存在。并且由于鱼眼镜头的透镜在制造和安装的过程中存在误差，所以鱼眼镜头相机所拍摄的鱼眼图像存在非常严重的径向畸变和切向畸变。

径向畸变数学模型为：

式中：[r2=x2+y2];r为畸变半径，图像边缘处的径向畸变较大;[k1]为第一径向形变系数;[k2]为第二径向形变系数;[k3]为第三径向形变系数;[x，y]为畸变点在图像平面上的原始位置;[x′，y′]为校正后的新位置。

切向畸变数学模型为：

式中：[p1]为第一切向形变系数;[p2]为第二切向形变系数;r为畸变半径;[x，y]为畸变点在图像平面上的原始位置;[x′，y′]为校正后的新位置。

畸变图像的像素坐标为[u，v]，校正后的像素坐标为[u′，v′]。畸变图像的坐标为[x，y]，校正后的图像坐标为[x′，y′]。

通过式（2）～式（9）可以建立鱼眼畸变图像和校正后的图像之间的映射关系，进而求出鱼眼镜头相机的参数[fx，fy，cx，cy，k1，k2，k3，p1，p2]，实现鱼眼图像的畸变校正。

2.2  鱼眼镜头相机的标定

本文选择通过求解焦距和偏移算法来对鱼眼镜头相机进行标定，以获取相机的内外参数，并通过获取的内外参数以及畸变系数对鱼眼图像进行畸变校正。其具体流程如图2所示。

2.3  仿射变换

从目前的工程实际情况来看，已有的鱼眼图像畸变校正算法虽然能够在不同程度上实现畸变校正，但是对于大畸变的校正往往都是局部性的，即存在图像边缘信息丢失、图像局部放大等缺点。针对这些缺点，本文对校正后的图像进行仿射变换，以解决校正图像边缘信息缺失、图像局部扩大、畸变校正不彻底等问题，使得鱼眼镜头的绝大部分信息保留了下来。其变换过程如下：

式中：[x′，y′]为畸变校正后的图像坐标，也即进行旋转和平移变换的原始图像坐标;[x″，y″]为旋转和平移变换后的图像坐标;变换矩阵[a11a12a13a21a22a23a31a32a33]可以拆分为4部分，其中，[a11a12a21a22]表示線性变换，[a31a32]用于平移，[a13a23T]产生仿射变换，[w′]和[w″]分别表示2个不同的非零数平面。

对变换后的图像进行缩放变换，得：

式中：[x″y″1]为旋转和平移变换后的图像坐标，即进行图像缩放的输入图像坐标;[xy1]为缩放变换后的输出图像坐标，即俯视图像坐标;[Sx]为水平方向的缩放因子;[Sy]为垂直方向的缩放因子。

3  实验结果及分析

实验采用极图科技生产的175° zero鱼眼镜头采集图像，分辨率为640×480，算法的校正实验在Windows 7平台上完成。在实验过程中，使用3种算法对鱼眼图像进行畸变校正，即基于线性特征的校正算法、球面透视投影模型的校正算法、两步式鱼眼图像畸变校正算法。并从校正图像的像素误差情况、主观视觉2个方面进行比较分析。

3.1  校正图像的像素误差情况

本文主要从角点的像素误差、重投影误差以及放大倍数3个方面来说明基于线性特征的校正算法、两步式鱼眼图像畸变校正算法2种算法校正图像的像素位置变动情况以及校正图像的像素误差情况。结果如表1、表2所示。

表1与表2列出了2种图像校正算法的实验数据，包括角点像素误差、重投影误差、放大倍数。从数据中可以分析出，两步式鱼眼图像畸变校正算法的像素误差小于基于线性特征的图像校正算法的像素误差，最大可以减小0.033 8 px。放大倍数也明显减小，最大可以减小24%。由此可知，两步式鱼眼图像畸变校正算法可以提高鱼眼图像校正后的图像质量，改善图像的边缘信息丢失，图像局部放大等缺陷。

3.2  校正效果分析

从实验的图3～图6校正前后的视觉效果可知，基于线性特征算法的校正效果和两步式鱼眼图像畸变校正效果要明显好于基于球面透视投影模型校正效果。两步式鱼眼图像畸变校正后的图像比基于线性特征算法校正的图像保留原图像的信息要更加的完整。

4  结  论

两步式鱼眼图像畸变校正方法的校正模型是一种鱼眼像机的一般近似模型。在棋盘格标定的基础上，结合传统的基于线性特征的鱼眼图像畸变校正算法的优势，加入了仿射变换算法，对畸变校正后的图像进行二次校正。通过缩放和投影变换处理，使得校正后的图像信息能够较完整的保留。通过实验对比基于线性特征的校正算法和球面透视投影模型的校正算法，发现本文方法校正后的图像对原图像的放大倍数减小了24%，像素误差减小了0.033 8 px。该算法校正效果较好，能够很好的应用于智能交通、视觉监控等领域。

参考文献

[1] 马朋飞，穆春阳，马行，等.一种改进的鱼眼图像有效区域提取方法[J].现代电子技术，2017，40（15）：10?13.

[2] 公维理.基于嵌入式CPU?GPU的高清鱼眼视频实时校正系统[J].计算机工程与应用，2016，52（14）：172?179.

[3] BERTOZZI M， CASTANGIA L， CATTANI S， et al. 360°detection and tracking algorithm of both pedestrian and vehicle using fisheye images [J]. IEEE transactions on instrumentation and measurement， 2015， 65（1）： 2?14.

[4] 张璧莹，卜凡亮.案件场景全景拼接系统分析与设计[J].现代计算机（专业版），2018（6）：82?84.

[5] 金野，高珏，王磊，等.基于特征值最小化方法的鱼眼镜头校正算法[J].计算机技术与发展，2015，25（7）：35?40.

[6] ZHANG B K， JING W， LI J K， et al. Fisheye lens distortion correction based on an ellipsoidal function model [C]// International Conference on Industrial Informatics?Computing Technology. Wuhan： IEEE， 2016： 205?208.

[7] 张艳，田翔.鱼眼图像中手部定位及手势识别[J].计算机与现代化，2017（3）：86?90.

[8] 杨前华，李尤，赵力.基于改进球面投影模型的鱼眼图像校正算法的研究[J].电子器件，2019，42（2）：449?452.

[9] 孟灵.等距投影的鱼眼图像畸变校正算法设计[J].数字技术与应用，2016（5）：125?126.

[10] 杨中伟，杨鸣.基于椭球面模型的鱼眼图像校正方法[J].光学仪器，2015，37（2）：127?131.

[11] 张彪，邹哲，陈书界，等.基于仿射变换与Levenberg?Marquardt算法的织物图像配准[J].光学学报，2017（1）：359?367.