许 璐，陈文艺，杨 辉

(西安邮电大学 a. 电子工程学院；b.物联网与两化融合研究院，陕西 西安 710061)

基于网格图像自动检测的镜头畸变校正

许 璐a，陈文艺b，杨 辉a

(西安邮电大学 a. 电子工程学院；b.物联网与两化融合研究院，陕西 西安 710061)

针对广角镜头所采集图像存在的畸变问题，提出了一种基于模板匹配和质心检测的高精度控制点检测法，并采用基于除法模型和正交相干相位检测的两步校正算法对畸变网格图像进行了高精度校正。实验结果表明，该镜头畸变校正算法能克服光照等不定因素，对畸变的网格图像交叉控制点进行高精度自动提取，并自动计算畸变图像中每一点的校正参数，实现了镜头畸变的高精度、全自动校正。

图像处理；畸变校正；大视场；控制点提取

在成像测量、机器视觉等领域中，为了获取大视野的图像，经常采用广角镜头进行拍摄。由于通过广角镜头获取的图像存在严重的几何畸变，需要对其进行高精度的校正。且在畸变校正工作中，控制点的选取也将影响到畸变校正的精度。目前已有的校正算法[1-2]对广角镜头畸变的校正效果较差、精度低。并且其控制点坐标大多采用人工选取，工作量大且不准确；而最为常用的控制点自动提取算法是模板匹配法，即先对畸变网格图像进行形态学图像处理后，在利用若干个模板与细化图像进行匹配，从而识别出网格交叉点[3-4]。但针对本文所用的广角镜头，该自动提取方法的提取精度不高，且在控制点的排序上较为复杂，不便于之后的校正工作。

本文通过对广角镜头和大畸变图像的分析，将模板匹配与质心检测相结合，提出一种精确的控制点自动生成算法。该方法对控制点进行两步提取：第一步，用若干模板与处理后的细化图像进行匹配，初步定位出控制点；第二步，在处理后的灰度图像中利用初步定位的控制点进行区域质心检测，精确定位出畸变网格图像中的交叉点，即为控制点。最后，本文结合基于除法模型的校正方法[5]和正交相干相位检测法[6]，对广角畸变图像进行高精度两步校正。实验结果表明：该控制点自动生成算法以及两步校正算法校正的精度高， 适用于成像测量过程中的广角镜头畸变图像的高精度校正。

1 畸变图像控制点的自动提取

广角镜头畸变校正时需用到若干控制点坐标，本文主要提出一种控制点自动生成算法，该算法分为4部分，首先对采集到的畸变网格图像其进行形态学处理，得到细化图像。然后用模板匹配法对细化图像中的交叉控制点进行初步提取。再对初步提取的控制点坐标进行排序。最后利用初步提取出的控制点坐标在灰度图中进行逐片区域的质心检测，从而得到精确的交叉控制点坐标。

1.1 畸变网格图像的形态学处理

本文选取了黑白线条宽度比例为1:3的网格标定板与视场角为110°的广角车载摄像头进行图像采集，获取的畸变图像如图1所示。为获取畸变网格图中的交叉控制点，首先需要对畸变网格图像进行二值化、细化处理，得到如图2所示的细化网格图像。

图1 畸变网格图像

图2 细化网格图像

1.2 基于模板匹配的控制点初步提取

本文首先采用模板匹配法对细化网格图像的交叉控制点进行初步提取。针对细化图像中网格交叉点出现的多种不规则情况，共设计出3类6个模板，如图3所示。其中0、1表示灰度值。

图3 设计的6个模板

第一类模板1，用于识别规则的交叉控制点。

第二类模板2和3，用于识别畸变较大的四周斜线交叉点，当R为1时用于识别交叉点连续的情况；当R为0时识别交叉控制点为断点的情况。

第三类模板4～6，用于识别畸变较小时的交叉控制点，当R为1时用于识别交叉点连续的情况；当R为0时识别交叉控制点为断点的情况。其中R1与R2不能同时为1。

将细化图像与以上6个模板进行相关系数运算，定位出最为匹配的区域与该区域中响应最大的点即为初步定位的交叉控制点。

1.3 控制点排序

由于初步提取的交叉控制点是按行列坐标值的大小进行散乱排序，因此在进行下一步精准提取和畸变校正之前需先对初步提取的交叉控制点进行排序。本文针对细化图像提出一种使交叉控制点沿畸变网格图像中的水平曲线进行排序的算法，步骤如下：

1)在细化图像上标注初步提取的交叉控制点。由于细化图像中各个像素点的灰度值为1或0，增加细化网格图像中初步提取的交叉控制点的灰度值，使其大于1。

2)检测细化图像中的水平细化曲线。从中间像素列由上向下逐行检测，当检测到灰度为1的点时记录，则表示检测到一条水平细化曲线，假设有N条水平细化曲线。

3)检测每条水平细化曲线上的控制点。对于第i(i=1，2，…，N)条水平细化曲线，分别沿该曲线向左右检测，由于细化后图像中的曲线为连续的，因此可沿着水平细化曲线即灰度为1的点检测到整条水平细化曲线上的灰度值大于1的交叉控制点并记录其行列坐标。

1.4 基于质心检测的控制点精准提取

由于广角镜头采集的原始畸变图像中会因光照等不定因素的影响，使得初步提取的控制点精确度较低，稳定性差，因此，本文在经过模板匹配法进行初步提取后再返回灰度图像中通过质心检测[7]进行进一步的精准提取，使交叉控制点的提取具有一定的鲁棒性。方法如下：

以初步提取的交叉控制点坐标为中心，在灰度图像中截取15×15的窗口进行质心检测，对一幅连续图像f(x,y)(灰度值≥0)， 质心坐标公式为

(1)

式中：N为窗口的大小即15，(ic,jc)为质心坐标。由式(1)即可逐个求得以初步提取的交叉控制点为中心的15×15窗口的质心坐标，即为精确提取的交叉控制点坐标。

2 畸变校正

得到精确提取出的畸变网格图像交叉控制点坐标后，即可进行下一步高精度的畸变校正工作。本文采用基于除法模型和正交相干相位检测法对畸变图像进行高精度校正，方法如下：

首先采用除法模型进行初步校正，如式(1)所示

(2)

对于标准网格模板中的控制点，在理想透视投影模型下，所成像为一条直线，而在单参数除法模型下所成的像都是圆弧[5]，如式(2)所示

(3)

将除法模型代入可得

(4)

根据最小二乘圆弧拟合，代入畸变网格图像中若干交叉控制点坐标即可估算出圆弧参数A,B,C以及畸变中心(x0,y0)，从而计算出除法模型参数λ与坐标映射关系，完成初步校正。

由于广角镜头存在的畸变较大，初步校正后还会残留畸变。为了提高校正的精度，再对初步校正后的网格图像进行精确校正。首先从初步校正结果中提取出残留畸变网格图像中的横竖条纹，再采用正交相干解调法[6]计算出横竖条纹的残留畸变相位分布。

以竖条纹的条纹方向为y方向，与其垂直方向为x方向，则竖条纹的光强分布可表示为

(5)

式中：An(x,y)为傅里叶级数振幅；ωx为畸变纵条纹的基频；φx(x,y)为竖条纹的相位分布。

用sin(ωxx)和cos(ωxx)分别乘以竖条纹图像中的任意一行Ix(x,yc)，并通过低通滤波后可得

(6)

从而得到竖条纹的残留畸变相位分布为

(7)

对横条纹进行同样处理，可得其残留畸变相位分布

(8)

再根据其残留畸变相位分布便可得x和y坐标残留畸变量Δh(x,y)，Δv(x,y)

(9)

根据两步校正得到的校正参数，再结合差值算法对灰度级进行重建，从而实现广角镜头的高精度畸变校正。

3 实验结果及分析

本文用视场角为110°的广角摄像头采集一幅黑白占空比为1:3的网格图像，并用MATLAB进行算法仿真，精确提取出11×15条网格曲线的交叉控制点坐标，并标记于二值图像中，如图4所示。

图4 精确提取的交叉控制点

精准提取出的交叉控制点与初步提取的控制点相比，稳定性较好，不受光照等外界因素影响，准确度高。同时采集到多幅不同光照、不同标定板的畸变网格图像进行交叉控制点提取，如图5所示，图5a为不同光照畸变网格图像，图5b为不同占空比畸变网格图像。实验结果表明，该算法能够自动提取到广角镜头采集的畸变网格图像的控制点，并不受光照等外界因素影响，稳定性强，准确度高，适用范围广。

图5 交叉控制点提取实例

在精确提取出交叉控制点之后用两步校正算法对一般图像进行校正，如图6所示。校正结果表明：本算法能够对存在严重畸变的图像进行高精度的校正，且校正过程实现了全自动化。

图6 校正实例

4 结论

本文主要提出了一种准确提取交叉控制点的算法，该算法先用模板匹配法对畸变网格图像进行交叉控制点的初步提取，后用质心检测算法进行交叉控制点的精准提取，通过模板匹配对交叉控制点初步定位，再返回原始灰度图像中进行质心检测，克服光照等不定因素，提取出准确的交叉控制点，提高了控制点提取的准确性、自动性与适用性。然后根据提取出的交叉控制点用基于除法模型和正交相干相位检测法对畸变网格图像进行了两步高精度校正。实验结果表明，该畸变校正算法能够对广角镜头畸变图像进行高精确校正，实现了广角镜头畸变校正的全自动化。

[1] SMITH W E，VAKIL N，MAISLIN S A. Correction of distortion in endoscope images[J].IEEE Trans. Med. Imag.，1992(1)：117-122.

[2] HIDEAKI H，YUTAKA Y，YOICHI M. A new method for distortion correction of electronic endoscope images[J].IEEE Trans.Med. Imag.，1995(3)：548-555.

[3] 廖士中，董明，高培焕.工业摄像机几何畸变校正控制点的自动生成[J].计算机应用研究，2001(10)： 30-32.

[4] 朱德荣，樊红潮，张震.工件视觉定位图像畸变校正控制点的自动生成[J].组合机床与自动化加工技术， 2011(7)：61-62.

[5] 朱云芳.摄像机径向畸变校正和内参估计的单图标定方法[J].光电工程，2012，39(9)：126-131.

[6] 陈文艺，杨辉.基于正交相干相位检测的图像畸变校正[J].西安邮电大学学报，2013，18(3)：101-103.

[7] 王冰，职秦川，张仲选，等.灰度图像质心快速算法[J].计算机辅助设计与图形学学报，2004，16(10)：1361-1365.

许 璐(1989— )，研究生，主研数字视频图像处理；

陈文艺(1964— )，教授，主要从事通信集成电路设计、视频图像实时处理及传输的研究；

杨 辉(1988— )，助理工程师，主研数字集成电路设计、数字视频图像处理。

责任编辑：时 雯

Lens Distortion Correction Based on Grid Image Automatic Detection

XU Lua，CHEN Wenyib，YANG Huia

(a.DepartmentofElectronicEngineering；b.InternetofThingsandIntegrationofITApplicationandIndustrializationInstitute，Xi’anUniversityofPostsandTelecommunications，Xi’an710061,China)

In order to correct a distorted image collected by the wide-angle lens， a method of precision control point detection based on pattern match and centroid detection is proposed， and using two-step correction based on least-squares fitting and orthogonal coherent phase detection to calibrate the distortion grid image with high precision. Experimental results show that the proposed method overcome the light and other uncertainties， be valid for high-precision automatic extraction of crossover distortion control point grid image， and automatic calculate correction parameters of each point in the distorted image， realize the high precision and fully automated of the lens distortion correction.

image processing；distortion correction；large field of view；control points extraction

陕西省科技厅工业攻关项目(Z013K06-14)

TN942.2

A

10.16280/j.videoe.2015.17.004

2015-01-09

【本文献信息】许璐，陈文艺，杨辉.基于网格图像自动检测的镜头畸变校正[J].电视技术,2015，39(17).