李晋惠，岳　鑫，高　飞

(西安工业大学 理学院，西安 710021)



双目标定中棋盘格图像角点样本筛选及标定*

李晋惠，岳鑫，高飞

(西安工业大学 理学院，西安 710021)

摘要：针对摄像机在标定时采集到的图片样本存在样本不理想而导致标定结果不准确的问题.文中基于棋盘标定板的特性提出了一种棋盘格图像样本筛选方法.利用棋盘格中角点的排序的条件，针对图片样本的合法性进行检查，排除角点检测不准确的样本，从而达到提高标定准确度的目的.研究表明：对于同一组样本数据与同样的标定方法，利用筛选后的样本进行标定结果的相对误差减小到0.55%，成功率达到90%以上，提高了样本的可用性与标定的准确度.

关键词：双目标定；棋盘格图像；角点检测；样本筛选

双目标定是双目视觉中的首要问题，通过标定可以得到世界坐标系中物体在图像坐标系的关系，利用这种关系结合其他算法可以实现测距、定位等功能.摄像机双目标定的首要目的是获取摄像机的内外参数，当前摄像机标定的方法主要有传统标定法以及自标定法[1].张正友在2000年提出了基于棋盘格标定板的传统标定法，该方法是应用相对广泛且精度相对较高的一种标定方法，张正友标定法的关键步骤是角点位置的精确获取[2].

棋盘格角点做为一种特殊的角点，通常有两大类检测方法：基于边缘的角点检测法和基于灰度的角点检测方法.基于边缘的角点检测法一般是利用图像的边缘轮廓并从中提取封闭或非封闭的轮廓曲线，通过搜索轮廓线上的曲率值，梯度方向变化或利用多边形逼近查找交点来提取角点[3].

文献[4]在边缘方向角的基础上提出了采用图像边缘方向角(Edge Direction Angle,EDA)进行角点检测的方法，该方法能准确检测角点的位置,除去伪角点,而且能检测出不同区域对应的角点的凸凹性.文献[5]利用双曲正切函数的特点，提出了基于双曲正切函数的边缘检测方法，该方法可以达到较好的检测精度，也可以在一定程度上抑制噪声对角点亚像素定位的影响.基于灰度的角点检测方法主要考虑图像中的亮度变化，并把角点定义为图像中与其相邻点亮度差距最大的点，通过曲率和梯度进行检测.文献[6]在灰度角点检测的基础上提出一种结合像素点灰度差的Harris角点检测的改进算法，该算法提高了原来算法的检测检测速率和和角点检测的准确性.文献[7]利用角点检测器，达到了在不对棋盘格图像做预处理情况下，检测出有一定噪声或者较模糊的图像上的棋盘格角点.但是在标定中获取棋盘标定板图片时，由于不同的光线强度、标定板离摄像机距离远近等因素，造成数字图片的质量参差不齐，标定板样本的质量不能保证.在这种较为恶略条件下这些算法可能会存在无法检测出标定板角点或角点检测出错的情况，使低质量的样本图片在标定时影响到标定的效果.因此为了减少或避免由于标定样本的问题造成角点检测不准确最后增加标定误差的情况.

文中结合棋盘标定板的特性提出一种标定样本筛选方法.该方法利用标定时样本中的棋盘格图片中的角点顺序对检测出的角点进行比较，将不符合其角点顺序的样本排除，提高样本的质量，从而达到提高标定精确度的目的.

1模型与方法

1.1摄像机的标定

标定的目的是求解摄像机内参数和外参数.内参数是由摄像机几何模型和透镜的畸变模型定义的，外参数与摄像机的安装位置以及角度有关.摄像机模型中最简单的是针孔模型，而摄像机是不能摆脱透镜单独使用的.理论上是可能定义出一种不会引入任何畸变的透镜，然而没有完美的透镜.所以在获取图像的过程中又会加入透镜产生的畸变因素.双目摄像机的标定是在单个摄像机的基础上计算空间上两台摄像机几何关系的过程.

双目摄像机标定的求解步骤为：①获取多组左右摄像机图像；②对摄像机采集到的标定板图像进行角点检测，获取标定板中的角点；③分别对左右摄像机标定，获取左右摄像机的参数；④左右摄像机立体标定，得到左右摄像机的相对位置.

在摄像机标定中我们通常定义三个坐标系如图1所示，世界坐标系(Xw,Yw,Zw)是用于描述摄像机和物体之间的位置的三维空间参考坐标系.在摄像机坐标系(Xc,Yc,Zc)的原点为镜头的光心，Zc轴与光轴重合， 与图像物理坐标系中的(x,y)轴平行.图像坐标系分为图像像素坐标系(u,v)，图像物理坐标系(x,y)两种.其中图像像素坐标系是以图像左上角为原点，以像素为坐标单位的直角坐标系.u,v分别表示图像中的行数和列数.图像物理坐标系是以光轴与像平面的交点为原点，以毫米为单位的直角坐标系.其x,y轴分别与图像像素坐标系的u,v轴平行.

图1　摄像机标定模型

1.2双目标定

在世界坐标中任意一点(Xw,Yw,Zw)可以经过旋转和平移达到摄像机坐标系中，记为Pc(Xc,Yc,Zc).则有

(1)

其中T是1*3的平移向量，矩阵R是3*3的正交旋转矩阵.摄像机坐标系与图像坐标系的关系中摄像机坐标系中的点Pc(Xc,Yc,Zc)转换到图像物理坐标系中的点p1(x,y)满足如下关系

(2)

其中f为摄像机的焦距.再由图像物理坐标系转换到图像像素坐标系，关系如下：

(3)

式中:(u0,0)为图像物理坐标系(x,y)在图像像素坐标系(u,v)中的坐标.dx,dy为像面上每一个像素在x轴和y轴方向上的物理尺寸.由式(2)和式(3)可以推出：

(4)

令fx=f/dx、fy=f/dy，分别代表以x轴与y轴方向上的像素为单位表示的等效焦距.通过这三个坐标系的转换，可完成世界坐标系中的任意一点到图像像素坐标系的转换.标定的结果是求出内参数(fx、fy、u0、v0)和外参数(R、T).

双目标定是在两个摄像机分别进行标定后的基础上，对两个摄像机在世界坐标中的相对关系进行求解.即求解旋转矩阵Rd和平移向量Td(为了方便区分这里的Rd和Td为上面提到的外参数R、T).求解Rd和Td的过程依赖与左右摄像机标定出来的外参数，分别为Rl、Tl和Rr、Tr.

由世界坐标系下任意一点Pw(xw,yw,zw)在左摄像机的投影Pl和右摄像机投影Pr满足

(5)

在世界坐标系下的一点P，在两个相机上可以用Pl=Rd(Pr-Td)关联，则通过这三个等式可以推出：

(6)

1.3筛选双目图像方法描述

影响到相机标定的因素通常有光源、标定图片的数量以及棋盘格尺寸等.针对这些因素，可以分别采取选择较高照度的光源，增加标定图像的数量以及使用小尺寸的棋盘格的办法以提高标定效果[8].在实验中还发现当棋盘格距离较远时容易产生角点检测错误的情况，但可以通过调整距离避免.在实际应用中有时无法保证每一张图片都具有较高的质量，从而会带来一定的误差，针对这种情况，本文提出角点检测后对图片的筛选方法.该方法采用筛选双目图像方法，利用棋盘格中相应角点应该在同一直线上的方法，剔除不符合条件的标定板图像对.从而使最终标定达到较好的结果.

设棋盘标定板为n个角点的棋盘格(n与m分别为棋盘的每行和每列有多少个角点)，标定板中所有角点需满足同一列的角点之间的斜率大致相同的条件,也就是说，同一列的角点应该在同一直线上.

每一幅图像中的角点关系需满足如下条件：

(7)

式中：Px为第x个角点；k(Px,Px+1)为点Px与点Px+1之间的斜率；k为两个相邻线段斜率之差的绝对值；σ为一个足够小的正数；a0为正整数.

当同时获取的左右两幅标定板图像均满足如上条件时，将这一组图片保存下来.若其中任意一个图片未满足条件则需要将这一组两幅图片同时筛选掉.在将所有图片验证并且筛选完成后，用双目标定法对余下的图片进行计算.

2实验结果及分析

实验采用两个USB摄像机，图像分辨率为640*480，两个摄像机间距约为55 mm.标定板采用8*12的棋盘格标定板，其每个格子为20 mm*20 mm的正方形格子.双目摄像机及标定板实物如图2所示.

图2　双目摄像机及标定板实物

实验时，左右摄像机同时拍摄多组标定板图片，拍摄时，为了达到较好的效果，标定板需要有不同角度倾斜并且有不同的距离.获取图片后，再依次对每张图片进行角点检测，也就是提取出图片中棋盘格中黑白相间的交叉点，由于在不同环境下拍摄的图片不一定都能准确无误的检测到所有图片的每一个角点，如图3(a)所示.因此需要对图片进行筛选.角点检测结果如图3所示.由式(7)可以看出，前后三个点可以组成两条线段，该两条线段的斜率之差的绝对值为σ，当σ趋于0时，三点在同一条线段上，若两条线段存在夹角越大或越小时k的值会随之增大.故通过σ的限定k的值判断角点检测结果是否符合筛选条件，并将不符合条件的图片对剔除.利用筛选后的图片角点检测的结果，采用双目标定原理计算出摄像机的内参数(fx、fy、cx、cy)和外参数(R、T).

图3　标定板角点检测

每次实验左右摄像机各采集15幅左右图片进行筛选，并对筛选前后的样本进行标定处理.共进行5次实验.实验结果平均值见表1.

表1　标定结果对比表

表2　标定结果对比分析

表1中同时给出了经过筛选的标定结果和未经过筛选的标定结果.表2中可以得到未经过筛选的测量结果两个摄像机的距离为85.6 mm，经过筛选的测量结果两个摄像机相距54.7 mm，而实际测量中摄像机间距为55 mm.所以未经过筛选的结果相对误差约为55.6%，经过筛选的相对误差为0.55%.

图4与图5是五组实验在筛选前后的标定结果对比图(以fx和水平移动距离为例)，其各个数据的标准偏差见表3.

由图4、图5和表3分析可知，经过筛选的样品标定结果对比未经过筛选的样品标定结果，筛选后的结果在各个参数的标准偏差均比筛选前的要小.通过使用筛选后的样本进行标定，可以提高标定结果的精度.利用标定结果对图像进行校正，校正结果如图6～7所示.

图4　摄像机标定水平距离结果曲线图

由图6和图7可知，是否进行图片的筛选对标定的结果有比较大的影响.图6为使用没有经过筛选的标定板图片标定处理后的数据进行校正的结果；图7为使用经过筛选的标定板图片标定处理后的数据进行校正的结果.图6与图7中的横线为辅助线，在线的上下应该是实物的同一个位置，而图6中线的上下不是同一个位置(其中的右边的偏低，而左边的偏高).而图7中的辅助线上下是实物的同一个位置，说明了经过筛选的标定板图片标定后的数据较未经过筛选的标定板图片标定后的数据要更加准确.

图5　左右摄像机fx参数结果曲线

筛选情况左摄像机fx右摄像机fx左摄像机cx右摄像机cx左摄像机fy右摄像机fy左摄像机cy右摄像机cy筛选前212.64402.7510.7619.79240.62404.2224.8362.95筛选后16.1516.235.4216.4315.1214.6116.4210.41

图6　未筛选校正结果

图7　筛选校正结果

3结 论

针对由于标定采集的图片样本存在样本不理想的造成标定结果不准确的问题.文中在常规标定方法中结合棋盘格的特性，提出了基于图像中角点关系的样本筛选的方法.该方法在正常标定的基础上，排除部分不合格样本.因此，该方法旨在通过减少错误样本达到提高准确性的目的.通过对样本筛选前后的比较，该方法提高了标定的准确性.

参 考 文 献：

[1]SUN J H，LIU Q Z，LIU Z，et al.A Calibration Method for Stereo Vision Sensor with Large Fov Based on 1D Targets[J]．Optics and Lasers in Engineering，2011，49(11):1245．

[2]戴宪策,刘昌锦.相机标定中角点检测与定位算法研究[J].四川兵工学报,2015,36(9):122.

DAI Xiance，LIU Changjin.Research on Algorithm for Corners Detection and Location in Camera Calibration[J].Journal of Sichuan Ordnance,2015,36(9):122.(in Chinese)

[3]章为川,孔祥楠,宋文.图像的角点检测研究综述[J].电子学报,2015(11):2315.

ZHANG Weichuan,KONG Xiangnan,SONG Wen .Review of Image Corner Detection Algorithms[J].Acta Electionice Sinice,2015(11):2315.(in Chinese)

[4]黄永林,叶玉堂,乔闹生,等.基于边缘方向角的自适应尺度角点检测[J].光电子：激光,2010(8):1237.

HUANG Yonglin,YE Yutang,QIAO Naosheng,et al.Adaptive Scale Corner Detection Based on Edge Direction Angle[J].Journal of Optoelectronics·Laser,2010(8):1237.(in Chinese)

[5]马德明.基于双曲正切函数的边缘检测方法[D].长春:吉林大学,2011.

MA Deming.Sub-pixel Edge Deteetion Based on Hyperbolic Tangent[D].Changchun: Jilin University,2011.(in Chinese)

[6]王民,周兆镇,李昌华,等.基于像素点灰度差的Harris角点检测算法[J].计算机工程,2015(6):227.

WANG Min,ZHOU Zhaozhen,LI Changhua,et al.Harris Corner Detection Algorithm Based on Pixel Point Gray Difference[J].Computer Engineering,2015(6):227.(in Chinese)

[7]屠大维,张翼成.基于灰度差异的棋盘格角点自动检测[J].光学精密工程,2011(6):1360.

TU Dawei,ZHANG Yicheng.Auto-detection of Checkerboard Corners Based on Grey-level Difference[J].Optics and Precision Engineering,2011(6):1360.(in Chinese)

[8]支健辉,董新民,孔星炜,等.相机标定的外界影响因素分析[J].应用光学,2014,35(2):286.

ZHI Jianhui,DONG Xinmin,KONG Xingwei,et al.Analysis of External Influencing Factors in Camera Calibration[J].Journal of Applied Optics,2014,35(2):286.(in Chinese)

(责任编辑、校对张立新)

Calibration Method Based on Filtered Chessboard Image Samples and Corners in Binocular Calibration

LI Jinhui,YUE Xin,GAO Fei

(School of Science,Xi’an Technological University,Xi’an 710021,China)

Abstract:Less-than-ideal samples tend to cause inaccurate calibration results.A sample screening method is proposed based on the characteristics of the calibration chessboard. In order to improve calibration accuracy，the samples with inaccurate corner points are removed by using the sort order for corner points in the chessboard and the legality of picture samples. The results show that the probability of successful calibration is higher than 90% and the relative error is reduced to 0.55% using the filtered sample corners with the same set of samples and by the same calibration method. The method improves significantly the availability of samples and the accuracy of calibration.

Key words:binocular calibration;chessboard image;corner detection;sample screening

DOI:10.16185/j.jxatu.edu.cn.2016.05.005

收稿日期：2015-08-16

基金资助：陕西省教育厅基金(2010JK592)

作者简介：李晋惠(1962-)，女，西安工业大学教授，主要研究方向为光学检测与图像处理.E-mail:lijh0837@163.com

文献标志码:中图号：TP391.4A

文章编号：1673-9965(2016)05-0371-06