一种基于圆阵列标定板的光栅投影系统标定方法

2022-03-16杜哲琪王国珲

兵器装备工程学报 2022年2期

杜哲琪，王国珲

(西安工业大学光电工程学院，西安 710021)

1 引言

光栅投影技术是光学三维测量技术中典型的技术方法，具有速度快、非接触、适用范围广、测量灵活性高等优点。其原理是利用光栅所携带的信息来直接或间接的建立相位与三维坐标之间的关系，从而进行三维测量。在进行三维测量前，首先要需要建立合适的系统模型进行系统标定。

传统的光栅投影测量方法采用相位高度映射模型，测量过程中将光栅投影到被测物，物体的高度信息会使投影的光栅发生变形，通过解调变形光栅图中包含的相位信息可获得物体的高度信息，由此对被测物体表面进行三维重建。该方法约束性过强、测量空间受限、标定精度不高，影响了该技术的实用化。

为了解决上述问题，将投影仪作为逆向摄像机的双目立体视觉模型被提出。Falcao等将棋盘格投影在打印棋盘格的标定板上，用已标定的摄像机求出投影棋盘格的三维空间坐标，从而使用摄像机的校准程序来校准投影仪。这种方法原理简单、易于实现，但引入了摄像机的标定误差。为消除摄像机标定引入的误差，Zhang和Huang提出了投影仪“拍摄”图像的概念，通过投影水平与垂直两组相移光栅图到棋盘格标定板，利用三步相移法获得相位主值，使用一条中心线作为参照获取解包裹相位从而获取标定投影仪所需的图像信息，但相位展开的精度较低影响后续的标定精度。文献[10]中对相位展开进一步改进，通过投射伪随机序列编码结合相移法获取解包裹相位，但同时又引入复杂的编解码算法。华中科技大学应用双频光栅投影到棋盘格来计算解包裹相位并进一步提高了标定精度。文献[12]中采用投影负指数序列的多频外差相位光栅来获取解包裹相位值，辅助获取高精度三维点云数据。文献[13]建立了投影仪平面和摄像机平面的射影关系，通过投影格雷码利用局部单应性来估计摄像机平面标定板上棋盘格角点在投影仪图像平面的位置，但其精度有待提高。

但大多数文献中均使用棋盘格作为标定板，对图像噪声和模糊比较敏感。而圆心标志点检测不要求较高的图像质量，且圆心易于检测、定位精度高，文献[10]中采用圆阵列标定板表现出较好的标定结果。但目前多采用手动方式进行像素坐标与其三维坐标的匹配，耗时耗力。现有文献中圆心匹配时像素坐标的获取均是基于拍摄的原始圆阵列标定板图像，根据摄像机的透视成像原理，图像中的圆已变换成椭圆，将椭圆中心作为圆心会产生检测误差，且当标定板相对于成像平面角度越大误差越大。因此本文将使用圆心代替棋盘格角点作为标定时使用的标志点，并提出了圆心自动匹配算法，利用摄像机成像模型实现摄像机的标定；将投影仪视为一个逆向的摄像机，采用双目立体视觉技术进行系统标定，该方法系统搭建方便、标定算法简单、精度较高。为进一步提高标定精度，将适当增加相移步数，使用九步相移法进行相位主值的计算，根据外差原理通过投影3种频率的光栅图进行相位解包裹获取标定投影仪所需的图像信息，并通过实验对提出的方法进行了验证。

2 摄像机标定

2.1 摄像机成像模型

理想的线性摄像机模型如图1所示，空间任一点与摄像机光心的连线与成像平面相交于点，对应计算机屏幕图像的点为。

其中包含的坐标系有：世界坐标系、摄像机坐标系、摄像机图像物理坐标系、摄像机图像像素坐标系。

图1 摄像机成像模型示意图

其中，为空间中任意一点，点为摄像机坐标系的光心，为点在线性模型下图像物理坐标系的坐标，为在非线性模型下的位置。

根据射影几何知识中坐标系的转换关系及摄像机的线性成像模型，空间点在世界坐标系下的坐标为(，，，1)，二维像素坐标为(，，1)，两者的转化关系为：

(1)

式中：为摄像机内参数矩阵；=为图像像素坐标系轴上的尺度系数；=sin为图像像素坐标系轴上的尺度系数；=-cot为图像像素坐标轴倾斜因子。[]为摄像机的外参数矩阵，(，)为图像主点。

然而，摄像机成像并不满足线性模型，据文献[21]中所述，由于镜头畸变的存在摄像机的成像过程是非线性的，主要为径向和切向2种畸变，径向畸变是由于透镜的曲面误差所致，切向畸变是由于在装配过程中透镜与成像平面不完全平行造成。

径向畸变的数学表达式如下：

(2)

切向畸变的数学表达式为：

(3)

式中：(,)代表实际畸变的图像物理坐标；、、、是切向畸变系数。

2.2 摄像机标定

本文中使用如图2所示的黑底白色的大小不一的圆阵列标定板，坐标系设定如图所示，共有9行11列白色圆，行列间距均为20 mm，5个大圆和标记圆用于对圆心排序。

图2 圆阵列标定板示意图

本文提出的圆心标志点与其三维坐标的自动匹配算法相较于其他方法，该算法首先对拍摄的原始圆阵列标定板图像进行透视变换，再对圆心进行排序，最后将排序的圆心坐标映射回原始图像中。基本原理如下：

1) 检测拍摄的标定板图像中标定板的4个顶点坐标、、、；

2) 定义透视变换的固定点坐标、、、，缩放因子为=min(，)，摄像机拍摄图像像素的长宽为×，标定板实际物理尺寸长宽为×，(0，0)，(×，0)，(×，×)，(0，×)；

3) 根据式1)和式2)计算透视变换矩阵，应用对拍摄原图像进行透视变换得到图像′，对图像′进行二值化、边缘提取、椭圆边界拟合获取圆心坐标；

4) 在图像′中识别标记圆并计算轴方向相邻圆心间欧式距离，使用KNN邻近搜索算法并根据确定第一、二列圆心坐标(1，1)、(2，2)，计算标定板每行相邻圆心的反正切值以及圆心坐标(,)与(1,1)之间的反正切值，，其中=1，…，9,=1，2，…，99；

5) 根据, -<确定行圆心坐标(,),为阈值，使用KNN邻近搜索算法计算第行圆心坐标与(1，1)之间欧式距离并升序排列，完成圆心坐标排序；

6) 对排序的圆心坐标应用进行透视逆变换得到原始图像下的圆心坐标，根据标定板物理尺寸生成其对应的三维坐标(，，0)，完成自动匹配。具体流程如图3所示。

图3 圆心匹配算法流程框图

通过以上圆心自动匹配算法，避免了人工进行圆心标志点的匹配过程，节省了人力，同时减小了圆心像素坐标检测误差。

采用张正友标定方法对摄像机进行标定，通过圆心的像素坐标及其三维坐标，求解摄像机的内外参数及畸变系数，最后通过LM(Levenbery Marquardt)优化算法(梯度下降法和高斯牛顿法的结合)进行极大似然估计，得到最优标定结果。

3 投影仪标定

投影仪成像光学模型同摄像机，但光路相反。因此摄像机的标定方法同样适用于投影仪。本方法的投影仪标定基于文献[9]中提出的方法进行改进，即将投影仪作为逆向摄像机，通过分别投射水平和垂直两组光栅图像，获取标定板上的圆心的三维坐标在投影仪平面的像素坐标。由水平与垂直光栅图像进行相位解算，定位出圆心标志点在投影平面的水平与垂直坐标。相位解算包括求解相位主值和相位解包裹两个阶段，求解相位主值即提取光栅图像中每一点的相位值，相位主值的求解采用相移法，该方法能够有效排除周围环境光及物体表面反射特性的影响，可靠性和精度高，且精度随相移步数的增加而提高，投影仪投射的光栅图像的数学表达为：

=(，)+(，)cos((，)+)

(4)

式中：(，)为背景光强分布；(，)为光强调制度；(，)为待求的相位主值；为的相移量，=1,2,3,…,,为相移步数。式中显然有3个未知数，因此最少需要3幅光栅图像才解出(，)，从而需要≥3。常用的方法为三步、四步相移法。考虑到精度与速度的权衡，本文采用九步相移法，相对于三步、四步相移法，进一步提高了求解相位主值的精度，其求解公式为：

(5)

相位主值的求取由于采用了反正切函数，提取出来的相位被压缩在了[-π，π]之间，因此需要相位解包裹。相位解包裹采用三频外差方法，通过投影频率为、、的相移光栅，由反正切函数获得每个频率的相位主值、、，将和、和进行外差操作得到外差相位、，然后将和进行外差得到。因为的频率不超过1，所以是连续相位。

由外差原理可知，的频率为：

(6)

类似可得到、的频率。相位展开过程为：

(7)

=+2π

(8)

式中：为的条纹级次，其中，代表四舍五入取整，为频率为的光栅图像的相位主值，为频率为的光栅图像的解包裹相位。

(9)

=2π×+

(10)

式中：为的条纹级次，其中，代表四舍五入取整，为频率为的光栅图像的相位主值，为频率为的光栅图像的解包裹相位。至此可完成相位解算，利用解包裹相位可获取投影仪平面的圆心像素坐标。

投影仪图像对应点在方向的坐标值：

(11)

投影仪图像对应点在方向的坐标值：

(12)

投影仪图像信息获取的步骤如下：

1) 拍摄不同方位下的标定板图像及投影水平与垂直相移光栅图像后的标定板图像；

2) 对标定板图像进行图像处理，提取圆阵列标定板的99个圆心亚像素坐标；

3) 由九步相移法和三频外差算法分别计算出水平和垂直光栅图像的解包裹相位值；

4 光栅投影系统标定

在上文分别求出摄像机的内外参数和投影仪的内外参数之后，还需要对摄像机、投影仪组成的光栅投影系统标定其外参数，即确定摄像机和投影仪之间的位置关系。设摄像机的外参数为、，投影仪的外参数为、，设空间中某一点对应的摄像机和投影仪的投影点分别是和，并以摄像机光心作为世界坐标系的原点，则该点在摄像机和投影仪图像中的有如下的对应关系：

(13)

从而可以推算出投影仪与摄像机之间的关系：

(14)

5 分析与讨论

本文中使用的光栅投影系统如图4所示，该系统由一个DLP投影仪和CCD摄像机组成。由上文可知，需标定的参数有摄像机内参数，外参数[]，投影仪内参以及系统外参数、。实验结果及分析如下。

图4 光栅投影系统实物图

5.1 摄像机标定结果

根据本文提出的圆心自动匹配算法，得到的透视变换、圆心检测、排序结果如图5所示。

图5 透视变换、圆心检测及排序结果示意图

采用本文中提出的方法进行摄像机标定，表1、表2分别为摄像机内参数与外参数标定结果。

表1 摄像机内参数的标定结果(圆阵列标定板)

表2 摄像机外参数的标定结果(圆阵列标定板)

对棋盘格标定板同样采用该方法进行标定，得到的角点检测效果如图6(b)，摄像机的内外参数结果如表3、表4所示。

图6 棋盘格标定板图像及角点检测结果示意图

采用棋盘格标定板得到的摄像机内外参数标定结果如表3、表4所示。

表3 摄像机内参数的标定结果(棋盘格标定板)

表4 摄像机外参数的标定结果(棋盘格标定板)

5.2 投影仪标定结果

使用上述系统对拍摄的标定板图像进行解相位，以水平光栅图像为例，其相位解算过程如图7所示，其中图7(a)为标定板图像，图7(b)为频率图像，图7(c)为频率图像的第500列相位主值曲线，图7(d)为频率图像的第500列解包裹相位曲线，图7(e)为频率图像相位主值图，图7(f)为频率图像解包裹相位图。

图7 标定板图像解相位过程

由图7可知，本文中解相位的结果较好，可为后续标定提供良好的数据。

根据本文中提出的方法得到的投影仪的内参数结果与外参数结果如表5和表6所示。

采集的部分带有光栅的棋盘格标定板图像如图8所示，对其进行相位解包裹后，得到的投影仪内外参数如表7、表8所示。

表5 投影仪内参数的标定结果(圆阵列标定板)

表6 投影仪(系统)外参数的标定结果(圆阵列标定板)

图8 光栅棋盘格图像

表7 投影仪内参数的标定结果(棋盘格标定板)

表8 投影仪(系统)外参数的标定结果(棋盘格标定板)

5.3 标定结果分析

为了定量地比较标定结果，通过计算重投影误差进行比较分析，重投影误差的表达式为：

(15)

(16)

式中：′为通过图像处理检测的圆心标志点在图像像素平面的像素坐标；为标定板上圆心标志点的三维坐标通过摄像机成像模型投影到图像像素平面的像素坐标，=1，2，3,…,为标志点的总数。为证明本文提出的方法的有效性，将对比使用棋盘格标定板、本文所提出的标定方法以及未进行透视变换的圆阵列标定板3种方法的重投影误差。表9是标定重投影误差结果。

表9 标定重投影误差

由表1～表9可以得出，3种方法均可获得较好的标定精度，与其他2种方法相比，本文方法可获得更高的标定精度，与棋盘格标定板相比，摄像机标定的重投影误差降低大约(0.100 5-0.060 0)/0.100 5≈40.3%，投影仪标定的重投影误差降低大约(0.538 4-0.379 0)/0.538 4≈29.6%，系统标定的重投影误差降低大约(0.387 2-0.271 3)/0.387 2≈29.9%。与未进行透视变换的方法相比，摄像机标定的重投影误差降低大约(0.127 7-0.060 0)/0.127 7≈53.0%，投影仪标定的重投影误差降低大约(0.389 7-0.379 0)/0.389 7≈2.7%，系统的标定误差降低大约(0.290 0-0.271 3)/0.290 0≈6.4%。