楚圣辉，张慧萌，陈硕，孟浩，刘国忠

（北京信息科技大学，北京 100192）

大场景下多目立体视觉标定方法的研究

楚圣辉，张慧萌，陈硕，孟浩，刘国忠

（北京信息科技大学，北京 100192）

相机的标定是机器视觉中三维重建的关键步骤，其精度也决定三维重建的准确性，为了解决三维重建信息不完整和大视场标定，提出一种多目相机标定的方法。它区别于传统双目相机标定，能够应用于较大视场下，并且通过多个视角，提供比较全面的三维信息。采用张正友标定算法，利用黑白相间棋盘格作为标定靶标，首先通过在四个方向的四台相机对场景中靶标进行拍摄，求出每个相机的内外参数，然后通过相机之间的矩阵关系和LM优化算法统一相机坐标系，完成多目相机系统的标定，这种方法能够适用于大场景中，获得完整的三维信息。最后通过实验，给出实验数据验证此方法的正确性，并提出相机位置与标定精度的关系，此方法可应用于电力培训的人体动作捕捉系统等大视场立体视觉的系统标定中，为电力培训方法提供新思路。

大场景；多目标定；张正友标定算法；棋盘格

0 引言

近年来，人体运动捕捉技术[2]已越来越成熟，被应用在影视制作、智能监控、游戏制作、运动分析等领域。电力安全生产涉及到职工的生命安全，也影响电力系统安全、稳定的运行。由于电力系统的特殊性,对工作人员的要求也越来越高，现场的电力培训虽然效果良好，但由于设备带电运行，存在很多危险性和不确定性，在现场进行人员培训具有非常大的局性，动作捕捉技术可以通过识别操作人员的位置和动作，模拟真实的操作环境，并且记录操作流畅，可以使操作更加规范化。

相机的标定是动作捕捉系统的关键，在识别人体动作的过程中，为了确定相机拍摄图像和实际空间之间的关系，必须要建立相机成像的几何模型，这个模型的参数就是相机的内外参数，标定的过程就是确定这些参数的过程[1]。

相机的标定可以分为三类：传统标定[3]、自标定[4]和主动视觉标定法，张正友标定法[5]，是介于传统标定方法和自标定方法之间，使用黑白相间的棋盘格作为标定物。传统棋盘格标定法采用两台相机同时对靶标进行拍摄，视场范围相对较小，无法对空间中完整的人体活动进行捕捉，而且两台相机从不同角度拍摄，对部分三维信息造成丢失，重建结果不够完整。

本文使用张正友标定法进行相机的标定，首先运用张正友标定法对四个相机依次进行标定，求出每个相机的内外参数，然后通过矩阵旋转关系和LM优化算法，统一四个相机的坐标系完成多目相机系统的标定，可适用于较大场景中，建立比较完整的三维信息，并应用于电力培训的人体动态捕捉中。

1 相机成像模型

在计算机视觉中，为了获得空间中点的位置，需要通过空间中物体点与相机平面及图像上的点对进行描述。为了方便描述，需要定义几种坐标系：图像物理坐标系，图像像素坐标系，相机坐标系，世界坐标系[6]。

如图1，以图像左上角为O0原点建立像素为单位的图像像素坐标系u-v，（u,v）代表像素的行和列，x-y表示图像物理坐标系，（u0,v0）代表原点O1，

图1 图像物理坐标系和像素坐标系

dx和dy分别为每个像素在横轴x和纵轴y上的物理尺寸，u-v坐标系中的坐标和x-y坐标系下的坐标关系如下：

相机成像的几何关系如图2所示，Pw（Xw，Yw，Zw）为空间某一点P的世界坐标，PC（Xc,Yc,Zc）为该点在相机坐标系中的坐标

图2 相机坐标系与世界坐标系

相机坐标系和世界坐标系的关系可用旋转矩阵R和平移向量t描述

上式（2）中：R为3x3正交单位阵（也称为旋转矩阵）；t为三维平移向量。

根据针孔成像模型，利用三角形相似原理，得到相机坐标系和图像坐标系的关系，用齐次坐标与矩阵的形式表示为：

式（3）中f为相机焦距。

将式（1）、（2）带入式（3），就可以得到P的世界坐标与像素坐标的关系，如下式

其中ax=f/dx，ay=f/dy，M1是相机的内部参数矩阵，由相机的内参数ax、ay、u0、v0所决定，M2是相机的外部参数矩阵，由旋转矩阵R和平移向量t所决定。

2 畸变矫正

在实际成像中，考虑到镜头工艺等原因，一半都会存在畸变，畸变主要包括径向畸变和切向畸变[7-8]。

（5）式中：r2=x2+y2,k1,k2,…为相机的径向畸变参数。

切向畸变δxt、δyt表示为：

式（6）中，p1、p2为相机切向畸变参数。

考虑相机畸变后，P点在归一化相机物理坐标(xd, yd)表示为：

由透视变换转化为像素坐标系下坐标（u，v）：

式（8）中，fu、fv为u、v两方向归一化焦距，s为坐标轴倾斜因子，u0、v0为主点像素坐标。

由式（5）～（8）可以求出相机内部参数 fu、fv、s、u0、v0，还有畸变系数k1,k2、p1、p2。

3 多相机坐标系统一

得到相机的内外参数之后，需要把所有的相机关联起来，即确定相机外参数间的关系，先要确定一个统一的世界坐标系，一般以某一相机的相机坐标系为统一坐标系，然后求出每一个相机相对这个统一坐标系的旋转关系，然后用旋转关系求相机的平移[9]，最后用LM算法得到最优解。

图3 相机标定示意图

世界坐标系中任意一点坐标为W，在第i个和第j个相机坐标系中坐标分别为xi、xj，从世界坐标系到相机坐标系的转换为：

（9）式中消去W，得到xi和xj之间的转换关系：

记[R t]=[R （jRi）-1tj-R（jRi）-1]，则式（10）可简写为xj=Rxi+t，所以，两个相机间的选对旋转为R= R（jRi）-1，平移向量t=tj-Rj(Ri)-1，通过标定，求出所有相机外部参数Ri、ti、Rj、tj，可以得出每个相机在统一坐标系下的关系。

4 标定结果

试验中使用了四个CCD相机，像素尺寸为5.6μm* 5.6μm，为保证视场范围，采用了4mm镜头，采用黑白相间的棋盘格作为标定靶标，提取棋盘格上角点信息进行相机的标定。对空间中靶标进行了拍摄：

图4 标定棋盘格

试验中为保证相机标定的精度，将棋盘格靶标在相机视场内摆放若干位置，分别拍摄了100张不同角度和位置的图像，如图5所示：

图5 相机和靶标相对位置关系

四个相机的标定结果为：

1号相机焦距 f1=735.70553，主点坐标 c1= [332.83706，237.34153]，径向畸变为，k11=-0.09698，k12=0.09186，切向畸变为 p11=-0.00296，p12= 0.00008。

2号相机焦距 f2=734.34412，主点坐标 c2= [348.33989，235.97910]，径向畸变为，k21=-0.09378，k22=0.06665，切向畸变为 p21=-0.00190，p22= 0.00296。

3号相机焦距 f3=736.95946，主点坐标 c3= [341.89395，252.66362]，径向畸变为，k31=-0.09217，k32=0.01289，切向畸变为 p31=-0.00061，p32= 0.00334。

4号相机焦距 f4=735.48787，主点坐标 c4= [334.43309,233.13859]，径向畸变为，k41=-0.10568，k42=0.16539，切向畸变为 p41=-0.00211，p42= 0.00279。

表1 相机焦距和误差

5 测量结果与分析

利用标定结果对实际空间中两个固定距离的小圆球进行了测量，如图6。

首先根据图像中点的位置，得到两个点的像素坐标，然后根据标定的相机内外参数，求得两点在空间中的世界坐标，计算距离[10]，最后与空间中两点的实际距离作比较，两小球的距离为500mm（如表2）。

列举几个通过相机间内外参求得的两点空间距离（如表3）。

由表2和表3可知，在上述原理的基础上通过拍摄图像进行了实验，根据实验数据，相邻相机间求得两点间距离精度较高，鲁棒性较好，由于实际场景中相机摆放的位置呈一个长方形，2号和3号相机、1号和4号相机之间的距离明显长于1号和2号相机、3号和4号相机之间的距离，对应的2和3号相机、1和4号相机光轴与靶标平面所成的角度相对较大，所以坐标系统一后，误差相对较大。由于实验设备有限，采用了四台相机，后期可以在2号和3号、1号和4号相机之间增加两台相机，减少相机间的距离，进而减小相机与靶标所成角度来增加标定精度。

图6 空间中点位置

表2 两个球中心图像坐标

表3 两球中心世界坐标

进一步实验，在四个区域内随意放置两个小球点，但是固定他们中心之间的距离为300mm，如图7所示：

图7 两个相机中四个区域

用两个相机分别对每个区域拍摄十组照片，1号区域为两个相机的图像中心，2、3和4号区域为图像的边缘，与相机光轴角度较大。

表4 两球在四个区域距离及误差

由表4可知，2、3和4号区域相对于1号区域误差较大，所以每个相机摆放的位置应尽量使人位于图像的中心，减小与相机光轴所成的角度，以提高后期三维重建和人体动态捕捉的精度。

6 结语

相机的标定是机器视觉和三维重建的基础，为机器视觉相关技术在众多领域的应用提供了前提条件，本文在张正友标定法的基础上，提出了一种多目相机标定，运用黑白相间棋盘格对四个相机依次进行标定，求出每个相机的内外参数，然后通过矩阵变换和LM算法优化数据，统一四个相机的坐标系完成多目相机系统的标定。提出了相机位置与标定精度的关系，在大场景下通过增加相机个数，减小相机光轴与靶标平面之间角度来减小误差，提高标定精度，本方法用于电力系统培训中的大视场情况下的人体动作捕捉，满足人体在场景中位置变化的精度，为电力培训的方法提供了新的思路。

[1]向泽锐，支锦亦，徐伯初，等．运动捕捉技术及其应用研究综述[J]．计算机应用研究，2013，30(8)：2241-2245.

[2]马颂德，张正友．计算机视觉:计算理论与算法基础［M］.北京:科学出版社，1998.

[3]Tsai R．A Versatile Camera Calibration Technique fFor High-accuracy 3D Machine Vision Metrology Using Off-the-shelf Tv Cameras and Lenses[J]．IEEE Journal on Robotics and Automation，1987，3(4)：323-344．

[4]吴福超，胡占义.摄像机自标定的线性理论与算法[J].计算机学报2001，24（11）：1121-1235．

[5]Zhang Z．A Flexible New Technique for Camera Calibration[J]．IEEE Transactions on Pattern Analysis&Machine Intelligence，2000，22(11)：1330-1334．

[6]马颂德.计算机视觉：计算理论与算法基础[M].科学出版社，1998．

[7]Hsieh C H，Chen F C.General Two-stage Kalman Filters[J]．IEEE Transactions on Automatic Control，2000，45(4)：819-824．

[8]Zhang Z．Flexible Camera Calibration by Viewing a Plane from Unknown Orientations[C].iccv．IEEE Computer Society,，1999:666．

[9]Martinec D，Pajdla T．Robust Rotation and Translation Estimation in Multiview Reconstruction[C].IEEE Conference on Computer Vision and Pattern Recognition．IEEE，2007:1-8．

[10]Faugeras O.Three-dimensional Computer Vision:A Geometric Viewpoint[M].Springer-Verlag，1987．

Research of Multi-view Calibration in Wide Field

CHU Sheng-hui，ZHANG Hui-meng，CHENG Shuo，MENG Hao，LIU Guo-zhong

（Beijing Information Science and Technology University,Beijing 100192）

Camera calibration is the key step in the machine vision and three-dimensional reconstruction,Its precision is also determines the accura⁃cy of the three-dimensional reconstruction,this paper presents a method of multi-camera calibration in order to solve the wide field calibra⁃tion and incomplete information of three-dimensional reconstruction.It is different from traditional binocular camera calibration,it can be used in the large field of view to provide comprehensive three-dimensional information through the multiple perspectives.This paper adopts Zhang Zhengyou calibration algorithm,in the four directions using four cameras shot on calibration target which is a black and white X-corners in the scene to calculate the internal and external parameters of each camera firstly,Then through the relationship of ma⁃trix in cameras and the LM optimization algorithm to unify camera coordinate system,complete the multi-camera calibration system,This method can be applied to large scenario,for the complete information of three-dimensional reconstruction.Finally through the experiment, the experimental data is given to demonstrate the correctness of this method and proposed a relationship between the position of the camera and calibration precision.This method is applied to human motion capture system of power training and provides a new way of thinking for power training.

楚圣辉（1989-），男，河北石家庄人，硕士，研究方向为机器视觉、图像处理

张慧萌（1988-），男，北京人，硕士，研究方向为电力系统仿真培训、数字图像处理

陈硕（1993-），女，北京人，硕士，研究方向为视觉测量，数字图像处理

孟浩（1978-），女，汉族，内蒙赤峰人，博士，讲师，研究方向为精密测量理论与技术、非统计理论

刘国忠（1966-），男，山西平遥人，博士，教授，研究方向为生物医学检测技术与仪器、光电测量技术及仪器

2017-03-14

2017-05-20

1007-1423（2017）15-0033-06

10.3969/j.issn.1007-1423.2017.15.008

Wide Field;Multi-view Calibration;Zhang Zhengyou Calibration Algorithm;X-corners