马子昂，项志宇

（浙江大学信息与电子工程学系，浙江杭州310027；浙江省综合信息网技术重点实验室，浙江杭州310027）

光流测距全向相机的标定与三维重构

马子昂，项志宇

（浙江大学信息与电子工程学系，浙江杭州310027；浙江省综合信息网技术重点实验室，浙江杭州310027）

针对基于主动式传感器的无人驾驶飞机导航系统在实际应用中存在的体积庞大、成本高等问题，介绍一种由传统透视相机和具有等距性的反射镜面组成的相机镜面系统.镜面的等距性使得空间点到相机光轴的轴心距与图像光流值之间存在一种简单的对应关系，使用该相机镜面系统可以直接对场景进行测距.通过仿真实验发现，系统测距精度主要受镜面与相机的角度安装误差的影响.提出一种新的参数标定方法来改善测距精度.结果表明：将相机应用于实际场景，可以较好地实现环境的三维重构，证明所提出的标定与重构方法的有效性.

光流测距全向相机；测距精度；光流值计算；参数标定；三维重构

全向相机是由传统透视相机和反射镜面组成的折反射相机（相机镜面系统），其中反射镜面的使用使得全向相机具有大视场成像特性［1-2］.根据是否满足单一视点特性，全向相机可以分为单视点折反射相机和非单视点折反射相机.近年来，全向相机广泛应用于视频监控、机器人导航、视频会议和场景重建中.由于在实际应用中透视相机与反射镜面的安装存在一定程度上的失准，实际中使用到的大多数是非单视点折反射相机［3］.

目前应用于非单视点折反射相机的标定方法主要有以下几种.Mashita等［4］使用镜面边缘以及多条无穷远直线在相机成像平面上的成像来估计镜面位姿关系，此方法仅适用于透视相机光轴与镜面中心轴角度安装偏差较小的情况.Fabrizio等［5］通过镜面外边缘和专门设计的镜面底部边缘在相机成像平面上的成像恢复出透视相机内参和镜面位姿参数，但专门设计的镜面底部边缘会占用部分镜面反射区域.Morel等［6］利用偏振图像对系统参数进行标定，此方法需要拍摄3幅不同的偏振图像.

全向相机的成像特性由反射镜面的形状决定，典型的反射镜面包括抛物镜面、双曲镜面、椭圆镜面以及平面镜面.在实际应用中，为了使全向相机获得一定的成像特性，研究人员设计出了具有特殊形状的反射镜面.Derrien等［7］通过使用球面镜使相机获得一个更大的视场：360°的方位角和180°的俯仰角，并用于监控和远程操作.Brassart等［8］通过移动由CCD相机和圆锥形镜面组成的全向视觉系统在立体实验场景中的位置得到同一场景的2幅图像，然后，通过图像上获得的感知点的位置与理论值的匹配获得全向视觉系统移动前后在场景中的位置，并将这种定位方法用于自主移动机器人上.Chahl等［9］设计了一种等角镜面，该镜面具有入射光线的角度变化与反射光线的角度变化呈线性关系的特点，这使得入射光线与反射光线之间存在一种简单的角度映射关系，从而易于分析成像结构.Srinivasan等［10-11］提出了一种满足等距等光流特性的全向成像镜面，该镜面满足在光轴的运动方向上，空间上等间距的点对应于相机成像平面上等间距的像素点的特点，这使得空间点到相机光轴的距离和图像光流值之间存在一种简单的对应关系，使用该相机镜面系统可直接对场景进行测距.然而，文献［10］只是实现了一个原型系统，并没有对该全向相机的测距误差来源进行分析，也没有对实现的系统进行参数标定，从而极大地影响了实际使用中的测距精度.由于该系统最终的镜面参数是靠计算机数值积分得到的，没有一个显式的镜面表达式，很难直接进行理论分析.本文通过仿真实验分析镜面加工精度和安装误差对系统测距精度的影响；为了减小测距精度受安装误差的影响，提出一种新的参数标定方法，并对参数标定前后的三维重建结果进行比较分析；最后，将实现的系统结合提出的参数标定方法用于实际立体场景的三维重建.

1 光流测距全向相机的设计原理

光流测距全向相机由一个普通透视相机和一个特殊设计的全向镜面组成［10］.其中全向成像镜面的形状由相机镜面系统的运动速度、距离地面的高度（实验点距离相机光轴的轴心距）、透视相机的镜头焦距以及相机光心到反射镜面顶点的距离等参数决定.相机与镜面的配置如图1所示.图中，点A′是地面上的实验点A在相机成像平面上的成像.假定点A′在成像平面上的移动速度是一定的，可得

式中：η为点A′到成像平面中心的距离，t为时间，L为光流值.

图1 相机镜面配置示意图Fig.1 Geometry of designed camera-mirror configuration

由斯涅尔（Snell）反射定律［12］可以得到点P处的入射光线和反射光线满足：

式中：θ为入射光线与水平面的夹角，β为对应反射光线与水平面的夹角，r为透视相机的光心O到镜面反射点P的距离，arctan（ r d θ／dr） 表示入射光线OP与镜面在点P处切线的夹角.令ω＝2arctan（r d θ／dr） ，则ω表示入射光线经镜面反射后的角度偏转.

结合系统实际运动过程中的变量关系，可以推导出ω满足以下微分方程：

式中：v为系统的运动速度，h为实验点距离相机光轴的轴心距，f为透视相机的镜头焦距.实验设计的镜面满足：

式中：C表示系统常数.对式（3）所示的微分方程进行积分处理，可以得到镜面轮廓方程在极坐标系下的表示：

式中：J（θ）＝cot［（G（θ）＋ω0）／2］，其中G（θ）为式（3）的数值积分解，ω0为由边界条件决定的常整数（实验设计镜面的边界条件为ω0＝－π／2）；r0为透视相机光心到镜面顶点的距离.

2 测距误差来源分析与仿真

2.1 仿真参数配置

由于无法获得该镜面的显式曲面表达式，很难对其测距误差来源进行直接理论推导分析，可以通过采用仿真实验的方法来分析测距误差来源.对实验设计的等距全向成像镜面进行仿真，仿真示意图如图2所示.设置相机光心在坐标（0，0）处，图像平面关于光心的镜像如图中竖线所示.仿真相关参数设置如下：v＝0.02 m／s；h＝1.0 m；f＝16 mm；r0＝0.1 m；L＝3帧／s；ω0＝－π／2.从仿真结果中可以看到，在系统运动方向上，相机成像平面上等间距的像素点在地面上成等距离分布，这验证了镜面设计的正确性.

将仿真实验参数代入式（4），可以得到L与h之间的关系式：

在相机镜面系统的运动速度v和透视相机的焦距f已知的情况下，实验场景中的实验点X在相机成像平面上的成像表示为X′.使用Lucas-Kanade算法［13-14］计算相机成像平面上点X′处的光流值，根据式（6）可以计算得到实验点X距离相机光轴的轴心距.相机成像平面上某一半径方向上的光流值Lr与垂直方向上的光流值Lv满足以下关系式［10］：

图2 反射镜面仿真示意图Fig.2 Simulation diagram of designed reflective mirror

式中：α为该半径方向偏离垂直方向的角度.将式（7）表示的角度关系结合实验点X距离相机光轴的轴心距，可以得到实验点X的三维坐标信息，因此，使用具有等距性的反射镜面和透视相机组成的视觉系统可以直接对实验场景进行三维重建.

2.2 非理想配置情况仿真

在实际应用中，透射相机与镜面的配置可能存在一定的系统误差（镜面加工精度）和安装误差，为了验证镜面等距性受镜面加工精度和安装精度的影响，分别进行以下几组仿真实验.

2.2.1 镜面顶点位置安装误差和加工步长对系统性能的影响 设相机光心与镜面顶点的距离存在安装误差Δr0，因此镜面顶点与相机光心之间的实际距离为r0＋Δr0，如图3所示.假设第i条和第i＋1条入射光线在理想情况下在地面上的映射点分别为xi、xi＋1，而实际情况下在地面上的映射点分别为，等距性受Δr0的影响可以用相对误差e来表示：

式中：n为射线的条数.式（8）为仿真中所采用的等距性误差衡量指标.

图3 存在位置安装误差时的相对误差示意图Fig.3 Schematic diagram of relative error affected by positional error of installation

数控加工曲面采用小步长的台阶代替连续曲面，步长越小，即加工点数越多，精度越高.图4（a）表示相对误差随加工点数N的变化趋势，可以看到，在加工点数从100个到2 000个的变化过程中（镜面总长为10 cm，对应的镜面加工步长从1 000 μm减小至50μm），相对误差急剧下降；加工点数增大到5 000后（对应的镜面加工步长为20μm），相对误差的数值基本保持不变.图4（b）表示在加工点数足够多的情况下相对误差随偏移量Δr0的变化趋势，随着Δr0增大，相对误差成线性增长趋势，相对误差的曲线分布相对于Δr0＝0对称.比较发现，等距性相对误差对加工点数比较敏感，因而要想实现一定的实验精度，必须保证镜面的加工点数足够多.以目前的数控精度，一般情况下加工点数都可以得到保证.

图4 等距性相对误差受镜面加工精度和位置安装误差的影响Fig.4 Influences on relative error by mirror surface machining accuracy and positional error of installation

2.2.2 镜面偏轴安装引起的误差 镜面中心轴与相机光轴不重合造成的安装误差即镜面相对于理想配置存在一定的角度安装误差.由于镜面是绕x轴旋转360°加工而成，只考虑镜面安装时绕y和z轴旋转一定角度导致的等距性变化情况.图5（a）表示在相对误差随镜面绕z轴旋转的变化趋势，az表示绕z轴旋转的角度安装误差，当绕z轴正方向和负方向旋转相同角度时，相对误差基本相等.图5（b）表示相对误差随镜面绕y轴旋转的变化趋势，ay表示绕y轴旋转的角度安装误差，可以看到，相对误差对反射镜面绕y轴旋转比较敏感，相对误差随着镜面绕y轴正方向旋转基本呈快速线性增长趋势，而当镜面绕y轴反方向旋转时，相对误差变化相对平缓.通过比较角度安装误差与位置安装误差、镜面加工精度对镜面等距性的影响，可以看到，等距性受角度安装误差的影响最大，一个较小的角度安装误差会对镜面的等距性产生较大的影响.

考虑到相机镜面系统在实际应用中不可避免地存在一定的安装误差，为了减小安装误差对三维重建结果的影响，需要对系统的参数进行标定.

图5 等距性相对误差受角度安装误差的影响Fig.5 Influences on relative error by angular error of installation

3 系统参数标定方法及仿真

考虑相机镜面系统一种非理想配置的情况：位置安装误差Δr0＝0.01 m，绕y轴旋转的角度安装误差ay＝2°.相机镜面系统在距离地面0.8 m的高度上，以v＝0.02 m／s的速度做匀速直线运动，仿真场景中系统距离左侧平面和右侧平面的垂直距离分别为0.8和0.6 m.相机焦距为f＝16 mm，透视相机以1帧／s的速度采集图像.

将透视相机采集得到的图像按半径方向展开，使用Lucas-Kanade算法计算2帧图像之间的光流，由式（6）可以计算得到实验场景中3个平面上的实验点距离相机镜面系统光轴的轴心距，结合一定的角度关系得到重建实验点的三维信息，从而实现对场景的三维重建.三维重建效果如图6（a）所示，其中矩形框1、2、3中的点分别表示重建得到的左侧平面、底部平面、右侧平面实验点.计算实验场景中3个平面上重建得到的实验点与理想值偏差的均值¯x与标准差s，如图7所示.可以看到，重建实验点的偏差较大，远远超出实验可以接受的误差范围.为了减小安装误差对重建结果的影响，实现更好的重建效果，需要对系统的参数进行标定.

图6 参数标定前、后的三维重建结果Fig.6 Results of three-dimensional reconstruction before and after calibrating parameters

传统的参数标定借助于标定物来估计透视相机内参和镜面位姿参数.对于光流测距相机，传统的参数标定方法存在明显的弊端.首先，该系统是高度非线性系统，对角度安装误差的光流补偿需要对每个像素点逐一进行，优化计算量很大；其次，得到的补偿量只对某一个高度有效，一旦系统实验平面的距离发生变化，就需要新的光流补偿模板.

为了解决这些弊端，提出一种新的参数标定方法：当相机镜面系统（存在一定的安装误差）距离实验平面的高度不同的情况下，分别计算对应高度相机成像平面上的光流值，通过拟合高度与光流值之间的关系来修正安装失准情况下h和L之间的关系式.这种标定方法将不同高度情况下系统安装失准引入的光流误差，通过重新拟合轴心距h和光流值L之间的关系式进行补偿，相比于传统的参数标定方法更为简便、有效.

由式（6）可知，理想情况下h和L之间满足幂级数关系，分别使用幂级数的2种模型来拟合h和L之间的关系，分别表示为参数标定1和参数标定2：

式中：a、b、c为标定参数.将重新拟合的关系式用于三维重建，参数标定后的三维重建效果如图6（b）、（c）所示.比较参数标定前、后重建实验点的位置与理想值偏差的均值¯x与标准差s，如图7所示.

图7 参数标定前、后三维重建效果分析Fig.7 Effects of three-dimensional reconstruction before and after calibrating parameters

参数标定后的重建效果明显优于参数标定前，重建实验点比较均匀、紧凑地分布在理想值的两侧，因此，通过实验可以验证对系统进行参数标定，减小安装误差对重建精度的影响.其中，使用式（10）进行参数标定后的三维重建效果最理想，可以将式（10）用于复杂立体场景的三维重建.

4 实际场景的系统测试与三维重建

4.1 镜面的成像特性

按照仿真实验参数，设计一个用于实际场景的光流测距相机系统.将系统安装在金属架上，金属架距离地面的高度可以进行调节，实验场景是随机产生的二维条形码，如图8所示.当相机镜面系统距离地面的高度hv＝0.1 m时，镜面的成像特性如图9所示，可以看到，在相机镜面系统中使用镜面使得相机的成像区域更大，包括相机正下方和前方的所有区域.

图8 相机镜面系统的安装及实验场景Fig.8 Installation of camera-mirror system and test scene

图9 镜面的成像特性Fig.9 Mirror imaging properties

使用Canny算子［15］对相机采集得到的图像进行镜面边缘提取，然后使用RANSAC算法［16］对镜面边缘进行椭圆拟合，得到镜面边缘的中心位置.已知镜面边缘中心位置，将相机采集得到的图像按半径方向展开如图10（a）所示.图中，βx为绕x轴旋转的角度，d为像素点到镜面中心的距离.

使用Lucas-Kanade算法计算连续2帧图像之间的光流值，如图10（b）所示为偏离垂直半径方向的角度α和此处的光流值L之间的关系，可以看到，两者之间近似满足cosα的比例关系，这与理论预期相符.

图10 按半径方向展开后图像上的光流场及其特性Fig.10 Optic flow field generated on remapped image and imaging characteristic

4.2 实际场景的三维重建

表1 三维重建的误差均值与方差Tab.1 Mean and standard deviation of 3D reconstruction error cm

调节相机镜面系统距离地面的高度为hv＝0.8 m，实验场景为贴有二维条形码的立体场景，如图11（a）所示.按照第3节中所述的方法对相机镜面系统进行参数标定，三维重建结果如图11（b）～（d）所示，分别计算各个平面上重建实验点与理想值偏差的均值¯x与标准差s，计算结果如表1所示.可以看到，参数标定后，对立体场景的三维重建实现了比较理想的效果，重建实验点与理想值的偏差在误差可以接受的范围内.实验结果表明了所提出的标定与重构方法的有效性.

图11 实际实验场景及其三维重建结果Fig.11 Actual test scene and results of 3D reconstruction

5 结 语

本文使用满足等距性的全向成像镜面与透视相机组成的视觉系统，通过光流计算实现对实际立体场景的三维重建.本文提出新的参数标定方法，提高了系统在实际应用中对安装误差的鲁棒性.实验结果表明：本文实现的光流测距全向相机，可以有效地实现对复杂立体场景的三维重建，对于系统非匀速、非直线运动的情况存在一定的局限性.如何实现系统在这些特殊情况下的三维重建需要进一步的研究.

（References）：

［1］SRINIVASAN M V.A new class of mirrors for wideangle imaging［C］∥Computer Vision and Pattern Recognition Workshop.Madison：IEEE，2003，7：85.

［2］FERNANDO C G，MUNASINGHE R，CHITTOORU J.Catadioptric vision systems：survey［C］∥System Theory.Piscataway：IEEE，2005：443- 446.

［3］COLOMBO A，MATTEUCCI M，SORRENTI D G.On the calibration of non single viewpoint catadioptric sensors［M］∥RoboCup 2006：Robot Soccer World Cup X.Berlin：Springer，2007：194- 205.

［4］MASHITA T，YACHIDA M.Calibration method for misaligned catadioptric camera［J］.IEICE Transactions on Information and Systems，2006，89（7）：1984- 1993.

［5］FABRIZIO J，TAREL J P，BENOSMAN R.Calibration of panoramic catadioptric sensors made easier［C］∥Omnidirectional Vision.Copenhagen：IEEE，2002：45- 52.

［6］MOREL O，FOFI D.Calibration of catadioptric sensors by polarization imaging［C］∥Robotics and Automation.Beijing：IEEE，2007：3939- 3944.

［7］DERRIEN S，KONOLIGE K.Approximating a single viewpoint in panoramic imaging devices［C］∥Robotics and Automation.San Francisco：IEEE，2000：3931- 3938.

［8］BRASSART E，DELAHOCHE L，CAUCHOIS C，et al.Experimental results got with the omnidirectional vision sensor：SYCLOP［C］∥Omnidirectional Vision. South Carolina：IEEE，2000：145- 152.

［9］CHAHL J S，SRINIVASAN M V.Reflective surfaces for panoramic imaging［J］.Applied Optics，1997，36（31）：8275- 8285.

［10］SRINIVASAN M V，THURROWGOOD S，SOCCOL D.An optical system for guidance of terrain following in UAVs［C］∥Video and Signal Based Surveillance.Sydney：IEEE，2006：51.

［11］SOCCOL D，THURROWGOOD S，SRINIVASAN M V.A vision system for optic-flow-based guidance of UAVs［C］∥Proceedings of the Australasian Conference on Robotics and Automation.Brisbane：ACRA，2007.

［12］INGARD K U.Fundamentals of waves and oscillations［M］.Cambridge：Cambridge University Press，1988.

［13］LUCAS B D，KANADE T.An iterative image registration technique with an application to stereo vision［C］∥International Joint Conference on Artificial Intelligence.Vancouver：IJCAI，1981，81：674- 679.

［14］BOUGUET J Y.Pyramidal implementation of the affine lucas kanade feature tracker description of the algorithm［J］.Intel Corporation，2001，5：1- 10.

［15］CANNY J.A computational approach to edge detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence.1986，（6）：679- 698.

［16］FISCHLER M A，BOLLES R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24（6）：381- 395.

Calibration and 3D reconstruction with omnidirectional ranging-by-optic-flow camera

MA Zi-ang，XIANG Zhi-yu
（Department of Information Science and Electronic Engineer，Zhejiang University，Hangzhou 310027，China；Zhejiang Provincial Key Laboratory of Information Network Technology，Zhejiang Province，Hangzhou 310027，China）

There are limitations when applying active sensing in designing guidance systems for UAVs，which can be bulky and expensive.An omnidirectional ranging-by-optic-flow camera was introduced，which was composed of a traditional perspective camera and a reflective mirror with certain imaging characteristic.The imaging characteristic helped establish a simple relationship between the distance from space point to the optical axis of camera and the value of optic flow.Thus，3D reconstruction of test scene could be realized directly.As a result，the ranging accuracy of the system is mainly influenced by the angular error of installation through simulation experiments.Therefore，a new parameters calibration method was proposed to assist in improving ranging accuracy.Results show that 3D reconstruction can be achieved by exploiting the designed camera to the stereo scene.The experimental results demonstrate the effectiveness of the proposed calibration and reconstruction method.

omnidirectional ranging-by-optic-flow camera；ranging accuracy；optical flow calculation；parameters calibration；3D reconstruction

10.3785／j.issn.1008-973X.2015.09.006

TP 242.6

A

1008- 973X（2015）09- 1651- 07

2014- 06- 04. 浙江大学学报（工学版）网址：www.journals.zju.edu.cn／eng

国家自然科学基金资助项目（NSFC61071219）.

马子昂（1991－），男，博士生，从事基于相机标定、光流测距的相关研究.ORCID：0000-0001-8241-5303.

E-mail：bean81bryant＠163.com

项志宇，男，副教授.ORCID：0000-0002-3329-7037.E-mail：xiangzy＠zju.edu.cn