孟 偲 周 娜 张亚妮

(北京航空航天大学 宇航学院，北京100191)

利用下降图像序列重建着陆区三维地形，对着陆器选择安全着陆点具有重要意义[1－2].大规模场景三维重建是计算机视觉的重要研究内容[3]，已有很多关于利用立体视觉重建场景[4－5]和利用运动图像重建场景的方法被提出[6－9].但是这些方法中，图像主要沿横向移动，图像间分辨率差异较小，图像的极点一般在图像外部.在如深空着陆探测的下降段，摄像机主要沿光轴方向运动，极点在图像中间[10].利用该类相机拍摄图像进行场景重建的研究还很不成熟，需要进一步深入研究.

针对着陆下降图像的地形重建，国内外专家学者已开展了一些相关研究.俄亥俄州州立大学在银湖实验[11－12]采集了10幅高度折半的下降图像，联合地面巡视器图像利用光束平差法获得下降图像方位参数，再通过图像注册和特征点匹配搜寻，最后插值优化生成数字地形模型(DTM，Digital Terrain Model).该方法需要较多的下降图像，并且先利用特征点重建，然后进行稠密化获得地形重建.相比于俄亥俄州州立大学用10幅图像重建场景，美国喷气推进实验室提出利用图像对即可重建地形的方法[13].他们也利用高度折半图像重建地形，通过光线与虚拟平面交点重投影法变换图像，利用差值平方总和(SSD，Sum of Square Difference)对图像的相似度进行衡量，从而恢复三维地形信息.该方法可为图像公共区域每个像素点恢复深度信息从而进行稠密重建，但该方法利用光线重投影变换图像过于复杂，而后面利用SSD进行匹配运算又过于简单，鲁棒性不强.国内北京理工大学研究了轴向运动图像重建，通过缩放来搜索匹配点，存在较大误差，并且只针对特征点实现重建[14].华中科技大学研究了机载前视传感器图像的重建问题[15]，但只基于特征点匹配实现障碍物与背景的分层，并没有重建三维场景.

本文作者对美国喷气推进实验室的算法进行了深入研究，分析了沿轴向运动相机采用高度折半法采集图像的原因，并提出了基于单应变换的深度恢复算法，实现了下降图像的场景稠密重建[16].研究过程中，本文作者发现在基于单应性的下降图像三维重建算法中，重建结果的准确性在很大程度上受到重建参数的影响，因此需要通过实验获取准确的重建参数.但这种参数设定方式增加了操作复杂性，而且在参数设定不准确时，影响重建效果，甚至造成重建结果严重失真.针对此问题，本文作者分析了不同重建参数对重建结果的影响，提出一种自适应参数生成算法，并通过实验验证了自适应生成的重建参数在地形重建中能较好地适应重建算法对参数的要求.

1 基于单应性的下降图像深度恢复

基于单应变换的下降图像深度恢复，本质上仍是属于基于运动图像的三维场景重建问题，因此仍可分为运动恢复和深度恢复两步进行.

1)主要是恢复图像之间的精确运动.首先从图像提取鲁棒性较强的SIFT(Scale-Invariant Feature Transform)特征点，并结合RANSAC(Random Sample Consensus)算法进行特征点匹配.通过特征点匹配以及预先标定的摄像机内参数，就可以对图像的运动进行估计.为规避着陆区近似平面场景引起的运动恢复不稳定以及单纯图像特征匹配跟踪无法恢复运动大小的问题，需要由着陆器上的惯性测量单元与激光高度计给出着陆相机姿态变化和高度变化的初始值.这些初始运动信息比较粗略，达不到精确三维场景重建对图像点匹配精度要求，但却可为精确的运动信息恢复提供初始值.在运动优化中，将该初始值作为惩罚因子加入到目标函数中，可以保证优化结果位于初始值周围，从而较稳定地恢复出图像间的精确运动信息.

2)在精确运动恢复的基础上稠密恢复图像的深度信息.首先用一系列与着陆区近似平面平行的虚拟平面切分着陆区地形，如图1所示.假设相机内参K保持不变，(R，t)为两幅图像间的运动关系，N为虚拟平面法向量，dk为第k个平面到高位置相机坐标系原点的距离，由每个虚拟平面诱导的单应性将低位置图像变换到高位置图像位置.则第k个平面诱导的单应矩阵为

图1 虚拟平面诱导的单应性示意图

当高位置图像分别与诱导产生的一系列新图像进行对应像素点的窗口匹配运算时，高位置图像的每个像素点对应一系列相关性度量值.对任一像素点，只有其真实地形所在虚拟平面诱导产生的新图像与高位置图像匹配程度最高，因此只需要在一系列相关性度量值中寻找最相关值，此时该像素点真实地形位于最相关值对应虚拟平面上.对下降图像重叠区域每一像素点进行上述处理，可实现逐像素稠密重建.

2 重建参数自适应生成算法

2.1 重建参数对重建效果的影响

第1节算法成功的一个关键环节是所采用的系列虚拟平行平面要能包含整个地形起伏变化，并且有足够的虚拟平面个数，使得虚拟平面诱导产生的单应图像有足够的差异进行区分.但系列平面的个数又应该尽量地少，因为每个平面都会产生诱导变换单应图像，每个单应变换图像都要与参考图像进行匹配运算，平面数过多会导致大量的多余运算，影响地形重建的速度.因此虚拟平面的方向、个数、地形高度差异成为影响地形重建的重要参数.

第3节实验部分显示了不同地形高度差异和不同切分平面个数对沙坑中放置石块场景地形重建效果，可以明显看到重建参数对重建效果的影响.

2.2 重建参数的自适应生成

在上述实验中，虚拟平面的方向、地形高度差异以及切分平面的个数都是由人根据实验条件或观察经验设定的.在实际下降着陆中，地形的实际差异以及虚拟平面的法向方向并不预先可知，通过实验反复尝试来设定效率不高.如能自适应生成上述重建参数，则会提高重建算法的效率.

1)切分平面法向方向的确定.

首先，需要确定系列平行虚拟平面法向量.通过匹配特征点对确定的空间点，可以拟合出地形近似平面.假设特征点在图像上分散较均匀，匹配特征点对应空间点在该拟合平面的法向方向的变化量最小，因此利用与该拟合平面平行的一系列虚拟平面切分地形，可以尽量减少虚拟平面划分层数，从而减少计算量，并达到最佳重建效果.

以高位置摄像机坐标系为世界坐标系，假设拟合空间平面π表示为

则第i个特征点对对应的空间点Si(xi，yi，zi)到平面π的距离可表示为

假设空间点对个数为m，则最佳拟合平面π需满足:

从而求得平面法向量:

2)地形高度差异的自动计算.

确定虚拟平面法向量后，还需确定地形高度差异.分析算法原理可知，当地形高度差异给定值小于真实值，处于地形差异范围以外的重建点将无法搜索到正确匹配点，产生误匹配，从而造成深度恢复错误.而当地形高度差异给定值略大于真实值时，对恢复结果几乎没有影响，只是在最低和最高平面附近的几层内没有对应点，包含少数多余平面.当地形高度差异给定值过大时，会极大地增加计算量，在噪声影响下甚至会造成误匹配.因此，为达到更好的重建效果，可适当增大地形高度差异给定值，使其大于等于真实值.

由于相机内参和图像之间的相对运动已知，可确定下降图像的匹配SIFT特征点对对应的空间点位置.在地形近似平面两侧，分别计算特征点对应空间点到地形近似平面最大距离，用Δd1和Δd2表示.其中，Δd1表示与坐标原点异侧的最大距离.由于真实地形高度差异必大于等于Δd1与Δd2之和，为保证地形高度差异给定值略大于真实值，给出一个差异系数λ(一般取值范围为1.2＜λ＜1.5).

则高位置摄像机到最远虚拟平面距离dZ0为

其中d由式(4)计算得到.

3)切分平面个数的自适应确定.

确定地形高度差异后，还需要进一步得到切分平面个数.图2为实验下降图像中某一重建点的相关性曲线随切分平面个数变化的曲线，该曲线的最大值点代表相关性最强位置.当切分平面个数过少时，图像点所在位置与最接近虚拟平面之间距离较大，造成相关性曲线最大值较小，曲线波动范围较小，不利于后续深度匹配，从而影响重建效果.因此，需要增加切分平面个数以提高计算准确性.但切分平面个数过多，又会增加不必要的计算量，因而需要选取适当的切分平面个数.

由图2可得，随着切分平面个数的增加，相关系数值曲线形状趋于稳定.综合考虑算法准确性和复杂度，需要选取曲线保持稳定条件下的最小切分平面个数.

一般情况下，当相机拍摄位置保持不变时，地形起伏越大，所需切分平面个数越多;当地形高度差异保持不变时，相机拍摄高度越高，地形深度差异相对相机拍摄高度而言越小，因而所需切分平面个数越少.

综上所述，切分平面个数受地形高度差异和相机拍摄高度两个因素影响.考虑到切分平面个数过少时会造成重建失真，还需要设置切分平面个数最小值，以达到更好的重建效果.

图2 相关性曲线随切分平面个数n变化示意图

式中，n0为最小虚拟平面划分层数;θ为比例系数，根据经验确定后可保持不变;dZ0为高位置摄像机到最远虚拟平面的距离，由式(7)计算得到.

最终推导得出

3 实验

为验证算法的有效性，采用月面模拟图像和沙坑石块图像进行验证.

在月面模拟实验中，将打印的月面图像弯折成拱形，并将相机装在机械臂上，相机竖直向下放置.拍摄时控制机械臂沿光轴运动，分别在距离地面950 mm和550 mm处拍摄两幅图像，如图3所示.自适应算法得到的地形高度差异为119 mm，切分平面个数为43.

图3 不同高度月表模拟图像

在沙坑石块实验中，以同样的方式安装并控制相机，分别在距离地面1 100 mm和550 mm处拍摄两幅图像，如图4所示.自适应算法得到的地形高度差异为109 mm，切分平面个数为39.

图4 不同高度沙坑石块图像

3.1 地形高度差异对重建结果的影响

在月面模拟实验中，将切分平面个数固定为43，地形高度差异设定值在80～140 mm之间变化，重建结果如图5所示.在沙坑石块实验中，将切分平面个数固定为39，地形高度差异设定值在80～140 mm之间变化，重建结果如图6所示.对比所示重建结果可知，当地形高度差异设定值小于真实值时，深度大于设定范围的位置重建结果严重失真;当地形高度差异设定值接近或略大于真实值时，深度恢复结果较为理想.

图5 不同地形高度差异下的月表模拟图像重建深度图

图6 不同地形高度差异下的沙坑石块图像重建深度图

3.2 切分平面个数对重建结果的影响

在月面模拟实验中，将地形高度差异设定值固定为119 mm，切分平面个数从10～60变化，重建结果如图7所示.在沙坑石块实验中，将地形高度差异设定值固定为109 mm，切分平面个数从10～60变化，重建结果如图8所示.从重建结果中可以看出，当切分平面个数过少时，重建结果严重失真;当切分平面个数较少时，重建地形的阶梯效应较明显;当切分平面个数较多时，随着平面个数增加，重建效果不再出现明显变化.

图7 不同切分平面个数下月面模拟图像重建深度图

图8 不同切分平面个数下沙坑石块图像重建深度图

3.3 结果讨论

从实验结果可以看出，本文提出的参数自适应生成算法计算出的重建参数下可以得到较好的重建效果，并将重建计算量控制在较小的范围内.但是，本算法还存在一些问题.地形高度差异设定值很大程度上受到SIFT匹配点的限制.当SIFT特征点中包含位于深度最大和最小区域的重建点时，才能完成准确估计，否则可能造成重建结果失真.

4 结论

本文提出一种自适应参数生成算法，并比较了不同重建参数下的重建结果，从实验结果及分析可知:

1)重建参数对基于单应性的下降图像深度恢复影响较大.

2)着陆区为近似平缓地形，本文利用特征点重建三维点，并进一步拟合平面作为着陆区近似平面，在具有纹理特征并且分布相对离散情况下适用;如果地形纹理特征点过于稀疏，则拟合平面距真实近似平面误差较大.

3)虚拟切分平面稀疏，重建结果不准确;虚拟切分平面个数过多，造成冗余计算，对提升结果准备度没有实际贡献;根据预估地形起伏度以及距离相机距离，自动计算虚拟切分平面个数，可在准确重建前提下减少计算量.

References)

[1]Matthies L，Olson C，Tharp G，et al.Visual localization methods for Mars rovers using lander，rover，and descent imagery[C]//Proceedings of International Symposium on Artificial Intelligence，Robotics，and Automation in Space.Tokyo: [s.n.]，1997:413－418

[2]Matthies L，Maimone M，Johnson A，et al.Computer vision on Mars[J].International Journal of Computer Vision，2007，75(1):67－92

[3]佟帅，徐晓刚，易成涛，等.基于视觉的三维重建技术综述[J].计算机应用研究，2011，28(7):2411 －2417

Tong Shuai，Xu Xiaogang，Yi Chengtao，et al.Overview on visionbased 3D reconstruction[J].Application Research of Computers，2011，28(7):2411 －2417(in Chinese)

[4]Olson C F，Abi-Rached H，Ye M，et al.Wide-baseline stereo vision for Mars rovers[C]//2003 IEEE/RSJ International Conference on Intelligent Robots and Systems.Las Vegas，NV:IEEE，2003，2:1302 －1307

[5]王炜强，徐进，杜歆，等.基于宽基线立体视觉的远距离三维重建[J].浙江大学学报:工学版，2010，44(6):1073 －1078

Wang Weiqiang，Xu Jin，Du Xin，et al.Long-range 3D reconstruction based on wide-baseline stereo vision[J].Journal of Zhejiang University:Engineering Science，2010，44(6):1073 －1078(in Chinese)

[6]Oliensis J，Genc Y.Fast algorithms for projective multi-frame structure from motion[C]//IEEE International Conference on Computer Vision.Piscataway，NJ:IEEE，1999:536 －543

[7]Soatto S，Perona P.Reducing“structure from motion”:a general framework for dynamic vision.1.modeling[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，1998，20(9):933－942

[8]Tomasi C，Kanade T.Shape and motion from image streams under orthography:a factorization method[J].International Journal of Computer Vision，1992，9(2):137 －154

[9]Sturm P，Triggs B.A factorization based algorithm for multi-image projective structure and motion[C]//Computer Vision—ECCV’96.Heidelberg，Berlin:Springer，1996:709 －720

[10]Xue X，Meng C，Jia Y.An improved method for terrain mapping from descent images[C]//Foundations of Intelligent Systems.Heidelberg，Berlin:Springer，2012:547 －555

[11]Li R，Ma F，Xu F，et al.Mars rover localization using descent and rover imagery-result of the field test at Silver Lake，CA[C/CD]//ASPRS Annual Conference.Washington DC:ASPRS，2000:22－26

[12]Ma F，Di K，Li R，et al.Incremental mars rover localization using descent and rover imagery[C/CD]//ASPRS Annual Conference，St.Louis，Mo:ASPRS，2001:25 －27

[13]Xiong Y，Olson C F，Matthies L H.Computing depth maps from descent images[J].Machine Vision and Applications，2005，16(3):139－147

[14]裴明涛，贾云德.摄像机沿光轴运动下的场景三维重建[J].计算机辅助设计与图形学学报，2005，17(3):534－539

Pei Mingtao，Jia Yunde.3d reconstruction under camera motion along optic axis[J].Journal of Computer Aided Design and Computer Graphics，2005，17(3):534 －539(in Chinese)

[15]张大志，王勇涛，田金文，等.基于单目视觉系统的远距离场景重建算法研究[J].宇航学报，2008，29(1):289 －294

Zhang Dazhi，Wang Yongtao，Tian Jinwen，et al.Efficient 3D reconstruction using monocular vision[J].Journal of Astronautics 2008，29(1):289 －294(in Chinese)

[16]Meng C，Zhou N，Xue X，et al.Homography-based depth recovery with descent images[J].Machine Vision and Applications，2013，24(5):1093 －1106