黄子岩，娄小平

（北京信息科技大学光电测试技术及仪器教育部重点实验室，北京 100192）

0 引言

随着三维重建技术的不断发展，其在生产制造、文物保护、医学测量等方面的应用日益广泛，其中三维重建的纹理信息具有重要的研究价值。获取三维信息的方式有结构光扫描、激光扫描及使用方便、成本较低的Kinect、RealSense深度相机等。Kinect、RealSense通过两组不同的相机分别获取深度与彩色数据，为了得到准确的三维纹理信息，需要进行深度图与彩色图的配准。

SIFT、SURF、RANSAC算法等常见的图像配准方法一般用于二维彩色图像。龙勇志使用卷积神经网络提取红外图像与可见光图像的共有特征，实现了红外图像与可见光图像的配准。针对深度图与彩色图的配准，彭丽通过使用NPDM算法，以迭代的方式获取深度图与彩色图间的配准参数。Mikhelson等提出了一种用于RGB-D相机的配准方法，将深度图重建为三维点云数据，分别提取点云中的角点与彩色图的角点，获得深度图与彩色图的对应关系。宋希彬针对RGB-D传感器深度图像的偏移问题提出了进行校正的偏移建模算法，能够得到更加准确的配准结果。

本文的目的是实现RGB-D相机深度图与彩色图的配准。在对常用的二维图像特征匹配算法进行研究的基础上，利用SAD算子与亚像素插值算法结合得到深度图，再根据深度图与彩色图的坐标系变换关系完成深度图与彩色图的配准。

1 RGB-D相机深度图与彩色图的配准

为了实现RGB-D相机深度图与彩色图的配准，首先需要对相机进行标定与立体校正，然后通过双目图像匹配结果得到深度图，最后使用深度相机与彩色相机的坐标系变换关系完成配准过程。

1.1 相机标定与立体校正

1.1.1 相机标定

相机标定的目的是获取相机像素坐标系与物体所在的世界坐标系之间的转换关系，根据相机模型求解内部参数和外部参数。张正友标定法采用理想针孔成像模型，利用图形尺寸信息已知的平面标定板，计算得到每一个图像角点在世界坐标系下的物理坐标，从而求解相机像素坐标与世界坐标系的关系。在张正友标定法中，世界坐标系的XOY平面定义在棋盘格上，则有=0。根据针孔成像模型可计算出像素坐标系与世界坐标系之间的变换关系：

其中，、为旋转矩阵的前两列。把内参矩阵记为，令［］为。、作为旋转矩阵的两列，存在单位正交的关系，即：

将=［］代入（2）中，可得：

其中、为矩阵的前两列。由于相机内参矩阵有5个未知数，因此需要至少三张姿态不同的标定板照片才能完成标定。

真实的镜头并非理想的小孔成像模型，而是带有不同程度的畸变。畸变主要包括径向畸变与切向畸变两种类型，由于切向畸变影响较小，通常只考虑径向畸变。设（，）、（，）为理想的像素坐标与图像坐标，（u，v）、（x，y）为实际测量的像素坐标与图像坐标，、为畸变系数。则有：

通过图像像素坐标系与图像物理坐标系的变换公式=+/d、=+/d与u=+x/d、v=v+y/d将（4）式转换到像素坐标，、为相机光轴与图像平面交点的横、纵坐标值，d、d分别为每个像素在轴和轴方向上的物理尺寸：

设拍摄到张照片，每张照片有个角点，对于每个角点，由式（5）可得到2个方程：

将矩阵系数记为，等式右端项记为，由最小二乘法得：

双目相机标定利用标定板中同一点在左右相机中的图像坐标，计算出左右两相机之间的旋转矩阵和平移矩阵。设、与R、T分别为左右相机经过单目相机标定后的外参，左右相机与空间中的一点在世界坐标系下的坐标分别为A、A、A，可得：

式（8）中消去A可得左右相机之间坐标系转换关系：

由式（9）可得左右相机坐标系间的旋转平移矩阵：

1.1.2 立体校正

为方便后续的立体匹配步骤，加快匹配速度，需要对匹配过程中的对应点从二维搜索降到一维搜索。立体校正的目的是对左右相机获取的图像进行重投影，使其落于同一竖直平面上，只有水平方向上的偏移。校正后的匹配点的搜索只需在对应的水平方向进行。本文采用Bouguet算法对双目相机进行立体校正。

经过双目标定后，得到了左右相机间的旋转矩阵与平移矩阵。将旋转矩阵分解成、r两个矩阵，分别表示左、右相机的旋转。为了将两幅图像的行像素对准，将左图像中的极点移动到无穷远处，使双目相机的极线变换到水平位置。左右相机平移向量方向是左图像极点方向：

方向须与垂直，则可表示为：

由与叉乘得到，可得到合成矩阵：

左右相机的校正矩阵为：

1.2 双目图像匹配

1.2.1 SAD图像匹配算法

SAD（sum of absolute differences）是一种图像的块匹配算法。以左相机图像的源匹配点为中心，定义一个大小为×的窗口，计算出窗口的灰度值的总和，然后逐步在右相机图像中计算左右窗口的灰度和的差值，最后检测到匹配点’为差值最小的区域的中心像素。SAD算法原理如图1所示。

图1 SAD算法原理图

公式如下：

其中（，）为绝对误差，（，）为左相机×窗口，（，）为右相机M×N窗口。

1.2.2 亚像素插值

图像视差计算不能恢复出图像中所有点的视差，且得到的视差为离散值。亚像素插值是对离散的灰度值进行插值，得到亚像素点的灰度值，使物体表面视差更加平滑。本文使用双线性插值法进行亚像素插值计算。

如图2所示，双线性插值是通过待求点周围4个已知相邻点的值，分别进行方向与方向的两次线性插值得到待求点（，）的值。假设已知4个点=（，）、=（，）、=（，）、=（，），进 行方 向 的 线 性插 值，得到：

图2 双线性插值示意图

然后在方向进行线性插值，得到：

将式（16）、（17）、（18）结合得：

1.3 三维重建

1.3.1 视差图转换到深度图

左右相机校正完成后，使得极线平行，两条光轴方向也平行，如图3所示。设空间中一点，和是点在左右像平面上的成像点，为点的深度值，为相机焦距，X和X是两个成像点在左右两个像面上距离图像左边缘的距离，为左右相机基线距离，则视差和物体深度的关系式如下：

图3 视差与深度转换示意图

令=X-X，整理可得：

1.3.2 深度图转换到点云图

根据相机成像模型可得像素坐标系与世界坐标系之间的变换，其中为（，）对应的深度值：

由于世界坐标原点和相机原点是重合的，即没有旋转和平移，所以为单位矩阵，为0向量，式（22）可以简化为：

由式（23）可得：

1.4 深度图到彩色图坐标系的变换关系

由式（23）可知，深度相机坐标系与深度图图像坐标系转换关系如下：

以上变换过程等价于如下的表达：

于是得到深度相机坐标系与深度图图像坐标系转换关系：

M为红外左相机内参矩阵。

同理可得彩色相机坐标系与彩色图图像坐标系转换关系：

M为彩色相机内参矩阵。

深度相机坐标系到彩色相机坐标系变换如下：

将式（27）、式（28）代入式（29），两侧同时左乘M矩阵得到：

由于Z≈Z，因此式（30）可以简化为：

由此将式（31）展开，可得到深度图像坐标到彩色图像坐标转换关系：

2 实验结果分析

本实验使用Intel RealSense D435i相机作为获取双目散斑图片和彩色图片的工具。双目红外相机的分辨率为1280×800，彩色相机的图像分辨率为1920×1080。采用340 mm×260 mm标定板作为被测对象，拍摄10组图片，计算标定板三维重建的平面平整度。实验所用设备如图4所示。

图4 实验设备

2.1 相机标定

关闭相机红外散斑发射器，多次改变12×9棋盘格位姿，分别对双目红外相机和彩色相机进行标定。标定图片如图5所示。

图5 相机标定

使用张正友标定法计算出相机内参，如表1所示，其中f、f为相机焦距，c、c为相机主点，δ为重投影误差，、为畸变系数。

表1 相机标定参数

深度相机中左右相机的外参标定结果为：

深度相机中左相机与彩色相机的外参标定结果为：

2.2 深度图获取

对双目图片进行立体校正预处理，得到校正后的图片，如图6所示。

图6 立体校正图

使用SAD算法与亚像素插值算法得到深度图，如图7（a）所示；将深度图转换为点云图，如图7（b）所示。

图7 深度图（a）和点云图（b）

将图7（a）的深度图与图8（a）的彩色图进行配准，生成如图8（b）所示的点云图。

图8 深度图与彩色图（a）配准得点云图（b）

2.3 配准方法评价

截取对齐后标定板平整部分的深度图，使用RANSAC算法拟合截取部分，计算出所有点与拟合平面的平均距离。截取的标定板平面部分点云如图9所示。由表2可知，深度图与彩色图配准后的平面平整度基本符合要求。

图9 截取后的点云图

表2 配准后的平面平整度

3 结语

本文利用SAD与亚像素插值算法，根据双目图像特征计算出深度图。结合深度图与彩色图坐标系变换关系，得到与彩色图配准后的深度图。实验表明，本文的算法可较好完成深度图与彩色图的配准，为三维纹理重建提供了基础。