张竟雄 赵宜友

摘要：普通全景设备拍摄的图像往往失真严重，运用全景图像拼接的技术，把两幅或多幅具有一定重叠区域的图像进行合成可以有效解决这个问题。本文介绍了全景图像拼接技术的一般流程，对柱面和球面图像的拼接进行了介绍，对图像拼接的两个关键阶段：配准和融合中的一些算法进行了介绍，分别总结了它们比较适用的场景和自身存在的不足，最后对全景图像拼接技术未来的发展进行了展望。

关键词：图像拼接;图像配准;图像融合;全景图像

中图分类号：TP3           文献标识码：A

文章编号：1009-3044（2021）27-0107-02

普通的全景设备所得图像往往失真严重，全景图像拼接的技术正是为解决这一问题而产生。全景图像拼接包括配准和融合两个关键阶段。首先，通过一定算法从不同传感器所拍摄的彼此间有一定重叠的多幅图像中提取出特征集合，然后选择合适的搜索策略对不同图像中所提取的特征进行相似性度量，找出对应点，计算两幅图像之间的最佳变换模型，使得不同图像中的对应点在空间位置上对齐，再以一定策略消除拼接后由于不同的成像角度、光照条件及摄像头自身因素造成的模糊、鬼影、缝隙等现象，可获得清晰的大视角图像。目前，全景图像拼接在诸如医学诊断、视频监控等计算机视觉的很多领域发挥着重要作用。

全景图像拼接的研究由来已久。2004年，Szeliski[1]对图像拼接中的各种关键技术进行了比较全面的介绍。2007年，Brown等[2]通过检测图像中具有尺度不变性的特征，可于多张无序的图像中自动寻找对应关系拼接输出全景图，取得了很好的效果。

1 全景图像拼接的种类

全景图像拼接既包括普通的二维图像的拼接，又包括环形全景拼接和球形全景拼接。环形全景拼接是指将图像拼接到一个圆柱形的表面;球形全景拼接是指将图像拼接到一个半球的表面。不同于普通二维图像的拼接，环形或球形全景图的拼接首先需要将平面图像通过一定的數学关系投影到一个以固定视点为中心的相应曲面上。

彭红星等给出了原始二维图像与柱面投影的平面展开图对应像素点的坐标对应关系，假设平面图像和一个半径等于相机焦距的投影圆柱体的表面相切，视点为圆柱中心，可以得到平面点再圆柱面上的投影点坐标。

同柱面全景图像相比，球面全景图像可以覆盖更大的空间范围，可全方位感知周围环境。原始图像向球面投影需要知道原始每幅图像所对应的拍摄方向（相机绕光轴的转角）和二维平面图到球面的投影模型。由拍摄方向可知该图对应的相机坐标系位置，然后用一个球面投影的模型来找到对应的三维相机坐标系中点在球面上的位置。可用一个旋转矩阵R来表示拍摄方向的参数模型，R有很多种表示方式，常见的用于球面拼接的旋转矩阵表示方法有坐标轴夹角法、四元组法、方向角法等[3]。知道了拍摄方向，通过球面投影公式可得平面像素点对应的球面坐标，所有二维像素点的球面坐标组合在一起即可获得球面投影的图像。李晓辉等给出了一种平面图像到球面的投影模型，其中球面坐标用（r，θ，φ）来表示，分别代表球的半径、球面点与竖直方向的夹角以及水平方向的转角。

投影过程中，像素坐标映射后的结果可能不是整数值，这时需要用到插值的技术，插值的方法有最近邻插值（寻找投影点距离最近的点）、双线性插值（投影点周围的四个点进行线性加权）和高阶多项式插值法等不同种类。

2图像配准

2.1 基于区域的图像配准

基于区域的图像配准方法比较两幅图像不同区域的统计信息实现配准，有互相关和互信息两种比较经典的算法，另外还有归一化互相关、归一化互信息、交叉熵等各种方法。实现简单，不需要提取额外特征，只用到了两幅图像的一定区域的统计信息，但是计算量比较大，鲁棒性较差，适用场景较少。

2.2 基于变换域的图像配准

基于变换域的图像配准通过在频域中配准并将计算结果映射回空间域。相位相关法、快速傅里叶变换等方法利用傅里叶变换的平移不变性，通过检测频率域中相位的平移来检测空间域中对应的像素移动，可以实现具有平移关系的图像配准，但是对具有旋转、缩放关系的图像配准并不适用，因此应用场景较为有限。Reddy等对相关法进行改进，用对数极坐标变换结合相位相关的方式将旋转和缩放关系都转换为平移关系，但仍要求两幅图像间有较大的重叠度。

2.3基于特征的图像配准

Harris算法通过计算像素像素邻域梯度判断角点，具有光照、旋转和平移的不变性，不具有尺度不变性。FAST、SUSAN等算法比较当前点与附近的一个圆形邻域点的灰度差异判定特征点，操作相对简单，实时性较好，但是对尺度和旋转等变化的自适应性不是特别理想，在检测阈值的设定方面比较烦琐，易受噪声影响。SIFT算法由Lowe提出并进行了完善，不受光照、旋转以及尺度变换影响，在图像高斯差分金字塔的不同层进行比较提取特征并最终将特征描述为128维向量，计算量较大但精度高于其他特征提取算法。出现了很多在SIFT基础上的改进版本，如ASIFT、GSIFT、CSIFT、PCA-SIFT等。Bay等提出了SURF算法，对SIFT算法的主要改进为通过Haar小波响应以及积分图来计算特征矢量，提升了计算速度但精度有所下降。Rublee等提出了ORB算法，使用优化后的FAST特征检测算法和BRIEF描述符，计算速度也有了大幅提升。2020年，一种新的特征描述符：BEBLID被提出，其匹配精度优于ORB算法，同时运算更快。

2.4基于深度学习的图像配准

近年来，随着深度学习技术的发展，深度学习也被应用在图像配准领域。运用深度学习的方法可进行特征点检测、特征描述符的学习或者计算两幅图像间的单应性变换矩阵等，寻找最优变换参数等。很多时候会优于传统方法，但缺点是需要大量数据支持。