许 殊 谭爱红 秦梓杰

1武汉大学遥感信息工程学院，湖北 武汉，430079

2中国科学院空天信息创新研究院，北京，100094

3扬州市职业大学机械工程学院，江苏 扬州，225009

航空影像密集匹配旨在为由原始影像及经检校和空三获得的内外方位元素生成的核线像对重叠区域中每个像素确定同名点。其结果可用于数字表面模型（digital surface model，DSM）、数字正射影像图（digital orthophoto map，DOM）等传统测绘产品的生产。此外，相较于激光雷达（light detection and ranging，Li DAR），密集匹配生成的点云具有色彩、纹理，点云密度高，是三维城市重建的重要数据源［1］。

密集匹配通常有代价计算、代价聚合、视差选择或代价函数优化、视差精化4个步骤［2］。依据光滑假设的使用方式，密集匹配方法分为局部方法、全局方法。一般全局方法速度慢，但效果优于局部方法［3］。

局部立体匹配方法一般在代价聚合阶段隐式使用光滑假设。由于已经隐式考虑了光滑约束，其优化过程退化为赢家通吃（winner take all，WTA）［4］。针对原始匹配代价，局部立体匹配方法假定围绕待匹配点的某种窗口中的视差满足一定条件，选择相应滤波手段，消除可能存在的一些噪声。具体方法主要分为两大类［5］：聚合窗口的选择方式、聚合窗口内权重确定方式。对于矩形聚合窗口，可以通过变换窗口大小或者偏移［6，7］、使用多窗口［8］、自由变换聚合窗口形状［9⁃11］来实现聚合窗口的选择。值得一提的是Patch⁃Match算法［12］，首先为每个像素点随机生成初始法向量；然后利用视、空间、时序等多种传播过程优化每个像素点对应的法向量；最后进行视差、法向量精化。最小二乘匹配［13］在密集匹配中的应用解决了最小二乘初值问题，并在后续优化中使用了稍有差别的方法。PatchMatch衍生出许多改进方法［14⁃17］。另一大类方法通过改变聚合窗口内每个像素的权重来提升聚合效果，其本质是赋予不满足窗口所使用假设的像素更低的权重［18］。其首见于文献［19］，它通过双边滤波的方式确定窗口内权重，即依据距离中心像素的距离和与中心像素颜色距离来确定权重。此外也有测地线距离定权［20］、引导滤波定权［21］、利用空间通道可靠性定权［22］等方法。利用多尺度信息［23⁃25］、分割信息［26］辅助匹配也取得了相当不错的效果。航空影像对应的地面结构相对复杂，幅面一般较大。为更好地处理大像幅航空影像，并在深度不连续处获得较好的结果，本文提出了一种改进的基于引导滤波的快速密集匹配方法——基于Census测度的快速引导滤波匹配（fast matching with Census cost and guided fil⁃ter，FCG），旨在提高匹配效率和匹配正确性。

1 基于引导滤波的快速密集匹配方法

1.1 Census代价

本文使用具有一定抗差能力的Census测度计算匹配代价。具体过程如下：①针对以目标点和待匹配点为中心的目标窗口和搜索窗口内的像素，根据其与中心像素的灰度关系进行二值编码；②对两编码串按照式（1）计算Hamming距离作为代价：

式中，C(i，l)为i像素视差为1时的原始代价；Cr(·)为r×r阶的Census特征；I、I′分别为左右灰度影像；i、il分别为左影像i像素及视差为l时在右影像上的对应像素；h(·，·)表示Hamming距离。

1.2 候选视差序列的确定

影像上的视差分布并不是简单的均一分布［27］，考虑到计算全部候选视差的方法效率低，且匹配解空间过大会引起匹配错误，本文首先将稀疏匹配获得的尺度不变特征变换（scale⁃invariant feature trans⁃form，SIFT）点对［28］转换到核线影像坐标系下，在使用核线约束对其进行检查后，统计其视差分布情况。此外，对原始影像按规则格网进行分块，对其使用相关系数进行匹配，并记录通过左右一致性检查的格网点的视差分布情况。统计上述两种来源的视差出现次数之和，并按每一个视差在匹配结果中出现的频次降序排列，选择前30%的视差作为候选视差序列。

1.3 基于快速引导滤波的代价聚合

对应某个视差的代价影像是在给定一个视差值的情况下，将每个像素依据当前视差计算得到的代价作为灰度值记录在对应像素位置上所生成的影像。将引导滤波应用于代价聚合就是将左核线影像和代价影像分别作为引导影像和参考影像，依据窗口内的均值、方差计算滤波的加性系数和乘性系数，以此求得滤波代价，代价聚合计算公式如下：

式中，Cjl为j像素在视差为l时的原始代价；Cil′为j像素在视差为l时聚合后的代价；G为引导影像；Wij为j像素对于中心像素i的权，可写成：

式中，|ω|为归一化系数，即窗口ωk中的像素数；Ii、Ij分别为引导影像上i、j像素的灰度；μk、分别为引导影像I在窗口ωk中的灰度均值和方差；ε为光滑系数。

为加快计算速度，其实际计算公式为：

式中，qi为输出影像上i像素的值；ak、bk为由参考影像计算出的线性变换参数，可表达为：

式中，pi表示参考影像上像素i的灰度值；为参考影像p在窗口ωk中的灰度均值。

由于参数变化较缓慢，本文先对原始影像降采样计算参数，再将其上采样到原始分辨率来加快计算速度。本文重复使用不变参数，首次计算后存留后用。

2 实验与实验结果

实验系统环境为Windows 10操作系统，8 GB内存，i7中央处理器（central processing unit，CPU），实验数据为由德国Vaihingen地区航摄影像生成的一对像素为2 200×1 400的核线影像以及Middlebury［2，29］数据集的Cones、Teddy像对。

表1展示了不同参数组合下FCG方法的处理时间。图1展示了样例区域原始影像及利用FCG方法在不同实验方案下得到的结果。较大的计算或聚合窗口的抗噪能力强，结果光滑，但消耗时间多。由于FCG方法优化了代价聚合，聚合窗口对时间的影响要小于计算窗口对时间的影响。

表1 FCG方法在不同参数配置下的处理时间Tab.1 Processing Time of FCG Method Under Different Parameter Configurations

图1 不同参数视差图Fig.1 Disparity Images of Different Parameters

本文将FCG、基于梯度颜色差代价的盒状滤波匹 配（matching with gradient and color difference cost and box fiter，GB）、基于梯度颜色差代价的引导滤波匹配（matching with gradient and color difference cost and guided fiter，GG）、Census测度盒状滤波的匹配（matching with Census cost and boxing filter，CB）、基于Census测度引导滤波的匹配（matching with Census cost and guided filter，CG）、Local Ex⁃pansion（LE）［30］、倾斜平面光滑立体匹配（slanted plane smoothing stereo，SPSS）［31］方法进行对比。参数设置见表2。

表2 对比实验参数设置/像素Tab.2 Parameter Setting of Contrast Experiment/pixel

原始影像及不同方法获取的结果见图2。其中，蓝色方框中楼房边缘深度不连续和遮挡区的局部放大图见图3，红色方框中视差倾斜变化和纹理重复区的局部放大图见图4。

图2 原始影像及不同方法获取的结果Fig.2 Original Image and Images Obtained by Different Methods

图3 图2中蓝色方框局部放大图Fig.3 Local Enlarged Images of Blue Boxes in Fig.2

图4 图2中红色方框的局部放大图Fig.4 Local Enlarged Images of Red Boxes in Fig.2

由图2可知，FCG方法获得的视差图较为光滑一致，没有明显的噪声或大面积错点，且能较好地保留物体深度不连续的结构。观察红框区域，发现FCG在重复纹理、视差倾斜变化区表现较好。在淡绿色箭头指示区域，GB、GG方法表现出杂乱的视差变化，CB出现了明显的噪声点，而FCG、CG、SPSS、LE方法在此区域均表现优秀。观察蓝框区域可知，GB、CB在深度不连续区域表现不佳，其视差变化未能与边缘保持一致。观察黄色箭头区域，其结果呈现一定扭曲，将使重建房屋扭曲变形。而GB、GG在该区出现了明显亮点，意味着结果中有大异常值，后续生成的三维点云里将会出现飞点。GB、CB方法在全片上还出现了大量错点，而FCG、GG、CG方法表现优秀。FCG、CB、CG方法比GB、GG方法在左上角纹理重复区表现更优。SPSS与LE在上述位置表现优秀，但LE在粉色箭头指示区出现了视差异常线，SPSS在黑色箭头指示区赋予房屋边缘与地面阴影相同的视差。相较于各类局部算法，FCG结果更优，其结果和LE与SPSS相比并未有太大质量退化。

各方法用时见表3，FCG快于GB、CB方法，比CG快约97%，且其明显快于LE、SPSS，其耗时约为LE的0.4%，SPSS的1%。

表3 不同方法的处理时间Tab.3 Processing Times of Different Methods

由于航空影像缺少评价结果的真值，本文使用Middlebury测试数据集中的Teddy、Cones像对评价算法的正确性。虽有区别，但其结果仍可部分反映匹配质量。正确匹配为计算所得视差与真值视差之差小于一个像素。计算结果见表4，可以看出，FCG效果和原始方法接近，与半全局和全局方法大体相当。

表4 不同方法在Middlebury数据集Cones、Teddy像对上的正确率/%Tab.4 Correctness Matched by Different Methods of Cones and Teddy Image Pairs in Middlebury Dataset/%

3 结束语

针对航空影像场景复杂，幅面大的特点，本文提出了一种快速并在重复纹理、深度不连续处表现良好的基于快速引导滤波的密集匹配算法。相较于其他局部匹配方法，该方法速度更快，在深度不连续、重复纹理处匹配质量更好；相较于半全局方法和全局方法，该方法在保证匹配质量与其相当的同时，速度上有明显优势。