张春玲，赵训威，王志刚，吴 冰，刘冬晖，范永学

（1.国网信息通信产业集团有限公司，北京 100052；2.国网浙江省电力有限公司经济技术研究院，浙江 杭州 310020；3.北京国电通网络技术有限公司，北京 100107）

0 引言

电网勘测领域中，在电网建设前期需对变电站选址、输电线路杆塔及线路走向等进行实地勘测和测绘，结合地形地貌等地理信息进行规划，同时要避开军事、密集建筑、地质灾害频发等特殊区域。传统的勘测作业方式多依赖人工赴野外现场进行反复测绘及调查，很多地区交通不便、环境恶劣且容易受到极端天气影响，导致人工勘测作业效率低下，且给作业人员带来一定安全风险隐患[1]。

随着卫星遥感、空间科学等技术的不断发展成熟，通过卫星遥感挂载传感器采集地面信息已广泛应用在军事、农业、环保、矿业以及电力等诸多行业。由于卫星遥感技术不受地理和环境约束，获取信息便捷，可大范围采集地形地貌等测绘信息，通过卫星挂载多个传感器，可高效率实现多种多源遥感数据采集和地形地貌特征分析[2]，如：挂载全色相机采集全色影像数据（Panchromatic image,PAN）能较好地获取地物信息丰富、纹理和几何特征明显的灰度图片[3]；挂载多光谱相机采集多光谱图像（Multi⁃spectral image,MS）常用于突出如植物覆盖、水岸沿线等特定地物和目标[4]；挂载高光谱相机可采集高光谱图像（Hyperspectral image,HS）能较好地进行地物的识别分类[5]；通过挂载多孔径雷达可采集合成孔径雷达（Synthetic Aperture Radar,SAR）图像，可对存在类似铁路、铁塔等低分辨率的地物和带介电特性目标的图像进行有效分析[6]。因此，采用卫星遥感技术实现多源数据采集，已成为电网勘测的一种有效辅助手段。

由于这些数据来自多源，技术原理各异，图像的分辨率和尺寸各不相同，且波段、光谱等信息不同会导致对地形地物特性分析能力也各不相同，如全色图像波段单一且光谱信息缺失[7]。因此，研究如何通过信息化技术手段将上述多源遥感数据进行融合，通过将不同成像模态的信息融合在一起，生成一幅信息丰富、质量高的图像，已成为一项技术研究方向，融合后的图像可通过互补信息来更加全面地描述场景，更为清晰地分析地物地形地貌，也更好地为电网勘测选址选线提供辅助决策依据[8]。本文以常用的PAN、MS、HS 图像为融合研究对象，设计并提出一种基于AI 人工智能的深度学习网络，采用统一融合策略将不同光谱和空间属性的三种遥感源数据进行有效融合，生成具有精确光谱信息和清晰空间细节的高分辨率HS 图像[9]。

1 AI 融合技术及其研究

1.1 相关技术介绍

图像融合是理解图像和计算机视觉领域非常重要的一种技术，按照融合理论可分为像素级融合、特征级融合和决策级融合三种类型[10]，如图1 所示。

图1 数据融合技术路线图

1）像素级融合是一种低水平融合，它保留了尽可能多的像素信息，具有精度较高的优点，但也存在效率低、分析能力弱、抗干扰性差等缺点，常用的方法有：代数法、IHS 变换、小波变换、主成分变换（PCT）、K⁃T变换等。

2）特征级融合的融合水平为中等，主要工作难点在于将多源数据中的特征信息进行精确提取、分类，并将输出的特征矢量进行聚集和融合，最终生成涵盖了多个图像源中特征信息的新图像。

3）决策级融合的融合水平较高，其侧重分析能力，其融合的目的是为辅助决策和业务管理提供数字依据，融合时需要对特征提取及预处理进行充分理解和预设[11]。

本文所提方法归属于特征级融合，也是目前较为主流的研发课题方向。针对遥感数据PAN、MS、HS 三类的融合，鉴于卷积神经网络（Convolutional Neural Network,CNN）的优势，基于CNN 的融合近几年已被广泛开展研究和应用[12]。经调研，基于HS、MS、PAN 两两之间的融合多有研究，尤其是MS 和PAN 之间的融合研究较多，但基于三者之间的融合尚未开展充分研发，例如：文献[13]中提出一种可解释的空间⁃光谱重建网络FHM，该方法实现了HS 和MS 的融合，并较好地保留了光谱信息，但由于MS 的空间分辨率有限，融合后的HS空间分辨率并没有得到很大提高。文献[14]中提出一种基于HS 和PAN 融合的FHP 网络，可为PAN 提供更高的空间分辨率，但由于HS 和PAN 之间存在光谱和空间分辨率的巨大差异，容易出现一定的光谱扭曲问题。文献[15]中首先提出一种基于耦合非负矩阵分解的HSI、MSI 和PAN 融合方法FHMP，但由于需要手工设计融合参数，易导致融合效率及性能欠佳。

由此，本文基于人工智能卷积网络和注意力机制提出一种统一融合网络（Unified Convergence Network,UCN），将HS、MS、PAN 三者间的不同光谱和空间属性进行融合研究，三者融合的最终目标是生成具有精确光谱信息和清晰空间细节的高分辨率HS 图像。

1.2 关键技术研究

1.2.1 总体设计思路

本文主要思路为首先将MS 和PAN 进行融合，生成高分辨率的MS 图像，然后基于生成的MS 图像，再与源HS 进行融合，最终生成高分辨率目标HS 图像。本文所提出的融合网络构架主要包括三个模块：特征提取模块、特征插入模块、融合重构模块，如图2 所示。

图2 统一融合网络架构设计

具体融合设计如下：

1）特征提取模块由多个多尺度注意力增强（Multiscale Attention Enhance,MAE）卷积块（MAE ⁃Block）组成，用以提取MS 和PAN 中的空间信息。具体来说，通过采用多尺度卷积根据不同尺寸自适应地获取其局部结构特征，同时，采用光谱和空间的注意力机制实现特征在光谱和空间维度上的选择和增强。特征提取时，为更好地保留光谱信息，将通道和空间注意力单元按顺序嵌入到MAE⁃Block 中。

2）特征插入模块主要由特征细节插入（Feature Detail Insertion,FDI）卷积块（FDI⁃Block）构成，FDI⁃Block 包含提取出的空间和光谱特征流，并将MS 和PAN 空间特征细节按学习的关系及其密集连接的层注入到HS。

3）融合重构模块主要由重构（Reconstruction）卷积块（Re⁃Block）构成，通过Re⁃Block 在重建模块中生成最终的融合HS 图像。

由于以上三个模块是在整个统一融合网络（UCN）框架中实现的，因此建议使用总损失函数来训练本融合网络，以生成在频谱和空间质量之间具有良好平衡的期望HS 图像。

图2 中，将预期融合生成高分辨率的HS 表示为X。待融合的PAN、MS 和HS 分别表示为P、M和H。将MS和PAN 高频部分的空间特征信息注入到HS 中，可用公式（1）描述：

式中，↑H和↑M分别表示与P大小相同的上采样H和M；HM和HP分别表示用于从MS 和PAN 提取空间细节的高频算子；fM和fP分别是MSI 和PAN 的空间细节注入到HS 的学习网络。

1.2.2 网络架构设计

多源数据融合关键难点在于特征的提取，本文主要通过人工智能卷积网络中的注意力机制（Attention Mechanism）来对多尺度注意力增强网络MAE⁃Block 进行设计[16]，如图3 所示，MAE⁃Block 架构包含了通道注意力和空间注意力单元。在MAE⁃Block 卷积块中，首先将PAN 和MS 按照光谱维度连接起来，形成MAE⁃Block 的输入，即O（0）。为了自适应地提取不同尺度的特征，同时使用了3×3、5×5 和7×7 卷积核，并将获得的特征进行级联。然后，依次引入通道注意力和空间注意力单元，通过将获取的特征相乘以提高多尺度卷积核的级联结果的表示能力。具体地，用不同权重的有效特征对应注意力图，其中一个通道注意力图是通过沿着通道的池操作计算的。类似地，可通过压缩输入特征图的空间维度来获得空间方式的注意力图。特别地，在两个注意单元的乘法运算之前，分别增加了一个卷积层和一个激活函数来优化注意力图中的信道和空间权重。

图3 MAE⁃Block 网络架构设计

FDI⁃Block 旨在将从MS 和PAN 提取的丰富空间信息注入到HS，其网络架构设计如图4 左侧所示，首先利用具有密集连接层的两个流来保存空间和光谱特征。在每个流中，使用三组卷积层和非线性激活函数ReLU来提取浅表示域和深表示域中的重要信息。同时，空间流中的特征被单向地插入到每个组的光谱流中，从而增强了从MS 和PAN 到期望结果的空间特征细节的传递。RE⁃Block 网络结构设计如图4 右侧所示，其通过3×3 核的两个卷积层将FDI⁃Block 输出进行重构并得到了融合后的HS。需要注意的是，除了MAE⁃Block 中的最后一层注意力单元之外，所有卷积层都使用ReLU 作为激活函数，因为其在梯度的反向传播和非线性表示中更具有优势[17]。

图4 FDI⁃Block 及RE⁃Block 网络架构设计

1.2.3 损失函数

通过在本文中结合空间注入和频谱保留的预设目标，本文相应地为统一融合网络（UCN）设计一个总损失函数，如下所示：

式中：λ为平衡两个损失项的参数；L1可视为强度损失项，主要为保证融合结果与参考图像的光谱相似性，基于融合结果和参考图像之间的空间结构的一致性约束而引入的损失项。为保留光谱特征，通过在损失函数中使用L1，很好地保留了图像的强度分布和边缘特性，L1公式如下所示：

在仅使用强度损失项L1的情况下，会引入一些模糊的局部细节，为在训练过程中保持高频区域的对比度和纹理细节，生成光谱信息准确、结构纹理美观的融合图像，引入了多尺度结构相似性（MS⁃SSIM）损失函数LMS⁃SSIM，可直接关注2 幅复杂结构图像之间的结构变化：

MS⁃SSIM(，F)计算公式为：

式中：j表示尺寸；l(,F)、c(,F)、s(,F)分别为亮度、对比度和结构因子。具体细节可参考文献[18]。

2 实验与应用情况

2.1 实验情况

1）实验设置。为对本文所提出的UCN 与前述提及的几种典型融合方法FHM、FHP 和FHMP 进行融合性能比较，分别采用一组卫星真实数据进行实验研究。实验采用TensorFlow 框架，服务器配置为：Intel Xeon Core 3.70 GHz 的CPU，GeForce GTX 2080Ti GPU 显卡，以及11 GB 内存。实验数据来自于在一组由2 个卫星采集山西城区同一地区的真实数据，其中采用了A 卫星采集的HS 图像，B 卫星采集的MS 和PAN 图像数据，HS 尺寸为2 136×2 165×246，MS 尺寸为10 680×10 825×4，PAN 尺寸为32 036×32 467。同时，本文选择5 项指标进行融合性能评价，包括平均平方误差（Root Mean Squared Error,RMSE）、图像品质指数（Universal Image Quality Index,UIQI）、平均结构相似性（Mean Structural Similarity,MSSIM）、失真度（Degree of Distortion,DD）、光谱角制图（Spectral Angle Mapper,SAM）[19]。

2）实验结果。在本实验中，从A 卫星的HS 图像中去除了未校准及含噪声的频带，留下246 个频带，并从采集的HS、MS 和PAN 中获得了尺寸分别为760×1 520×246、3 800×7 600×4 和11 400×22 800 的子图像用于实验，其中空间分辨率比为1∶5∶15。将HS、MS 和PAN 数据的前80%裁剪到训练数据集中，并将剩余部分用于实验的测试样本。具体地，用于HS、MS 和PAN 训练数据尺寸大小分别为8×8×246、40×40×4 和120×120，测试数据尺寸大小分别为32×32×246、160×160×4 和480×480。融合测试后的可视化效果如图5 所示。其中，图5e）为原始可见光图像。

图5 融合实验效果对比图

FHP 融合后的效果参见图5a），通过采用120、50 和10 波段生成了假彩色图像，FHP 融合效果较为模糊不清；FHM 融合后的效果参见图5b）所示，显示效果较FHP 稍有清晰，但空间细节不清楚，且存在块变形的现象；FHMP 融合后的效果参见图5c）所示，图中许多区域存在一些不正常的蓝色光谱信息；本文所提出的统一融合模型融合后的效果参见图5d），与前述效果比较，其在空间和光谱质量之间实现了良好的平衡。可见本文所提出的方法融合图像效果最佳且最接近参考真实RBG 图像。融合效果的定量评估情况如表1 所示，本文所提出的统一融合网络（UCN）与其他三种典型方法相比较，5 项评价指标均为最好。由此可见，本文所提出的统一融合网络的融合效果最好。

表1 融合实验指标效果表

2.2 应用情况

通过上述研究可见，本文研究成果具备较好的融合效果，后续可利用其丰富的空间及光谱信息，更好地识别地形地物地貌等信息，为电网勘测领域业务应用发挥有效的作用。

1）勘测设计阶段线路选优。图6 所示为勘测设计线路优选示意图，设计人员通过对卫星遥感图像采用本文所述方法进行融合处理，结合电力选线参数对地形地貌、地面交通、植物覆盖、地质灾害等情况进行综合分析。对建筑物及人口密集区、旅游景区、军事区、机场、矿场等特殊区域，需进行选线规避。选线优化时，还需考虑地质是否满足稳定条件、交通运输是否方便、路径是否相对其他方案最短等条件，最终形成最优选线方案。融合后的光谱特征信息能更好地识别地质特征，便于设计人员选线时更好地避开地质灾害区域[20]。

图6 线路选优示意图

2）勘测设计阶段变电站选址。图7 所示为勘测设计变电站辅助选址示意图，结合遥感图像、已有变电站站址和线路数据，对站址的周边地形地物进行分析识别，从而进行备选站点的选址。

图7 变电站辅助选址示意图

具体选址时，可根据本文提出的方法进行地形地物地貌有效识别，并综合以下几点进行考虑：

①地形满足平坦条件，避开山坡等地形；地质条件稳定，无山体滑坡或塌陷隐患。

②避开旅游风景区、军事区、自然保护区等特殊区域。

③减少耕地占用及房屋拆迁数量，节约用地。

④结合提升周边经济发展、国民生活质量、城市发展水平、工农业发展综合考量设计。

⑤交通运输方便。

3）量测断面和优化排位。图8 为量测断面和优化排位示意图，设计阶段对每处塔位的选址设计需重点考虑其稳定性，避免存在山地滑坡或塌陷等风险。采用本文研究成果将全色图像与多光谱图像进行融合，可对塔位周边的地质情况进行分析，有效避开地质灾害隐患。同时，融合后的图像可生成断面图，设计人员可更好地对杆塔进行排位优化，并可对选线线路路径可行性进行更好的分析。

图8 量测断面和优化排位示意图

3 结语

随着卫星遥感技术持续发展，应用领域也越来越广泛。通过多源遥感数据进行融合，已获取更精确的光谱信息和清晰空间细节的高分辨率的高光谱图像，提供更为精细化及准确的地形地貌地物特征识别，可作为较好的辅助测绘有效手段。基于此，本文提出一种基于人工智能卷积网络及注意力机制的统一融合网络。通过网络中所设计的特征提取模块、特征插入模块、融合重构模块，先将MS 和PAN 进行融合，生成高分辨率的MS 图像；然后基于生成的MS 图像与源HS 进行融合，生成最终的高分辨率目标HS 图像。实验结果表明，本文研究成果相比当前典型的FHP、FHM、FHMP 方法具备更好的融合效果。最后，结合电网勘测应用领域业务情况提出了研究展望，本文研究成果可在勘测设计阶段线路选优、变电站选址、量测断面和优化排位等方面发挥更有价值的作用。

未来，计划研究进一步提高本融合网络的泛化性，使之能更好地或更为低成本高性能地融合其他类型的遥感数据；同时，也计划结合无人机的采集数据与星载数据进行融合研究，对某些勘测区域，可以通过无人机辅助采集的方式进行补充，将电网勘测数字化手段进一步进行扩展。