空间海量异构遥感数据快速筛选和智能技术

2021-09-01王海红魏祥泉田雪颖

载人航天 2021年4期

王海红，魏祥泉，田雪颖，张强，陈超

(1.北京跟踪与通信技术研究所，北京 100094； 2.上海宇航系统工程研究所，上海 201109；3.大连交通大学，大连 116028； 4.上海卫星工程研究所，上海 201109)

1 引言

航空航天技术的持续发展催生了遥感数据应用的不断扩展。遥感数据主要包括航空数据和卫星数据，蕴含着大量的地物信息，为各领域研究提供了数据前提。极大丰富的异构遥感数据需要同时配合北斗卫星导航系统才能得到更好地应用，以提高后续特定控制操作指令的准确性[1－3]，而遥感数据的图像处理主要面临集成化低、智能化不足、异构数据利用率低、同步化慢的问题。集成化低体现在设备分散、处理思路复杂，将海量异构遥感数据与地理位置信息的集成化是遥感数据快速筛选识别技术进一步发展的必要条件；智能化提高会使识别分类精度更加准确，可以通过增加人机交互的多种操作方式来实现；利用数据特征融合手段可以改善异构数据利用率的问题，在现有静态数据成功实验的基础上增加动态化数据是实现同步化的基础，实时性与同步性的优化会极大地拓宽实用面。

近年来国内外研究人员对海量异构遥感数据的研究力度不断加大，主要方向有利用地形地貌遥感数据进行工程地质研究、水位检测/海洋湖泊生产力的研究和探测环境变化对气温的影响等[4]。

王艳等[5]提出了通过超分辨复原生成对抗网络(Super-resolution Reconstruction Generative Adversarial Networks，SRGAN)实现图像超分辨率重建(Single-Image-Super-Resolution，SISR)，在包括测试船舶本体的多个训练集中进行训练，采用AlexNet 网络进行分类检测，采用RetinaNet 网络进行目标识别，完成相应的船舶本体识别，但其识别种类受限；栗旭升等[6]提出了通过建立三维卷积神经网络(3D Convolutional Neural Networks，3D-CNN)和残差网络(Residual Network，ResNets)融合的三位残差卷积神经网络，在一定程度上减少了网络深度误差，但训练效率也受到了一定影响；Shakya 等[7]成功研发出一种基于结构化图像分析的算法模型，并提出了一种能够自动识别有改变图像的处理技术，但对遥感数据的结构化较为困难；Menefee 等[8]提出一种可以把通过小波变换获取的信息集成到神经网络分类器的方法，但对实际大尺寸高分辨率数据而言，计算量过大，对硬件设备要求过高。

本文研究内容为异构数据融合与广域视野下的小型感兴趣区域态势识别，搭建基于Faster-RCNN 的改进多层卷积神经网络，对海量异构遥感数据进行快速筛选及目标检测，为战场环境感知提供更加智能的数据服务。将不同载荷获取的遥感图像数据分别输入通道特征提取层进行提取，在相同时域下使用Brovey 融合算法与G-S 融合算法相结合的图像融合方法进行同区域异构数据的融合，将融合数据输入反馈层与重构层，最终输出3 种波段数据及融合数据的特征；在广域视野中，搭建基于Softmax 分类器的区域建议网络(Region Proposal Network， RPN)，对筛选结果进行判别，并将错误数据集重新标注后，运用原神经网络对其进行迁移学习特征训练，完成特征库的更新，为海量异构遥感数据快速筛选和智能技术提供坚实的基础。

2 海量异构遥感信息预处理

2.1 多源异构数据组织模型

针对广域下海陆空环境中的目标物识别的研究需求，对多源异构数据的侧重也不同。遥感信息数据具有高分辨率、多谱段、多源等特点。根据实验数据来源，源数据波段主要包括海岸波段(Coastal)、蓝光波段(Blue)、红光波段(Red)、短波红外1 波段(SWIR1)、短波红外2 波段(SWIR2)和全色波段(Pan)，表1 所示为不同波段数据的波长范围、空间分辨率及主要用途。

表1 不同波段数据的波长范围、空间分辨率及主要用途Table 1 Wavelength range， spatial resolution and main use of different band data

图1 图像金字塔示意图Fig.1 Schematics of image pyramid

图像金字塔通过迭代的方式进行计算，在第一次迭代之前，把金字塔形式描绘的图像放在原始层级J层，迭代方式流程如图2 所示。

图2 图像金字塔迭代方式流程Fig.2 Iterative process of image pyramid

采用希尔伯特曲线对每层数据分块编码和管理，可提高数据分块的检索效率。图3 所示为希尔伯特曲线4 种邻接属性，分别以0 到3 标号，它们适用于每个象限及各个子象限、子子象限等。图4 所示为三阶希尔伯特曲线示意图，以图中坐标为(2，5)的29 号举例，第一层级采用0 号邻接属性，该点所在象限为1，对应(2>1，5>1)，则对应二进制01；第二层级采用1 号邻接属性，该点所在象限为3，对应(2<3，5>3)，则对应二进制11；第三层级采用2 号邻接属性，该点所在象限为3，对应(2<3，5>3)，则对应二进制01。把以上位置连接起来，得到二进制011101，即十进制的29。

图3 希尔伯特曲线4 种临连属性Fig.3 Four immediate attributes of Hilbert Curve

图4 三阶希尔伯特曲线示意图Fig.4 Schematic diagram of Third-Order Hilbert Curve

2.2 遥感仿真数据构建

遥感仿真数据的构建是对于现有真实数据集的补充，由于提供训练数据集较小，而构建深度学习所需训练集、测试集需求量大，针对这一问题进行数据仿真，实现对海量数据进行快速筛选的需求，解决并校核面对该需求所产生的一系列程序问题。

高分三号卫星是中国第一颗分辨率达到1 m的C 频段多极化合成孔径雷达(Synthetic Aperture Radar，SAR)卫星，具备大面积、全天候、全天时的对全球陆地及海洋进行监测与遥感监视的性能，可实现12 种成像模式下1～500 m 分辨率的遥感数据获取。本文仿真构建图片均选自高分三号卫星监测数据集，该仿真数据集是模拟遥感广域视野下微小目标物的捕获图像，图5 所示为陆地和海洋的遥感图片。对遥感数据集进行初步筛选，利用Matlab、Photoshop 等软件对背景以及目标物图片分别进行灰度化、尺寸化、格式化等预处理，目标物图片的处理需根据对应背景的分辨率以及灰度值等做出相应调节。图6 所示为仿真目标物，当飞机作为目标物时，以身长约为25 m，机翼约为25 m 的小型客机为仿真对象；当军舰作为目标物时，以舰长约为300 m 的航母作为仿真对象。

图5 仿真数据背景图Fig.5 Background map of simulation data

图6 仿真数据目标物图Fig.6 Object chart of simulation data

将背景与目标物结合进行运动仿真并逐帧保存结果。仿真构建基于Matlab 软件，利用差分法实现图片融合，主要运用绝对差值函数对图像部分提取后的灰度值数字矩阵进行相减，取绝对值，并将处理后的灰度数字矩阵与背景图片所对应部分的数字矩阵进行替换，得到其与目标物图片融合后的仿真图片，如图7 所示。以上述方法循环操作，通过对背景图片灰度值矩阵提取及替换位置的变化而达到目标物运动的仿真实验目的，再将每一位置变化后产生的融合仿真图片一一保存。

图7 遥感仿真数据结果Fig.7 Simulation results of remote sensing data

2.3 多源异构数据去噪

由于数据在获取和传输过程中的不确定性，后续特征提取及融合结果会受到各种干扰和影响，进而导致目标物识别精度降低。数据去噪为抑制数据噪声、改善数据质量以及后续更高层次的处理提供了强有力的保障。

常见噪声类型有高斯噪声、泊松噪声以及脉冲噪声等。高斯噪声通常由于传感器工作时环境光线不够或传感器工作温度过高而导致的亮度不均匀；脉冲噪声又称椒盐噪声，通常在传感器成像、向工作站传输或数据解码阶段会产生点状黑白噪点；泊松噪声是符合泊松分布的噪声模型，由于光子的不确定性，使得到达光电检测器表面的量子数目存在统计涨落而导致灰度波动。

综上，数据在各个阶段都有引入噪声的可能。数据去噪的方法主要有2 种:①空间域去噪，主要包括均值滤波、中值滤波和低通滤波；②变换域零去噪，主要包括小波变换、傅里叶变换等。根据任务需要，对比仿真数据，由于在实际应用中的真实数据为非平稳信号，因此选择短时傅立叶变换(Short-Time Fourier Transform，STFT)进行数据去噪。 STFT 可以把非平稳信号分解为一系列的短时随机平稳信号的叠加，通过使用窗口函数g(u)与原来的信号f(t)做积，实现了在窗口宽度值为u处的附近加窗和平移功能，然后对u值处进行傅里叶变换，如式(1)所示:

式中，g(t－u)为窗口函数，f(t) 为数据的原始信号，u为窗口宽度，ε为进行变换的频率。然后对得到的函数进行傅里叶逆变换，如式(2)所示:

对原始数据进行去噪处理，对比不同去噪方式，图8～10 所示分别为不同算子下高斯去噪效果、常见低通滤波去噪效果和不同窗口大小下STFT 去噪效果对比。选取数据去噪最优化结果，对图示数据而言，STFT 去噪方式较为理想。针对不同需求可选取不同窗口大小的STFT 去噪方式，利用类似2.1 节的图像金字塔技术，可大大提高图片检索效率。

图8 不同算子下高斯去噪效果Fig.8 Gauss de-noising effect under different operators

图9 常见低通滤波去噪效果Fig.9 Noise removal by common low-pass filtering

图10 不同窗口大小下STFT 去噪效果对比Fig.10 Comparison of STFT denoising effects under different window sizes

2.4 多源异构数据特征增强

为加强数据的特征，提升识别效率，进行数据特征增强，特征增强主要有空间域的增强和频率域的增强，空间域内的特征增强主要是直接对数据中各像素点进行处理，频率域内的特征增强主要是对数据进行变换后的频谱成分进行处理，在通过逆变换得到增强后的结果，具体分类如图11所示。

图11 数据特征增强分类Fig.11 Enhancement classification of data features

根据实验数据特征，选取直方图均衡化变换对数据特征进行增强。数据灰度统计直方图是一个表达函数，表示了每幅图像的灰度等级与这个灰度等级的出现频率。数据的直方图反映数据的外观。其中偏暗像素点直方图组成的部分集中于灰度较低一侧；偏亮像素点直方图组成的部分集中于灰度较高一侧；低对比度数据直方图跨度窄且大多都聚集在灰度级的中间区域；高对比度数据直方图范围大且分布均匀。这样可以把灰度级的分布拉开，使灰度级层次明显、分布合理，增加了数据的对比度，使数据更清晰。直方图均衡化是在寻求一种灰度等级变换的关系，能够实现变换后，数据的各级灰度出现概率一致或接近。经过严密的数学理论推导，得出当累积分布函数作为变换函数时，可以得到灰度级分布均匀的数据。

多源异构数据特征增强采用直方图均衡化方法，本文分别采用adapthisteq及histeq函数进行变换，选取效果更好的数据进行后续更高层次的操作，图12、13 所示为2 种函数的增强结果，针对不同目标区域进行更优化选择。

图12 Adapthisteq 函数变换特征增强对比Fig.12 Enhanced contrast of adapthisteq function transformation features

图13 Histeq 函数特征增强对比Fig.13 Enhancement contrast of histeq function featurest

归一化处理包括灰度值归一及固定同时域及区域数据的宽高比固定，图14 为归一化灰度值后的数据对比。

图14 灰度值归一化Fig.14 Normalization of gray value

3 深度学习框架搭建

本文搭建TensorFlow 深度学习框架训练，如图15、16 所示，分别为遥感仿真数据及对应的深度学习框架模型示意图。给定像素点，第一隐藏层通过比较相邻像素的亮度来识别边缘，第二隐藏层搜索可识别为角和扩展轮廓的边集合，第三隐藏层可以找到轮廓和角的特定集合来检测特定目标物的整个部分，最后根据图像描述中包含的目标物部分，可以准确筛选出数据中存在的对象。

图15 遥感仿真数据Fig.15 Simulation data of remote sensing

图16 数据深度学习模型示意图Fig.16 Schematic diagram of in-depth data learning model

搭建基于Faster-RCNN 的改进多层卷积神经网络结构，设置多层卷积层和池化层，均衡正负候选窗口比例。理想状态下，区域生成网络(Region Proposal Network，RPN)正负候选窗口的比例是1 ∶1，但在遥感数据训练的实际情况中，由于通常在训练中选取的样本数较大，这个比例极易失常，正候选窗口数量少会导致漏检率较高。本文在对正负候选窗口的比例进行限制限制，设置负样本数量不得超过正样本的1.3 倍，发现建议区域的召回率可以提高3.8%。除此之外，本文在多层卷积神经网络中引入了级联RPN，设置2 个标准的RPN，第一个RPN 用滑窗得到的建议区域作为候选窗口，第二个RPN 用第一个RPN 输出的Proposal 作为新的候选窗口位置，图17 所示为改进部分的具体网络结构。

图17 改进部分多层卷积神经网络结构Fig.17 Improved structure of partial multilayer CNN

图18 为后续数据识别流程，在完成上述处理后，继续进行训练学习，识别出基于Softmax 分类器的区域建议网络结果。由于对目标物准确度要求极高，操作者需要目视选定ROI，并对输出结果进行准确性判定和完成后续控制指令操作。

图18 后续数据识别流程Fig.18 Flow chart of the follow-up data identification

如图19 所示为6×6 原始数据单通道数据卷积过程，滤波器在数据上滑动，对应位置相乘求和，卷积先将滤波器翻转，使用变换后的滤波器进行运算，图中位于(2，2)的原始像素点3 处在经过3×3 的卷积核卷积后，得到输出像素点为2。

图19 单通道数据卷积过程Fig.19 Convolution process of single channel data

假定图像为6×6×3 的三通道特征数据输入神经网络，多通道卷积过程如图20 所示，通道数为3，卷积核为两个3×3×3 的滑动窗口，自左向右、自上向下三通道对应位置相乘求和，输出结果为4×4×2 的特征数据。一般地，当输入数据为a×b×n时，每个卷积核为m×m×n，输出全连接层的数据与卷积核数n相等。

图20 多通道数据卷积过程Fig.20 Convolution process of multi-channel data

图21 所示为三通道特征提取流程图。首先，用3 层特征提取层分别提取3 种多源异构数据的特征；其次，提取特征后的数据输入至反馈层，反馈层由纵横交叉注意模块(Criss-Cross Net，CCN)和深度反馈模块(Deep Feature Net，DFN)组成，纵横交叉注意模块可以极大节省特征提取的时间，快速得到目标物临近像素点的特征；深度反馈模块包含反馈交互模块(Deep Feedback Interaction Module)和特征交互模块(Feature Interaction Module)。重构层通过依次反卷积操作和卷积操作，对经过反馈层后输入的特征信息进行重构，使其得到更好的特征表征能力；完成重构层操作后，将特征信息输入全连接层。

图21 三通道特征提取流程图Fig.21 Flow chart of three channel feature extraction

4 多源异构数据融合

同一时域和区域下的多源异构数据存在信息冗余。通过数据融合生成的特征相互补充，集成到一个融合数据中，可以实现对同场景下更精确、全面、可靠的特征描述。本文针对不同遥感平台获取的异构遥感图像，主要包括红外光、可见光和灰度图，提出了Brovey 融合算法与G-S 融合算法相结合的图像融合方法，该方法从源图像中将目标或感兴趣区域的特征信息提取出来，进行分析、处理与整合，从而得到融合后的图像数据特征。对融合后的特征进行目标识别，其精确度明显高于原始图像的精确度。特征级融合对图像信息进行了压缩，再用计算机分析与处理，所消耗的内存与时间与数据级相比都会减少，所需图像的实时性就会有所提高。

本文采用的融合方法步骤如下:首先，抽选出一个低分辨率中的全色波段；其次，对抽选出的全色波段与多波段进行G-S 变换，其中全色波段被作为0 波段；然后，将源数据中的每个波段都乘以高分辨率数据与RGB 图像波段总和的比值，得到1 波段；接着，用1 波段替换G-S 变换后的0 波段；最后应用G-S 反变换得到融合图像。图22、23 分别为融合前的源数据和完成融合后的数据。

图22 融合前数据Fig.22 Pre-Fusion data

图23 融合后数据Fig.23 Fused data

5 实验结果

本实验以大量仿真实验数据训练为基础，首先将仿真数据集放入网络进行训练，根据数据分布相似性特征，用训练后网络对真实数据集进行迁移训练，以达到目标快速筛选检测目的，相似数据集也可达到同样训练效果，因此可用于对后续数据特征库的更新。

本文训练使用的数据集为连续多帧的点目标遥感数据，将完成第2 节预处理操作的数据集输入搭建好的多层卷积神经网络中。将数据的40%作为训练集、30%作为测试集、30%作为验证集，对数据库内的数据使用LabelImg 工具进行手动标注，将目标物标签化处理。图24、25 为2 类目标物标签标注，标签分别为fighter1 和missile1。