李维 刘勋 张维畅 阮宁娟

深度学习在天基智能光学遥感中的应用

李维 刘勋 张维畅 阮宁娟

（北京空间机电研究所，北京 100094）

面对观测任务复杂化、观测目标多样化的趋势，亟需发展观测水平更高、成像效能更优的空间光学遥感技术，而深度学习作为人工智能领域的研究热点，其在事件决策、图像处理等方面能力优越，已经被用于各类应用场景。文章从空间光学遥感技术目前存在的主要问题入手，说明深度学习在天基光学遥感中应用的必要性，提出深度学习的应用设想，特别结合深度学习的能力优势，重点介绍深度学习在天基智能遥感中的创新应用及相关技术的研究进展，最后对天基智能遥感技术未来的发展趋势进行了展望。

智能技术 深度学习 虚拟样本 自动生成 全光学 航天遥感

0 引言

航天光学遥感技术发展迅速，近几年取得了令人瞩目的成就。随着遥感数据量的不断增加及遥感观测任务复杂度的显著提高，应用人工智能技术赋能空间光学遥感技术成为航天领域的研究热点。国内外研究人员先后开展了光学遥感影像智能化处理、遥感目标分类识别与信息提取等工作，并针对智能光学遥感的在轨实现与应用进行了逐步研究。本文面向在轨应用，在梳理天基遥感对人工智能的需求基础上，提出深度学习技术在天基遥感中的应用设想，详细介绍了虚拟样本自动生成技术、在轨像质状态智能监测补偿技术与全光学深度神经网络智能遥感探测技术，为天基智能遥感技术的发展与实现提供了创新技术途径。

1 天基遥感对深度学习的需求

空间光学遥感技术在国民经济建设中发挥着重要作用。在新型对地观测卫星不断涌现的同时，以应用为导向，天地一体化理念在遥感卫星系统的设计和制造中得到了充分体现[1]。空间光学遥感技术在努力追求更高空间分辨率、更高光谱分辨率和更高时间分辨率的同时，亦在向着更强的遥感数据获取能力、更快速的遥感数据应用能力的趋势发展，这些都标志着空间光学遥感即将迎来“数据爆炸”时代[2]。在这种形势下，亟需思考空间光学遥感技术的创新发展路径，逐步提升智能化水平。

第一，实现空间光学遥感系统智能建造与快速重构。面向大型精密光机结构在轨建造与维护任务，需要利用多类、多台空间机械臂或机器人在轨协同工作，完成超大口径空间光学遥感系统的在轨建造及后续维护；而在轨建造与维护面临的空间环境复杂，不确定因素多，这使得该项技术的实现难度大、风险高，需要建造与维护系统在复杂空间环境场景下具备精确感知、自主决策、协同控制与执行的功能，能够实现对多种大型复杂精密结构的智能装配、智能制造和智能诊断[3]。

第二，提升光学遥感卫星针对各类目标识别任务的自主决策调整能力。空间光学遥感系统具有既定的观测与成像模式，卫星在轨期间，遥感系统的成像谱段、分辨率、幅宽等核心指标的变化范围有限[4]。国土资源调查、自然灾害监测、生态环境保护等各类任务对卫星数据的需求不同，现有遥感卫星尚无法根据观测对象、观测任务和观测区域环境的不同，在轨对载荷参数指标做出实时优化和针对性调整[5]。

第三，解决光学遥感数据量快速增长与有效信息提取时效性较低的矛盾。相对不断增强的卫星数据获取能力，遥感数据的处理水平还相对较低。传统的“卫星数据获取—地面站接收处理—数据分发—专业应用”的模式需要将数据快速转换为信息，并实时或准实时地发送到不同层次的最终用户手里，无法满足未来高机动性、高应急性监测应用对高时效性的要求[6]。因此，光学遥感数据信息的实时处理、提取并下传，已成为未来遥感器设计的核心理念之一。

第四，增强空间光学遥感数据直接面向任务需求服务用户的应用水平。遥感卫星空间分辨率、光谱分辨率和扫描幅宽等成像性能不断提高，使得卫星遥感数据量以几何级数递增，但是遥感数据获取量和实际使用量之间存在巨大反差，数据使用效率较低[7]。而且，这些庞大的原始数据给卫星数据下传和地面处理设备带来巨大负荷[8]。另一方面，目前尚缺乏精度更高、更符合定量化专业应用要求的遥感数据，因此亟需提供面向任务需求、服务于用户的遥感数据[9]。

由上述分析可以看出，传统的空间光学遥感技术已经难以适应快速、准确、灵活的遥感数据获取和信息产品生产的需求，需要发展具有工作成像模式优化、信息生产和发送能力快速的智能空间光学遥感技术，将遥感卫星系统设计和地面信息处理的发展统筹考虑，这是该领域技术发展的一个重要前沿方向；同时结合用户需求与应用场景，不断提供图像品质更优、数据稳定性更强、时效性更快的光学遥感影像数据。

随着引领第三次人工智能热潮的深度学习技术的出现，其在各领域展现了良好的应用前景，特别是与大数据、图像相关联的技术领域，深度学习技术赋能效果显著。深度学习是一种有多层表示的特征学习方法，通过许多模型对于原始数据进行非线性变换，从而将其转换为一个对于源数据的深层次表达。深度学习中的转换足够多，就可以学习处理非常复杂的函数。深度学习是人工智能研究的核心问题，是使得计算具备智能化的根本途径，同时也是人工智能理论研究和实际应用的重要手段。近几年，大数据、云计算等信息技术给人工智能发展带来了新的机遇，而人工智能的发展也给新一代信息技术与工业各领域渗透融合提供了新的动力。因此，深度学习技术与航天光学遥感技术的结合是必然趋势，这将极大推动空间光学遥感技术的成像与自主处理能力，并全面提升空间光学遥感载荷的性能。

2 深度学习技术在天基遥感中的应用设想

目前，已经开展了深度学习在遥感领域的应用研究，光学遥感图像信息的处理速度与规模均有提高，但上述研究工作均属于面向地面处理环节，该技术在天基遥感中的应用尚处于空白[10]。相比地面数据后处理，天基智能遥感系统可实时获取目标信息，并及时生成信息下传到用户，这将对应用层面起到有效支撑。如图1所示，空间智能遥感系统可以实现对目标变化的检测，快速获取并提取目标信息，对动目标可进行跟踪及轨迹预测，将信息及时下传。

图1 空间智能遥感应用效能

为了达到上述目的，首先建立一套智能遥感载荷的总体设计方法，将任务需求、探测要素、探测手段立体耦合，动态规划多目标、多变量、多约束条件的载荷体系优化配置，并以此形成基于深度学习的智能光学遥感载荷自主设计及智能决策方法（如图2所示）。将任务应用的实际过程用合理的数学模型进行描述，通过添加约束变量条件，对自变量进行运算求解，输出最优设计结果；整个智能光学遥感载荷自主设计与智能决策的匹配优化过程，按照数学模型表述分为目标函数、自变量与约束变量三个部分，通过智能决策方法将三者联系起来，实现对任务应用过程的计算和推演；其中探测效果对应目标函数，通过构建目标函数，体现任务对载荷效能的要求；在目标函数中，设置自变量与约束变量；自变量是函数求解的值，在任务应用中对应智能光学遥感载荷的指标，如载荷光学系统口径及焦距、探测谱段、探测器增益、积分时间等；约束变量主要包括卫星平台约束、载荷研制能力约束等，实现对载荷设计与决策的合理性的有效控制。智能遥感载荷总体设计方法从探测效果出发，综合考量探测目标和卫星平台资源，对光学遥感载荷的总体设计进行全面优化，可用于对载荷类型、数量等重要信息做出快速决策，为我国光学遥感器研制提供一种新的合理可行的技术途径。

作为智能遥感载荷的大脑，智能算法是研究的重点。在基于深度学习的智能算法研究方面，还需不断提升图像解译技术的能力。采用图像分割、图像检测等方法，实现在一定约束条件下的关键信息识别与处理，从实时光学遥感图像中识别特定目标，提高目标识别的准确度及速度，为任务快速决策提供技术支撑。

遥感图像中动目标的识别问题本质上是图像分类问题，需要动目标识别系统提取不同类型动目标的特征，特征主要包括形状、颜色、纹理等[11]。另外，在实际场景中，动目标成像受姿态、光照等因素影响，表现出的特征不甚相同，需要动目标图像识别算法对上述因素具有一定的抗干扰能力[12]，算法流程如图3所示。空间光学遥感技术中对图像处理与信息提取的要求，主要集中在对低分辨率小目标的智能检测。目前，相关研究中直接采用自然场景图像深度学习模型的方法较多，这就需要加强面向光学遥感图像中小目标智能自主检测的深度学习网络架构设计，在保证多型超低分辨率目标高精度智能检测的同时，还应对深度学习网络架构进行轻量化处理；此外，还需具备快速获取关注区域中指定目标的数量和位置、完成图像到信息的转化、可同时下传图像与报文等功能。

图2 智能光学遥感载荷自主设计及智能决策

在支撑智能算法的嵌入式计算硬件实现方面，需不断发展高性能、低功耗硬件处理器，开展异构多处理器平台架构设计与软硬件协同优化设计。深度学习在航天遥感应用中的工程搭建，可分为训练和推断两个环节。训练环节通常需要通过大量的数据输入，或采取增强学习等非监督学习方法，训练出一个复杂的深度神经网络模型；推断环节指利用训练得到的模型，使用新的数据去“推断”结论，如在轨遥感载荷通过嵌入的深度神经网络模型，判断一张遥感图像中是否包含感兴趣的目标[13]。由于卷积神经网络参数量较多、计算量巨大，而仅仅依赖软件方式加速卷积神经网络，无法满足实时性和功耗要求，使得卷积神经网络无法在计算资源和存储资源都相对不足的在轨嵌入式平台上实现实时应用。

图3 遥感图像中动目标的智能识别

面向未来在轨智能遥感载荷研制，目前可选用的嵌入式计算平台有可编程门阵列（FPGA）和图形处理器（GPU）。FPGA的显著特点是高速流水特性，部分中间结果无需临时保存在主存储器，相应的对存储带宽的要求也随之降低；GPU最突出的就是其高并行计算能力，GPU较CPU拥有更多的处理单元，目前大多数深度学习硬件系统采用GPU进行加速。GPU、FPGA都是通用处理器，具有各自的处理优势，在星上人工智能硬件平台构建过程中，面对不同应用场景，单一处理器可能无法满足任务所需的处理要求，需要两种甚至是多种处理器组合，这些异构处理器的硬件连接、接口配置对整个系统性能的提升尤其关键。除此之外，考虑到要处理数据的海量特性及深度学习算法要求，还需要配备高速外部缓存。高速外部缓存与异构处理器、异构处理器之间的硬件连接，以及星上处理的可靠性、安全性等都对硬件处理平台架构设计构成了很大的挑战。

针对当前遥感卫星对于复杂环境下态势感知能力不足的问题，结合以上深度学习技术，一个切实的应用设想是开展基于普查、详查一体化相机技术体制的智能遥感载荷研究，通过智能图像处理对相机成像进行闭环控制，实现对特定目标的识别跟踪，设计思路如图4所示。该技术利用高分辨率窄视场、低分辨率宽视场两台相机构成普查、详查一体化的智能相机系统，该系统具有宽幅推扫搜索、定点凝视跟踪工作模式，并且可实现基于智能图像处理的相机闭环控制方式；利用星上图像实时处理技术，先通过宽幅普查相机搜索发现疑似目标，提取感兴趣目标候选区域，如图4（a）所示；再自主引导高分详查相机二维指向机构对疑似目标做识别确认和定位，高分详查相机对目标进行自动跟踪拍照，除了获得高分辨率的目标影像外，还可生成已识别目标的类型、位置信息、运动轨迹等有用信息，如图4（b）所示。该智能相机系统可对光学遥感卫星所获取的影像数据进行快速处理、提取有用的信息，并同时驱动相关的应用，实现如同人类大脑一样的感知、认知、判断及行为4个过程，并以此研制具备精确感知状态信息能力、成像参数自主可调的智能遥感载荷。

图4 智能一体化载荷设计构想

可以看到深度学习能够有效地和空间光学遥感技术相结合，有望实现全自主的智能光学遥感载荷。但是，由于深度学习对遥感样本数量、算法模型构架等方面的要求，仍有一些关键问题亟需解决。

1）缺乏规范化的包含指定目标的遥感数据训练样本库。作为一种典型的数据驱动方法，深度学习依赖于大量标记完备的数据。遥感数据虽然从总量上看是大数据，但是对应到具体目标和具体应用，可真正用于制作样本的数据很少，过少的数据量难以满足深度学习对大数据量的需求，无法达到高准确度的分类识别效果[13]。

2）现有在轨智能遥感自主识别系统研制思路，先是在地面通过大量遥感图像样本训练智能算法模型，再部署到智能载荷计算平台。由于在轨遥感系统的像差条件、图像传感器噪声特性、工作条件以及载荷硬件状态等都无法与地面状态完全一致，这将造成基于原样本所训练得到的算法在应用中出现偏差[14]。而且整条成像链路具有随机变化、随时变化以及无法人工干预的特点，这就需要地面根据接收到的实时在轨遥感图像数据，人工调节智能算法模型的参数，并上注天基计算平台，因此现有方法无法摆脱人工参与[15]。这使得智能遥感的自主特征无法发挥作用，同时也大幅降低了实时性，严重限制智能载荷的实际应用。

3）目前，深度卷积神经网络技术依托地面大型机群的支持，在航天遥感图像地面应用方面取得了长足的进步，但是智能遥感应用相比传统方法的颠覆性区别在于实时自主，天基在轨的实时智能应用是其发展的重要方向。而深度卷积神经网络技术的在轨应用受限于天基计算资源有限，虽然深度神经网络轻量化技术以及深度学习嵌入式计算平台的研究取得了一定突破，但基于传统电子的深度神经网络仍难以在有限功耗条件下发挥其全部能力[16]。与此同时，受半导体技术的物理极限和器件工艺瓶颈的限制，摩尔定律的增速也趋于缓和并面临失效，因此迫切需要发展新型的人工智能加速硬件来提升算力，并降低运算能耗以满足天基遥感智能化需求。

3 深度学习在天基遥感中的创新应用

3.1 面向深度学习的虚拟样本自动生成技术

深度学习需基于足够数目的样本，但由于现有目标在多种复杂环境背景中的样本数目有限，无法满足深度学习的基本要求[17]。高品质数据是实现智能自主识别的基础，因此，为了提高数据驱动建模的精度和适用性，基于现有小样本数据信息扩充有效数据量以满足建模数据要求是一项重要工作[18]。采用卫星遥感图像背景目标合成，以及生成对抗网络仿真渲染，实现可用于深度学习的多种目标虚拟样本生成，并以此构建数据库。

首先进行卫星遥感场景图像与被测目标图像自动融合及标记。将卫星遥感图像按不同场景和分辨率建立用于合成图像背景的遥感图像数据库，同时采用从真实卫星遥感图像中采集或利用模型激光三维重构投影等方式，按类别和型号建立被测目标图像数据库。构建卫星遥感图像分辨率与探测目标像元数之间的映射关系，能够根据任务需求分别从对应的数据库中随机调用背景图像以及探测目标图像，按照分辨率像元映射关系采用上采样或下采样方法，自动生成满足任务需求的包含被测目标的仿真合成卫星遥感图像，如图5所示。

图5 目标背景合成仿真遥感图像

在合成的图像样本基础上，利用深度生成对抗神经网络可大幅提升目标与背景图像融合的真实感。采用一种无监督生成数据的生成对抗神经网络，在该生成对抗算法中，生成模型所采用的输入不是随机噪声，而是将之前生成的真实感较差的仿真样本作为输入，并恢复得到强烈真实感的图像。利用判别网络，对真实的遥感图像样本和产生的图像样本进行区分[19]，不断判别生成的图像与真实图像之间的差异。基于这个过程，将合成仿真样本数据集中的全部图像进行真实渲染，以此生成的仿真遥感图像数据集可用于任意深度学习自主检测算法的训练。为了更好地说明此项技术的普遍适用性，选用多种主流深度学习算法，分别利用生成的仿真数据集进行训练，利用训练后生成的前向模型在包含目标的开源遥感图像数据集（如NWPU，DIRO、RSOD等）进行性能测试，验证了仿真样本集在深度学习应用中的有效性。

3.2 在轨光学遥感像质状态智能监测补偿技术

不同于传统在轨智能遥感自主识别系统的研制思路，提出实时补偿在轨遥感图像像质以满足智能识别算法的方法。通过建立遥感图像像质定标数据集，并以此训练智能识别模型，进而利用深度生成对抗网络从实时获取的遥感图像中提取定标图像像质的变化特征，以此补偿在轨遥感图像像质，消除其与图像像质定标数据集的特征差异，从而确保智能遥感系统在不调整智能识别模型的情况下，即可在轨高效运行。

该方法有效解决了传统在轨智能遥感识别系统中仍需人工参与地面校准智能模型的重要问题，整个过程无需任何人工参与，真正实现了智能遥感载荷的完全独立自主。采用源域与目标域间的特征自主监测与补偿深度生成对抗网络架构设计，已实现了多种变换下的图像域特征自主监测与补偿，具体过程参见图6。

图6 自主智能监测补偿过程

3.3 全光学深度神经网络智能遥感探测技术

随着遥感数据量的增加和目标相似性的提高，从大规模的遥感数据及复杂环境中对各类特定目标进行高精度的图像分类识别成为研究热点；同时，由于对时效性的要求不断提高，亟需光学遥感载荷具备在轨实时图像处理能力，以满足各类任务需求。因此，光学遥感载荷智能化与遥感数据智能化处理成为光学遥感领域的重要发展趋势。

现有基于深度学习的人工智能技术虽然可以在一定程度上实现上述功能，但是其智能识别检测的能力很大程度上取决于深度神经网络构架的复杂度，系统效能完全依赖于现有电子计算平台的规模及性能水平。但是，天基平台受功耗、体积等约束，能提供的计算资源与能耗受限，使得基于传统电子学器件的智能遥感探测系统在应用中具有一定困难；与此同时，由于多层神经网络信号之间出现相互干扰的几率较大，对需要高密度连接的神经网络的实现带来一定困难[20]。

全光学深度神经网络技术是一项前沿交叉技术，其核心思想是设计具备深度学习智能算法功能的等价光学系统，即经过设计的光学元件具备深度学习智能算法的功能，使用光学元件替换电子元器件。通过对遥感图像光场的调控实现有效信息自主提取、目标智能分类识别。该技术与传统神经网络模型结合，能够发挥全光技术特有的优势，有望突破传统电神经网络长延时、高功耗等技术瓶颈。

目前已开展了全光学深度神经网络总体设计、全光学成像链路仿真分析、全光学卷积神经网络遥感目标智能识别模型等关键技术研究，实现了用于MNIST手写数据集图像分类的多层深度全光学深度神经网络仿真模拟过程，并与传统深度神经网络进行了比较，参见图7。如图7所示，上方的框内是采用电子元件构建的传统深度神经网络，下方框内是采用光学元件构建的全光学深度神经网络，两个网络均为4层深度神经网络。在传统深度神经网络中，采用卷积与非线性激活函数构成单层深度神经网络，在全光学深度神经网络中，采用线性计算与非线性计算实现深度神经网络功能。对每一层深度神经网络操作后的图像进行跟踪记录，通过对比每一层的处理结果及最终识别结果，可以看到全光学深度神经网络与传统深度神经网络的图像处理能力与目标分类识别的能力一致。

图7 全光学深度神经网络与传统深度神经网络的比较

全光学深度神经网络技术以光的形式工作，具有全光学计算、极简硬件实现、海量数据瞬时处理、极低功耗等突出特性；全光学计算的优势使该项技术能够更快地处理海量遥感数据，同时在智能识别的准确率、目标对象的可扩展性等方面能力显著，可满足遥感载荷智能化发展对技术创新的需求；基于该项技术的智能遥感载荷系统在总体设计思路上利用全光学计算替代传统电子器件，极大降低遥感系统自身质量，从本质上解决遥感载荷智能目标识别对巨量计算资源的依赖，为遥感系统在轨智能化的实现提供了切实可行的技术路线；该技术的研究与应用将有效提升光学遥感载荷的功能密度，使其具备智能化，同时兼有载荷系统轻量化、低功耗等特点，可推动面向任务的新型智能遥感探测系统的发展。如图8所示，在一定任务场景下，前端镜头对视场内景象进行拍照成像，并将所得到的目标图像发送至全光学深度神经网络系统；全光学深度神经网络系统对图像进行深度学习智能检测与识别，根据任务需求输出所需要的图像信息，同时输出提取后的目标信息并发送至探测器及后端处理电路，之后系统输出最终任务所需信息。

图8 全光学深度神经网络智能遥感探测系统

4 结束语

以人工智能为代表的智能化技术和产品正在深刻地改变我们的生活，在人工智能发展的黄金时期，应促进航天与人工智能各项技术的深度融合。随着空间光学遥感技术的不断发展，光学遥感载荷的智能化是大势所趋，深度学习等人工智能技术也必将引起光学遥感领域的巨大变革。应当充分认识智能空间光学遥感技术的创新意义与应用价值，顶层谋划创新系统发展，集中力量开展核心关键技术攻关，推动我国智能光学遥感载荷跨越式发展，尽早形成赶超引领的技术优势。

[1] 杨芳, 刘思远, 赵键, 等. 新型智能遥感卫星技术展望[J]. 航天器工程, 2017, 25(5): 74-81.YANG Fang, LIU Siyuan, ZHAO Jian, et al. Technology Prospective of Intelligent Remote Sensing Satellite[J]. Spacecraft Engineering, 2017, 25(5): 74-81. (in Chinese)

[2] 张兵. 遥感大数据时代与智能信息提取[J]. 武汉大学学报·信息科学版, 2018, 43(12): 1861-1871.ZHANG Bing. Remotely Sensed Big Data Era and Intelligent Information Extraction[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1861-1871. (in Chinese)

[3] 尤政, 王翀, 邢飞, 等. 空间遥感智能载荷及其关键技术[J]. 航天返回与遥感, 2013, 34(1): 35-43.YOU Zheng, WANG Chong, XING Fei, et al. Key Technologies of Smart Optical Payload in Space Remote Sensing[J]. Spacecraft Recovery & Remote Sensing, 2013, 34(1): 35-43. (in Chinese)

[4] 龚健雅, 钟燕飞. 光学遥感影像智能化处理研究进展[J]. 遥感学报, 2016, 20(5): 733-747. GONG Jianya, ZHONG Yanfei. Survey of Intelligent Optical Remote Sensing Image Processing[J]. Journal of Remote Sensing, 2016, 20(5): 733-747. (in Chinese)

[5] 傅丹膺, 满益云, 李瀛搏, 等. 微纳卫星光学有效载荷的发展机遇与挑战[J]. 航天返回与遥感, 2018, 38(4): 64-69.FU Danying, MAN Yiyun, LI Yingbo, et al. The Opportunities and Challenges in Optical Payload of Micro-nano Satellite[J]. Spacecraft Recovery & Remote Sensing, 2018, 38(4): 64-69. (in Chinese)

[6] 李想, 杨灿坤, 周春平, 等. 高分辨率光学卫星图像目标运动信息提取研究综述[J]. 国土资源遥感, 2019, 31(3): 1-9. LI Xiang, YANG Cankun, ZHOU Chunping, et al. A Review of Target Motion Information Extraction from High Resolution Optical Satellite Images[J]. Remote Sensing for Land & Resources, 2019, 31(3): 1-9. (in Chinese)

[7] 董永峰, 仉长涛, 汪鹏, 等. 基于深度学习的光学遥感图像飞机检测算法[J]. 激光与光电子学进展, 2020, 57(4): 041007.DONG Yongfeng, ZHANG Changtao, WANG Peng, et al. Airplane Detection of Optical Remote Sensing Images Based on Deep Learning[J]. Laser & Optoelectronics Progress, 2020, 57(4): 041007. (in Chinese)

[8] 王昌安, 田金文, 张强, 等. 深度学习遥感影像近岸舰船识别方法[J]. 遥感信息, 2020, 35(2): 51-58. WANG Chang'an, TIAN Jinwen, ZHANG Qiang, et al. Inshore Ship Recognition in Optical Remote Sensing Imagery Using Deep Learning[J]. Remote Sensing Information, 2020, 35(2): 51-58. (in Chinese)

[9] 叶利华, 王磊, 张文文, 等. 高分辨率光学遥感场景分类的深度度量学习方法[J]. 测绘学报, 2019, 48(6): 698-707.YE Lihua, WANG Lei, ZHANG Wenwen, et al. Deep Metric Learning Method for High Resolution Remote Sensing Image Scene Classification[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(6): 698-707. (in Chinese)

[10] 谭琨, 王雪, 杜培军. 结合深度学习和半监督学习的遥感影像分类进展[J]. 中国图象图形学报, 2019, 24(11): 1823-1841.TAN Kun, WANG Xue, DU Peijun. Research Progress of the Remote Sensing Classification Combining Deep Learning and Semi-supervised Learning[J]. Journal of Image and Graphics, 2019, 24(11): 1823-1841. (in Chinese)

[11] 付伟锋, 邹维宝. 深度学习在遥感影像分类中的研究进展[J]. 计算机应用研究, 2018, 35(12): 3521-3525.FU Weifeng, ZOU Weibao. Review of Remote Sensing Image Classification Based on Deep Learning[J]. Application Research of Computers, 2018, 35(12): 3521-3525. (in Chinese)

[12] 李宇, 刘雪莹, 张洪群, 等. 基于卷积神经网络的光学遥感图像检索[J]. 光学精密工程, 2018, 26(1): 200-207.LI Yu, LIU Xueying, ZHANG Hongqun, et al. Optical Remote Sensing Image Retrieval Based on Convolutional Neural Networks[J]. Opticsand Precision Engineering, 2018, 26(1): 200-207. (in Chinese)

[13] 李宗凌, 汪路元, 禹霁阳, 等. 遥感舰船目标检测识别方法[J]. 遥感信息, 2020, 35(1): 64-72.LI Zongling, WANG Luyuan, YU Jiyang, et al. Remote Sensing Ship Target Detection and Recognition Method[J]. Remote Sensing Information, 2020, 35(1): 64-72. (in Chinese)

[14] 周敏, 史振威, 丁火平. 遥感图像飞机目标分类的卷积神经网络方法[J]. 中国图象图形学报, 2017, 22(5): 0702-0708.ZHOU Min, SHI Zhenwei, DING Huoping. Aircraft Classification in Remote Sensing Images Using Convolutional Neural Networks[J]. Journal of Image and Graphic, 2017, 22(5): 0702-0708. (in Chinese)

[15] 刘瑾, 季顺平. 基于深度学习的航空遥感影像密集匹配[J]. 测绘学报, 2019, 48(9): 1141-1150.LIU Jin, JI Shunping. Deep Learning Based Dense Matching for Aerial Remote Sensing Images[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(9): 1141-1150. (in Chinese)

[16] 王志有, 李欢, 刘自增, 等. 基于深度学习算法的卫星影像变化监测[J]. 计算机系统应用, 2020, 29(1): 40-48. WANG Zhiyou, LI Huan, LIU Zizeng, et al. Satellite Image Change Monitoring Based on Deep Learning Algorithm[J]. Computer Systems & Applications, 2020, 29(1): 40-48. (in Chinese)

[17] 张裕, 杨海涛. 基于深度学习的轻量化遥感图像目标检测方法[J]. 信息技术, 2019(9): 163-167. ZHANG Yu, YANG Haitao. An Efficient Object Detection Algorithm for Remote Sensing Image Based on Deep Learning[J]. Information Technology, 2019(9): 163-167. (in Chinese)

[18] 翁代云, 杨莉. 人工智能技术在遥感图像分类中的应用[J]. 计算机仿真, 2012, 26(6): 240-243. WENG Daiyun, YANG Li. Application of Artificial Intelligence Technology in Remote Sensing Images Classification[J]. Computer Simulation, 2012, 26(6): 240-243. (in Chinese)

[19] 宋维静, 刘鹏, 王力哲, 等. 遥感大数据的智能处理: 现状与挑战[J]. 工程研究, 2014, 6(3): 259-265. SONG Weijing, LIU Peng, WANG Lizhe, et al. Intelligent Processing of Remote Sensing Big Data: Status and Challenges[J]. Journal of Engineering Studies, 2014, 6(3): 259-265. (in Chinese)

[20] 彭健, 李天任, 王宇航, 等. 基于智能芯片的舰船目标智能识别系统设计及实现[J]. 战术导弹技术, 2020(1): 57-62.PENG Jian, LI Tianren, WANG Yuhang, et al. Design and Implementation of Ship Target Intelligent Detection System Based on Neural Process Unit[J]. Tactical Missile Technology, 2020(1): 57-62. (in Chinese)

The Application of Deep Learning in Space-based Intelligent Optical Remote Sensing

LI Wei LIU Xun ZHANG Weichang RUAN Ningjuan

（Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）

In the face of complex observation tasks and diversified observation targets, it is urgent to develop the space optical remote sensing technology with higher observation level and better imaging efficiency. Deep learning is a hot research content in the field of artificial intelligence. It has advantages in event decision-making, image processing and so on. It has been used in various application scenarios and promoted the technical development of in related technical fields. This paper starts with the main problems of the space optical remote sensing technology, explains the necessity of deep learning in space-based optical remote sensing, puts forward the application ideas of deep learning, especially introduces the innovative application of deep learning in space-based intelligent remote sensing and the research progress of related technologies, finally makes the summary and prospect.

intellectual technology; deep learning; virtual sample; automatic generation; all optical; space remote sensing

TP751

A

1009-8518(2020)06-0056-10

10.3969/j.issn.1009-8518.2020.06.006

2020-10-28

李维, 刘勋, 张维畅, 等. 深度学习在天基智能光学遥感中的应用[J]. 航天返回与遥感, 2020, 41(6): 56-65.

LI Wei, LIU Xun, ZHANG Weichang, et al. The Application of Deep Learning in Space-based Intelligent Optical Remote Sensing[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(6): 56-65. (in Chinese)

李维，男，1983年生，2010年获北京工业大学物理专业博士学位，高级工程师。主要研究方向为航天智能遥感、光与物质相互作用等。E-mail：wei_li_bj@163.com。

（编辑：夏淑密）