孙 涛，王 雷，付文博，傅 罡，张 颖

(1.中国水利水电科学研究院，北京 100038；2.水利部防洪抗旱减灾工程技术研究中心，北京 100038；3.华中科技大学水电与数字化工程学院，武汉 430070；4. 清华大学工程物理系，北京 100084)

水利是国民经济和社会发展的重要设施和基础产业[1]，随着科学技术和信息技术的高速发展，水利信息化已成行业趋势，而水利信息化建设的首要任务则是吸纳国内外先进的科学技术成果和信息化建设体系。深度学习作为近几年高新技术最突出的代表，自2006年，Geoffrey Hinton团队在科学杂志上公开发表相关研究内容后，便在各行业引起广泛关注[2]。深度学习在特征提取和模拟优化上有着独特的优势，在图像识别与信息提取、语音识别和计算机视觉领域上有着成熟的运用，在水利行业上也具有广泛的应用前景。

1 深度学习原理

1.1 深度学习发展历程

深度学习的整个发展历程可以分为三个阶段，见图1，第一阶段(1943-1969年，雏形期)，该阶段最重要的成果便是感知器模型的研发，尽管该模型简单，但已体现了现代神经网络输入线性加权、非线性激活两个要素，后期被证实只能解决简单的线性分类问题，应用有限，因此，神经网络研究陷入近20年的低谷期。第二阶段(1986-1998年，发展期)，多层感知器[3]、反向传播算法[4]的提出使得非线性分类和学习问题得到有效解决，开启了神经网络研究的第二次热潮，这一时期，卷积神经网络[5]、LSTM模型[6]、LeNet模型[7]均获得了较完善的发展，后期由于BP算法“梯度消失”现象，即网络最后代价函数产生的梯度无法有效的向网络前端传导，网络不能得到有效的学习，导致神经网络发展再次陷入低谷。

第三阶段(2006-至今，火热期)，2006年，Hinton等人通过基于自编码器(AutoEncoder)的无监督预训练与有监督参数微调相结合的思路，给出了解决深层网络梯度消失的方法，同时提出了深度学习的概念，至此，神经网络被再次推入大众视野，深度学习开始飞速发展。2010年，ReLU(Rectified Linear Units)激活函数的提出使梯度消失问题得到有效抑制[8]。2012年，在ImageNet图像分类竞赛中，AlexNet网络模型力压SVM方法获得冠军。随后的2013-2015年，在历届ImageNet竞赛中，参赛者通过进一步优化网络结构和训练方法，并结合GPU进行算法加速，一次次刷新纪录。2015年，何凯明[9]等人提出深度残差网络(Deep Residual Net, ResNet)采用分层预训练与批归一化(Batch Normalization, BN)结合的方法，通过引入单位映射网络分支，极大的增强了深度网络的表达能力，使得训练上百层的深层网络成为可能，该模型在分类、识别等重要视觉任务中均取得巨大成功，而且其网络结构也成为后续深度网络的经典结构得以广泛应用。

图1 深度学习发展历程图

1.2 深度学习主流方法原理

深度学习是人工神经网络技术框架的最新理论体系，相较传统的人工神经网络方法，它具有以下特点：①深层模型结构：深度学习模型往往具有更多的隐含层，随着层数的增加，参数也会随之增加，其表现力更加强大。②多尺度特征表达：深度学习本质上是数据特征结构抽象逐层表达的过程，模型中每一层都将上一层的输出作为输入进行数据结构与特征更高层次的表示，从而构建复杂的数据结构，完成对原始数据的抽象表达。

在深度学习方法中，卷积神经网络、受限玻尔兹曼机[10]和自动编码器[11]三种方法最为基本，由该方法及其衍生方法的应用也最为广泛，见表1与图2。卷积神经网络是图像处理领域一种高效的算法，一般由输入层、卷积层、池化层、全连接层和SoftMax层5种结构组成。卷积神经网络相比其他人工神经网络有着两个突出的特点：局部感知与权值共享，能有效降低网络结构中的参数数目[12]。受限玻尔兹曼机是由显性变量和隐性变量构成，在受限玻尔兹曼机模型中，显性变量和隐性变量之间才会存在映射关系，显性变量内部间、隐性变量内部间均不存在连接。自动编码器是由编码器和解译器两部分组成，编码器的功能是将上层数据信号编码传递至下层，而解译器的功能则是解译编码器编码的数据信号。

表1 深度学习主流方法原理

图2 深度学习主流方法结构示意图

2 深度学习在水利行业上的应用

2.1 遥感图像分类

遥感技术是获取水文基础数据的有力途径之一，对于降雨径流监测、下垫面形态探究等具有重大意义与推动作用。而遥感图像分类则是遥感技术中的关键问题，准确的分类有利于开展多领域研究。遥感图像分类的方法种类繁多，可以分为监督与非监督，参数与非参数，基于像元、亚像元和对象等不同类别，但由于分类方法受影响因素较多，如遥感数据源质量、遥感数据预处理方法等，往往都存在较大的改进空间[19]。深度学习作为人工智能最突出的分支代表，其在特征提取上绝对的优势，使其成为遥感图像分类方向最具潜力，最火热的方法之一。

2.1.1 遥感影像水体识别与提取

地表水体的空间分布规律及相关的地理信息对于研究区域水文与气象具有重大意义[20]。早期水体分布规律的探索主要依靠人工勘测和手工测绘，进入信息时代后，遥感技术开始广泛应用于水体信息提取中，目前，在水体识别提取上应用的比较多的方法主要有单波段阈值法[21]、监督分类法[22]、水体指数法[23]等，但是这些方法需要多次实验设定阈值，且精度受影像质量及人为影响较大。深度学习在特征提取上具有极大的优势，为遥感图像水体提取提供了新思路，现今已有专家学者将深度学习方法应用在遥感图像水体识别上。

2015年，Liu Yang[24]等人建立了一个基于堆叠自动编码器的水体提取模型。该模型采集当前有用的特征为每个像素构建独特的特征矩阵，通过考虑相邻像素的影响扩展特征矩阵来设计特征扩展算法(Feature Expansion Algorithm，FEA)，最后将扩展功能设置为输入，利用堆叠自动编码器训练来提取水体。研究选取了新疆、江苏、四川三地作为研究区域，并与SVM和NN算法进行了对比研究，结果表明基于堆叠自动编码器的水体提取模型优于支持向量机模型(SVM)和传统神经网络模型(NN)。王知音[25]等人同样选择了堆叠自动编码器来构建深度学习模型，并将模型应用在新疆塔里木河流域的遥感影像水体提取上，设置了SVM和BP神经网络与堆叠自动编码器进行对比研究，最终结果显示堆叠自动编码器模型水体提取的精度最高。

Long Yu[26]等人提出了一种基于卷积神经网络和logistic回归分类器的多光谱数据水体提取新方法，选取新疆、湖北、沈阳三地作为研究区，选择ANN和SVM法作为对比，最终结果显示深度学习方法准确率最高。杜敬[27]构建深度卷积神经网络模型进行无人机遥感影像水体识别，并采用支持向量机法、面向对象法进行对比，结果显示深度学习方法准确识别率为95.36%，精度最高。杨柳[28]则利用了深度学习方法，主要是栈式自编码器对遥感影像水体识别展开了相关研究，得到结论如下，相比支持向量机模型和人工神经网络模型，栈式自编码器模型拥有更高的准确率，高达94.35%，而三种模型都在训练量增大时，准确率都有明显的上升。

2.1.2 遥感影像土地利用分类

土地利用分类研究对于获取区域水文下垫面情况具有重大意义，目前在遥感影像土地利用分类研究上应用得较多的方法主要有：人工智能分类法(像神经网络分类法、决策树分类法、支持向量机等)、面向对象分类法、遥感与GIS结合法等，深度学习方法作为近几年火热的新方法，具有巨大的应用潜力。

冯丽英[29]以高分二号遥感影像作为数据源，构建深度卷积神经网络模型，进行土地利用信息提取，并用支持向量机、决策树、最近邻分类器三种方法作为对比研究，结果显示在，在不同的分割尺度和精度评价方法下，精度最高的方法均为深度卷积神经网络。张伟[30,31]则选取不同的深度卷积神经网络模型进行土地利用分类研究，结果显示AlexNet 精度最高，VGG-16次之，GoogLeNet 精度最低。韩洁[32]等人则构建深度信念网模型对北京市进行城市扩展变化检测，与ISODATA和最大似然分类器法相比，深度学习方法表现最高的精度，达93.4%。

目前，深度学习在遥感影像水体识别与土地分类上尚处于起步阶段，可支撑的文献较少，纵观上述文献，可以发现，深度学习方法在与支持向量机、决策树、最近邻分类器、人工神经网络模型等等方法进行比较研究时，均表现出了极高的优越性，证实了深度学习在遥感图像分类应用上的可行性。现阶段，在应用深度学习方法时，大多还是采取监督训练方法，需要大量的标签数据支撑。而遥感图像是多波段数据，相对于普通图像，需要预处理和标准化过程来制作标签数据，工作量巨大。其次，在遥感数据标准化处理方式也对最终的分类结果有一定的影响。因此，下一阶段需要重点研究无监督训练方法，加速遥感图像预处理工作。

2.2 水质分析预测

水质分析与预测是水资源管理与水污染防治工作展开的基础，准确把握水质现状，预测水质未来趋势对于区域生产生活与生态具有重要意义。传统的水质分析大多依赖于已采集的水质观测指标(氮、磷等)，而水质指标的采集往往需要复杂的物化过程，存在着费用高、实时性差，覆盖面窄的问题，难以对整个区域有很细致的把握。遥感技术的发达特别是高精度遥感图像逐渐普及，为水质分析提供了新的应用，深度学习在图像理解与分析上的优越性，使得众多学者探索深度学习在水质分析上的应用。而在水质预测方面，目前我国常用的水质预测模型为人工神经网络模型，该模型目前还存在着收敛速度慢、精度不高以及推广性差等问题，迫切需要新理念与方法进行改进创新。

在水质分析方面，黄鸿[33]等人提出了基于随机子空间深度回归的分析方法，以深度信念网进行特征提取，BP神经网络进行训练构建深度学习TOC浓度反演模型，并成功对水体TOC进行了检测，结果显示随机子空间深度回归方法在浓度反演上相对误差都在1%以内，精度高于传统方法。郑友亮[34]建立了基于卷积神经网络的沿海水质评价模型，以广东省沿海海域为研究区域，实现了沿海水质的分类，准确率高达93.75%。

在水质预测方面，姚俊杨[35]等人建立了基于深度置信网的水华预测模型，成功对太湖流域水华爆发进行了预测仿真，结果显示向前预测1 d，相对误差为7.72%，向前预测5 d，相对误差为7.21%，向前预测10 d，相对误差为9.3%。王功明[36]等人则以自适应学习率进行深度学习无监督预训练，利用PLSR方法改进深度置信网，构建了基于偏最小二乘回归自适应深度信念网模型，并利用该模型实现了水处理过程中的出水总磷预测。Archana Solanki[37]等人则利用降噪自动编码器和深度置信网构建了深度学习模型，并进行了水质参数预测。田亚兰[38]等人构建了基于深度置信网的深度学习模型，成功对污水处理数据的预测结果进行了预测。

现阶段，深度学习在水质分析预测方向上尚处于小范围的应用，未成体系，大多依靠设定的研究情景才能得出较好的结果。尽管深度学习方法在水质分析上表现出一定的优越性，但相比传统的水质分析方法，该方法显得效率低下，且耗费巨大。在水质预测方面，深度学习方法的预测精度和收敛速度还需进一步提高。

2.3 水文预报

数据驱动型模型是水文预报的主要手段之一。模型一般不直接考虑潜在的物理过程，只依靠历史水文气象资料，因此，输入和参数较少，较为简单。尽管模型简单，但模型的精度却和历史数据的特征提取和学习直接相关，由于历史数据复杂多样，难以表示，因此，预测出的结果往往不够理想。深度学习在特征提取表示上的优势，为水文预报提供了新方法。

Yun Bai[39]等人建立了多尺度深度特征学习方法，进行了三峡库区入库流量的预测。该研究采用集合经验模态分解和傅立叶级数提取流入序列的多尺度特征，然后用三个深度置信网络进行特征表示，最后通过初始化权重，将每个DBN融合成神经网络，建立了深度学习模型。作者选取BP神经网络、支持向量机和基于小波的人工神经网络作为研究对比，结果表明多尺度深度特征学习方法在峰值流入量预测中都表现出了所有对等方法中最好的预测性能，结果为平均绝对百分比误差(MAPE= 11.289 6%)，归一化均方根误差(NRMSE=0.229 2)，决定系数标准(R2= 0.890 5)，和峰值百分比阈值统计(PPTS(5)= 10.022 9%)。现阶段，深度学习在水文预报上的应用极少，Yun Bai等人的研究成果证实了深度学习方法在水文预报上的可行性。

3 小结与展望

3.1 小 结

尽管深度学习在图像、语音识别上有一定的成果，但在水利行业上的应用尚处于起步探索阶段，需要攻克的难题和问题还有很多，也有许多值得被挖掘应用的方向。具体分析如下。

(1)深度学习模型的精度和模型训练直接相关，不论是监督训练还是无监督训练都需要大量的数据，而水文气象资料比较宝贵，很多地区存在着资料不足的情况。其次，模型的训练耗时较长，须投入大量的精力进行参数配置，因此，需要改进算法提高模型训练的收敛速度。

(2)现阶段的研究都是直接采用的深度学习模型，而深度学习属于统计模型。在研究复杂水文机理问题时，可能会存在着物理机制支撑不足导致精度不高的现象，因此，将深度学习方法与水文模型有机整合是一个重要的研究方向。

3.2 展 望

深度学习在遥感影像水体识别提取上的成功应用，表明深度学习在遥感信息解译与提取上具备可行性，未来在水利遥感监测上有较大的应用前景，特别是水土保持动态监测。深度学习模型在对三峡库区入库流量仿真模拟的可行性也为深度学习应用在水文预报上奠定基石。下一阶段，深度学习在水利上的应用研究应重点关注。①遥感图像分类方面：深度学习模型的训练方式上，应逐步由监督训练过渡为监督训练为主，非监督训练为辅的方式，并采用GPU进一步加速。②水质分析预测方面：进一步优化模型结构、简化模型参数，提高深度学习模型水质预测精度。③水文预报方面：目前可支撑的成果较少，下一阶段应将现有的深度学习模型应用范围扩大，验证并改进其模拟效果。

随着水利信息化进程的加快和深度学习研究的深入，未来深度学习在水利行业将会有更加广阔的运用前景，发挥更加重要的作用。

□