刘文华 刘洋 李宁

[摘 要] 油气管道是国家能源的动脉。管道周围的不确定事件包括非法占压、非法施工、地质灾害、打孔盗油等给管道防护带来极大的安全风险。尽管在长时间的实践过程中形成了一套完整的巡线排查体系，但仍有待完善的方面。无人机管道巡线是很好的手段并得到不断的尝试和应用。将人工智能技术应用于无人机航拍影像的处理可以大大减轻作业人员负担，提高巡线效率。文章在分析无人机影像特点的基础上，提出了适用于无人机影像智能检测的基于SSD的改进深度神经网络算法，并进行了设计和验证。结果表明，该算法检测准确，满足要求。

[关键词] 油气管道；巡线；人工智能；目标检测

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2018. 11. 057

[中图分类号] TP311 [文献标识码] A [文章编号] 1673 - 0194（2018）11- 0128- 06

1 背 景

1.1 管道人工巡护

油气管道可以负责长距离输送原油或天然气，输送距离可能长达数百、数千公里，管道线路要经过河流、峡谷、沙漠、戈壁等各种自然场景。漫长的油气管道、地形复杂的管道線路，不仅增加了遇到各种地质灾害发生的可能性，还给很多不法分子可乘之机。而这些都对油气管道的正常运输造成了威胁。

从广义上讲，凡是能对管道安全造成威胁的事件都是危险事件。主要有以下三类：

（1）人为蓄意破坏。在巨大经济利益的驱使下，犯罪分子在偏僻的地段对管道进行破坏，打孔盗油。由于此类事件的发生持续时间短，地点隐蔽，很难被及时发现。

（2）无意人为破坏。根据国家《石油天然气管道保护条例》规定，禁止在管道中心线两侧各5米范围内进行修建、堆放大宗物资等操作，管道沿线施工需要按照严格的报批程序进行审批，由专业的巡护人员知道作业，否则均可能对油气管道造成意外破坏。

（3）地质自然灾害。管道线路需要经过河流、山川、村庄等自然场景，洪水、地震、山体滑坡、地质下陷等自然灾害均可能造成油气管道的外漏甚至泄露。

以上三种类型的危险事件，都可能给油气管道的正常运输造成影响。现阶段的管道的人工防卫主要依靠巡线工人每天按时巡护管道，虽然现阶段已经有许多现代化管理技术和辅助巡线技术，但仍然存在很多弱点。这些弱点包括：单人巡视视野较窄，并可能出现遮挡等视界受限情况，无法巡视到区域全局；人工巡视部分地区不可到达，例如山顶、谷底、无人区等难以进入或进入后有危险的地区；此外，巡线工人每日重复工作容易形成主观判断，在责任心方面发生变化，使巡护工作逐渐松懈。

1.2 无人机巡线

将无人机应用于巡线是军事领域技术引入工业领域的典型技术之一。时至今日，国内外对无人机在工业领域的应用已较为成熟，譬如高空输电线路的检查和维护已经成功使用无人机高空录像、红外热成像等技术。

现阶段许多工业领域的巡线工作，在工人难以到达的地域一般使用直升机巡线作业。直升机巡线属于现阶段比较成熟的巡检技术，但从运维角度考虑，直升机巡线在成本等诸多方面都有限制。与之相比，无人机巡检的优势主要体现在：

（1）飞行成本低。直升机巡检的飞行成本超过7 000元/h，而无人机的运行成本在2 000元/h以下。而且由于飞行团队人员数量不同，成本差距在此基础上还将增加。

（2）巡线效果稳定。从现有数据来看，直升机巡线拍摄到的视频画面抖动严重，而且视角难以固定到某一标准。使用无人机拍摄则可以提供相对稳定的画面以及标准的拍摄角度。此外，一些无人机还能现场调整拍摄角度，达到精确拍摄的效果。

（3）安全性高。无人机巡线不需要人员跟随机器进行，除起飞降落外，由飞行器按照固定航线进行自动巡线。相对于直升机巡线，不会对巡线人员的生命安全构成威胁。

1.3 航拍图像下的目标检测

近年来无人机技术兴起，油气部门尝试使用无人机技术对管道进行看护，由无人机拍摄油气管线路上的俯视图后进行人工判读，反馈油气管道附近存在的异常事件，最后进行危险排除。

这一方式的主要缺点是：长时间辨别图片，人很容易产生疲惫感，影响判断的准确性甚至造成误判。

随着人工智能的兴起，有越来越多的产业依靠人工智能提升了产业的生产效率甚至完成了产业转型。图像的智能目标检测是新兴的一种图像处理方法，与传统的“目标识别”方法相比，目标检测不仅能够识别出多个物体的种类，还能够在图像中找到物体的位置，如图1所示。

参照图1的比对图，直观表述了目标检测的任务。

目标检测的过程其实是分为“检测”和“识别”两部分，检测部分通常是提取多个目标候选框（Object Proposal），而识别部分则是根据候选框的模式空间将候选框中的物体类别便是出来。

传统目标检测通常分为以下几个步骤：①图像预处理；②生成候选框；③对候选框的模式进行特征提取；④对特征进行特征空间内的分类；⑤框回归与合并。

由于神经网络的兴起，从2012年以来，目标检测的理论以及实现方法和步骤发生了巨大的变化。神经网络逐渐合并了上述传统目标检测过程的2～4步，形成了端到端的目标检测模型。改变的过程中，神经网络展示出其优秀的准确率。深度学习在图像检测算法的各大赛事上不断刷新纪录，时至今日，已经产生出大量准确率达到90%以上的优秀模型。

近几年，各行各业将这些模型不断应用到实际中。结合油管巡线工作，将优秀的图像检测模型应用到无人机巡线图片检测中是21世纪人工智能发展浪潮导致的必然。

现有的算法，一般为自然场景下的目标识别。但无人机巡线图片有所不同，主要体现在以下两个方面：

（1）拍摄视角。不同于自然场景图片的侧视拍摄，航拍图像的视角一般为俯视图；

（2）分辨率。航拍图像因为要保证辨识率的同时提供宽阔的视域，分辨率较一般图像会更大，如圖2所示。

本文旨在基于对现有系统和方法的认知，设计并将图像检测应用到无人机巡线中，辅助油气管道防卫工作。

2 算法原理与特点

2.1 算法原理

针对油气管道的巡航，目标检测技术的研究目的是检测航拍图片中是否包含人、车、违章建筑、自然灾害等可能危害油气管道安全的物体或事件信息。

目标检测的关键技术按流程顺序分别为：图像预处理、图像特征提取和物体或事件分类器。这些技术是图像智能检测算法的基础组成部分，也是计算机视觉领域的几项基础研究。

2.1.1 图像预处理

航拍图像的获取是利用无人机在油气管道上方飞行，对油气管道周边进行航拍，再经过后期处理得到真正用于目标检测的航拍图像。

由于无人机体积小、重量轻，容易受风和气流影响，姿态不稳定，导致航拍影像数量多、倾角大、畸变大、重叠度不规则等问题，从而给数据处理带来挑战，因此有必要实现对图像进行预处理。首先对原始垂直影像和倾斜影像进行稀疏重建，即联合空三处理，快速获取影像姿态和稀疏点云；然后采用半全局密集匹配获取密集三维点云，进而获得格网DEM数据。基于DEM，对倾斜影像进行数字微分纠正，对垂直影像进行正射纠正，并将纠正影像进行无缝快速拼接获得拼接全景图。在拼接全景图上进行典型目标提取、识别与标识，从而对油气管道情况进行分析。

2.1.2 神经网络特征提取原理

对油气管道附近的航拍图像进行目标检测，需要检测出可能危害到油气管道安全的事件。每种事件都有自己的特征，如违章搭建——与正常的油气管道相比，存在违章搭建的图像中，油气管道附近存在建筑物和不明堆积物。油气管道上定期巡视的任务是找到此类事件并派人处理。交由计算机后，深度神经网络的主要功能是正确地从图像中提取异常事件的关键特征。

CNN（Convolutional Neural Network，卷积神经网络）是目前深度学习在图像处理领域最好算法之一，它是一种特殊的深层神经网络模型，其特殊性体现在两个方面。一方面它的神经元间的连接是非全连接的，另一方面同一层中某些神经元之间的连接的权重是共享的。它的非全连接和权值共享的网络结构使类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。

在图像处理领域，CNN被广泛用于图像特征的提取。它的层数可变化范围很大，从几层到几千层不等，意味着CNN能同时提取图像的浅层特征和深层次特征。用CNN提取的特征比传统方法提取出的特征表达更多维度的信息，更利于图像的分类和检测，所以本文采用的目标检测算法中，CNN是主要的特征提取算法。

2.1.3 模式分类与回归原理

分类与回归本质理论上是一个问题，都是基于样本的特征向量得到映射到类别空间。不同的是，分类问题的目标类别空间是离散的，而回归问题的目标类别空间是连续的。

对油气管道提取的特征向量进行目标检测，实际上是一个分类与回归的交叉问题。对油气管道航拍图像进行目标检测既要识别图片中的特殊目标种类，又要找到目标的具体位置。特殊目标种类是一个图像识别问题，从模式识别角度考虑本质是一个分类问题，而给出物体具体坐标则是一个回归问题。

本问对这两个问题分别建立了两个模型，识别类别问题使用Softmax进行分类，坐标问题使用全连接进行回归计算得到坐标值。

需要说明的是，Softmax是一个将目标变量分为K类的算法，建模使用多项式分布。其具体计算公式形如：

其形成的结果为合成的向量，一般使用此向量对既定模式进行无拒识的类型判别。

2.1.4 反向传播与损失函数原理

深度学习要解决的主要问题是训练神经网络，使之能够适应给定的数据集，进行相应模式判断。

反向传播是完成此项任务最有效的算法。其主要的思想是将网络最后输出的结果计算其误差，并且将误差反向逐级传下去。反向传播运用的是链式求导的基本思想（隐函数求导），其原理如下：

反向传播中的最上层误差评价函数称为损失函数，这个函数是训练神经网络最重要的一步。以线性回归为例，对于神经网络的假设函数：

对卷积神经网络进行训练即对该损失函数进行最优化。

2.2 算法的特点

深度学习与油气管道巡视的结合，是人工智能在具体产业中的应用。将人工智能引入油气管道日常的维护过程，有希望改变监控维护的流程。相比以前油气管道的巡视，本文的方法主要有如下优点。

2.2.1 适用范围广

深度学习是利用已知去判断未知的算法。给算法大量带有正确标签的数据（训练集），让计算机自己学习数据内部的特征和规律，然后利用这些学习到的知识去预测新的数据（测试集）。在计算机自己学习的过程中，学习到的知识是随着训练集的不同而不同的，也就意味着深度学习的一个算法可以应用在不同的领域，只要拥有足够多的训练集，算法就可以自己学习到该领域的知识并应用这些知识为该领域创造价值。

2.2.2 智能化程度高

在算法运行的过程中，只需要将图像导入，程序就会直接得到图像中存在的异常并输出。在检测程序后加一个报警程序，算法就可以完成特征提取—预测—报警一整套流程，中间不需要人的干预。与以前传统的人工识别异常相比可以节省大量的人力。

2.2.3 检测精度高

使用本文所述算法对油气管道附近对行人、车辆等进行检测，检测准确率可以达到80%以上，详细结果将在下一节中给出。

2.2.4 出错率低

计算机学习完毕后，检测流程就被固定下来。不同于人在长时间重复查看图像后会出现疲劳甚至出错，计算机程序只要运行，就会一直保持初始精度重复工作下去，不会出现疲劳导致检测的精度降低的现象。

2.2.5 经济成本少

人工识别需要付给工人一定的报酬，长时间的积累后，在檢测方面会花费大量的经费。而使用本文所述算法后，只需将检测功能交给计算机，计算机就可以24小时不间断地工作，降低人工成本花费。

3 设计与应用

3.1 任务概述

本文需要完成一个辅助人工巡线的软件系统。该系统主要依靠无人机巡线获取数据，经过处理后智能识别出数据中的异常情况并给出具体图像以及坐标。基于现阶段研究情况考虑，该系统的评价标准主要为：①异常事件的识别率；②运行效率（运行速度）。

3.2 应用流程设计

应用到实际中主要考虑从实际场景到具体异常事件的报告间的处理流程。设计如图3所示。

实际处理流程的第一步是从实际场景中得到航拍影像数据，由固定翼无人机进行固定线路航拍得到。在机上处理技术还未成熟的现阶段，考虑等待无人机落地后取得影像数据进行地面处理。使用地面设置的服务器，进行图像特征处理得到全部图像的特征参数，再由分类器和回归函数计算得到图像中异常目标的具体位置。最后根据目标类型和坐标参数进行决策，最终得到异常事件的类型并生成报告。

3.3 神经网络模型设计

本文参考近几年来在Pascal数据集上表现优良的SSD算法，针对应用到的实际问题（对航拍图像进行目标检测），提出一个改进的神经网络模型。

该网络的结构如图4所示。

基于应用中出现的实际物体所占像素较少，SSD算法中某些卷积层计算冗余严重，本文去掉了一些网络层级，以提高整体效率。

在训练网络时，参考原来算法进行损失函数设计。现令x表示目标框与某一类别的实际框的指示数字，仅当出现IOU最大情况时x为1，否则为0。令l表示预测框，g表示实际框。Lconf和Lloc分别表示分类（置信度）损失函数和回归（位置）损失函数。N表示匹配的先验框个数。

如下式：

3.4 应用结果

某天然气管道科技信息服务中心联合相关技术公司进行了部分管道的无人机巡线航拍，并针对航拍图像完成了异常目标的识别。截至2018年2月，已经试验两次飞行以及图像处理。

应用主要情况如下：

3.4.1 夏季航拍识别

2017年8月，相关人员完成了某天然气管道的航拍，并对航拍影像进行异常事件识别。

具体数据如表1、表2所示。

针对夏季航拍图像，识别334张图片共耗时42分钟，平均每分钟识别7.95张图片。

夏季航拍中共设置5个异常目标，目标均为白色车辆。共计在实际5个目标中识别出4个异常目标，另识别出非设置异常目标1个，识别率达到80%。

3.4.2 冬季航拍识别

2018年2月，相关人员在夏季同一位置进行了航拍，并对航拍影像进行异常事件识别。具体数据如表3、表4所示。

针对冬季航拍图像，识别814张图片共耗时24分钟，平均每分钟识别33.92张图片。

冬季航拍中共设置2个异常目标，其中一个为白色车辆，另一为黑色车辆。实际识别中将异常情况全部识别出，识别率达到100%。

部分识别中间结果展示如图5，图6所示。

3.4.3 总 结

经过实验，两次航拍识别均达到每分钟7张的识别速度，识别率达到80%以上。

对比夏季和冬季航拍识别的神经网络模型来看，冬季模型从两个方面优于夏季模型。一个方面是识别速度，对同等大小的图片进行识别，冬季模型识别速度为夏季模型的4.27倍，已超过同等情况下人工识别的速度（每分钟10张）。另一个方面是识别目标种类问题，冬季模型可以识别两类物体（黑色车辆和白色车辆），比夏季模型有所增加。

4 展 望

近两年来，人工智能在国内掀起了一波浪潮，从国家层面到各个公司、高校，人工智能的概念被广泛提及。智能目标检测算法与管道巡线的结合成果不只是管道巡线的新方式，更是智能技术向着产品转化的里程碑。

4.1 提高工作效率

本文所述算法是应用于高分辨率图片的，在神经网络的预处理阶段会对高分辨率图片进行滑窗处理。在实际应用过程中这种滑窗式的图像处理方式可以进行更深层次的算法优化，如预统计剪枝、Adaboost迭代分类等。这些算法层面的优化将提高智能检测算法的检测速度，进一步提高巡线工作效率。

4.2 特殊场景识别

本文所述算法的提升空间在算法输入层面来说，现有无人机技术可以支持各种光学采集器材的搭载，搭载这些器材可以采集各种非可见光。这些非可见光作为算法输入可以根据特性，进行特殊场景下的物体检测。比如使用红外线摄影仪采集到的红外光谱图，可以对夜间场景进行识别，检测夜间盗油情况。

4.3 未来图像即时传输和处理

在应用场景方面，图像识别算法与无人机的结合不仅能适用于各类管道巡线检查，还可以运用到如地震调查、军事侦察、海事侦查、工程测绘、农作物估产等。图像特定目标的识别与跟踪的实现要依靠一定的硬件与软件予以实现，通常对于绝大部分普通图像的处理可以通过软件来完成，但是在无人机航拍过程中一般处在高速运行、实时高分辨率拍摄的状况下，仅仅依靠软件对图像处理已无法满足实际需求，因此有必要结合ARM的处理器调度功能和FPGA的硬件加速功能对获取的实时图像进行分析，实现对特定目标的识别和实时跟踪等功能。伴随嵌入式系统应用的推广普及，在图像识别实时跟踪系统领域成本不断下降，硬件也在趋向于小型化和功耗不断降低，未来将产生无人机即时处理并传输图像，更大程度上增加管道巡线的非人工干预性能。

主要参考文献

[1]Srivastava N， Hinton G， Krizhevsky A， et al. Dropout：A Simple Way to Prevent Neural Networks from Overfitting[J]. Journal of Machine Learning Research， 2014， 15（1）：1929-1958.

[2]Krizhevsky A， Sutskever I， Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012：1097-1105.

[3]于立成， 程云濤. 人技结合的油气管道保卫新模式研究[J]. 城市建设理论研究：电子版， 2013（21）.

[4]Uijlings J R R， Sande K E A V D， Gevers T， et al. Selective Search for Object Recognition[J]. International Journal of Computer Vision， 2013， 104（2）：154-171.

[5]Alexe B， Deselaers T， Ferrari V. Measuring the Objectness of Image Windows[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2012， 34（11）：2189.

[6]Su H， Deng J， Fei-Fei L. Crowdsourcing Annotations for Visual Object Detection[C]//The 26th AAAI Conference on Artificial Intelligence，2012.

[7]Ren S， He K， Girshick R， et al. Faster R-CNN：Towards Real-time Object Detection with Region Proposal Networks[C]//International Conference on Neural Information Processing Systems. MIT Press， 2015：91-99.

[8]Bell S， Zitnick C L， Bala K， et al. Inside-Outside Net： Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks[C]//2016 IEEE Conference on Conputer Vision and Pattern Recognition（CVPR），2016：2874-2883.

[9]Lin T Y， Dollar P， Girshick R， et al. Feature Pyramid Networks for Object Detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2017：936-944.

[10]Li J， Liang X， Wei Y， et al. Perceptual Generative Adversarial Networks for Small Object Detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2017：1951-1959.

[11]Liu W，Anguelov D， Erhan D， et al. SSD： Single Shot MultiBox Detector[C]//European Conference on Computer Vision，2016：21-37.