输电线路航拍图像智能识别技术实用化探讨

2020-12-10翟瑞聪刘高周华敏许国伟

电子元器件与信息技术 2020年9期

翟瑞聪，刘高，周华敏，许国伟

（1.广东电网有限责任公司机巡管理中心，广东广州 510160；2.广东电网有限责任公司汕头供电局，广东汕头 515000）

0 引言

计算机科学技术的进步为输电线路巡检工作的高效开展提供了可能性。图像识别技术和线路航拍技术的结合，大大改善了人工巡检的复杂、不精确等问题，节省了人工成本，同时也实现了人工巡检无法比拟的效率提升。近年来，国内外很多学者在输电线路航拍图像智能识别技术的研究上，取得了较大进步，新的科研成果层出不穷。本文以示范工程项目为依托进行了积极尝试，发现科研成果的实际应用存在一些问题，比如识别范围无法全覆盖、误检与漏检难以找到平衡点、识别算法未利用设备位置信息、识别结果存在重复现象、识别结果未与历史数据对比分析，等等。针对这一现状，本文进行了一些解决方案的研发，取得了不错的效果。

1 图像识别与线路航拍

1.1 图像识别

图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。现阶段，图像识别技术广泛应用在人脸识别和商品识别，人脸识别主要运用在安全检查、身份核验与移动支付中，商品识别主要运用在商品流通过程中，特别是无人货架、智能零售柜等无人零售领域[1-2]。

1.2 线路航拍

线路航拍是指利用直升机和无人机通过拍摄手段开展输电线路巡检，优点在于无需拉闸断电的情况下，即可对输电线路进行检测，对其故障进行判别[3]。与传统人工巡线方式相比，该技术不仅能大幅度提高工作效率，有效保障巡线作业人员的人身安全，降低巡线成本，而且还能大大缩短了系统反应时间。南方电网 “十三五”发展规划提出了“全面推行‘机巡+人巡’的巡线模式”工作要求，加快实现输电线路精益化运维转变，已成为输电线路巡检的重点发展方向[4]。

1.3 两大技术融合

线路航拍的产物是以架空线路杆塔及通道为拍摄对象、野外复杂环境为背景的高清图像，通常情况下仅能依靠人工进行缺陷隐患分析。随着直升机和无人机巡检的大规模应用，巡检作业产生了数以万计的航拍图像，传统的人工分析效率较低，准确性不高，难以形成一套完善的缺陷隐患判断方法[5]。

图像识别技术的出现，恰好弥补了线路航拍人工分析图像所带来的短板。通过图像识别技术，对海量航拍图像进行缺陷隐患自动识别，解决了人工判别尺度不一的难题，提升了分析可靠性，很大程度上解放了巡检人员的双手。

因此，图像识别与线路航拍两大技术的深度融合，必然是未来数年输电线路智能化巡检的重大研究课题。

2 实用化中存在的问题

近几年，输电线路航拍图像智能识别技术在国内外研究机构和电网公司的积极研究下，取得了一定的进步，各种科技成果不断涌现[6-9]。广东电网在示范工程项目也进行了尝试，但将科研成果应用到实际的生产工作中，却发现了不少实用化问题，未达到预期效果。

2.1 识别范围无法全覆盖

自2015年以来，广东电网通过线路航拍累计发现了11余万项缺陷隐患，类型371种，其中样本少于200个的缺陷隐患高达342种。根据广东电网的研究分析，图像识别准确率与样本数量成正比例关系，图像漏检率与样本数量成反比例关系，准确率高于70%或漏检率低于15%均需要图像样本1000张，如图1所示。

因此，现阶段的输电线路航拍图像智能识别能力在实用化过程中具有局限性，识别范围无法覆盖绝大多数缺陷隐患类型。

2.2 误检与漏检难以找到平衡点

误检和漏检是图像识别领域中难以避免的，输电线路航拍图像智能识别也不例外。图像识别的误检和漏检发生概率很大程度上取决于识别算法优劣，科研成果的识别算法低误检率和低漏检率往往仅建立在测试图片集，但在实用化过程中却不尽如人意。原因在于科研环境下的识别算法参数设置，并不是适用于实际环境。因此，需要在实际环境下寻找误检和漏检的平衡点，以避免在实用化过程中产生人工再次识别的额外工作量。

2.3 识别算法未利用设备位置信息

当前，输电线路航拍图像智能识别绝大多数采用基于深度学习的视觉检测方法[10]。深度学习源于人工神经网络，通过含多个隐藏层的多层感知器进行处理，逐渐将初始的“低层”特征表示转化为“高层”特征表示后，用“简单模型”即可完成复杂的分类等学习任务。但深度学习模型架构本身是“黑盒”，运行机理难以解释。基于深度学习的输电线路航拍图像智能识别算法基本没有利用已知的专业知识进行优化，其中设备位置信息是视觉中最重要的知识。

2.4 识别结果存在重复现象

线路航拍一般情况下按照一定顺序进行图像拍摄，采集的图像具有连续性特征。同一设备或同一缺陷隐患往往重复出现在连续的几张图像，导致识别结果（包括误检部分）存在重复现象，在实用化过程中不但不利于巡检分析报告的编制，而且浪费了图像识别所需的GPU处理资源和处理时间。

2.5 识别结果未与历史数据对比分析

历史缺陷隐患数据是线路航拍积累多年的宝贵财富，潜在价值需要不断深入挖掘。虽然图像识别在模型训练阶段已充分利用历史缺陷隐患数据，但在识别结果输出阶段却忽略了历史数据的价值。在实际工作中，设备同一位置重复发现同一缺陷隐患的可能性非常大，缺陷隐患可能反复发生，也可能暂未消缺。因此，若实现识别结果与历史数据对比分析，图像识别准确率会进一步提高。

3 实用化提升探讨

针对上述实用化存在的问题，广东电网结合自身线路航拍及数据处理特点，在以下几方面进行了探讨。

3.1 缺陷隐患分析流程改进

传统的航拍图像缺陷隐患分析流程基本采用人工处理，一般包括：①航拍图像现场采集→②图像数据人工整理→③图像数据人工上传→④数据处理任务人工分配→⑤图像数据人工识别→⑥识别结果人工汇总并录入缺陷系统，如图2所示。具有图像数据存储不规范、数据处理任务分配难度大、人工识别工作量大、流程容易产生人为问题等缺点。

引入数字化工具软件、图像识别等技术后，分析流程发生了很大程度的改变。“②图像数据人工整理”环节利用了无人机拍摄的定位信息进行了图像数据自动整理，或通过工具软件进行辅助整理（直升机线路航拍通常按既定顺序进行图像采集，使用软件进行人工简单调整即可完成整理），此时图像数据自动赋予了位置信息（3.3节将详细讲述位置信息的用途）。“③图像数据人工上传”和“④数据处理任务人工分配”则自然转换为改进后流程的“③图像数据自动上传”和“④数据处理任务辅助分配”。图像识别技术主要改变了“⑤图像数据人工识别”环节，软件系统按任务计划在后台自动进行图像数据自动识别，但2.1节分析得出“识别范围无法全覆盖”，加之图像识别天然存在的误检和漏检，故自动识别后仍需人工简单确认识别结果。“⑥识别结果人工汇总并录入缺陷系统”则转换为“⑥识别结果自动汇总并推送到缺陷系统”。最终形成改进后的航拍图像缺陷隐患分析流程，如图2所示。

图像识别科研成果一般不会详细考虑实用化过程中急需解决的图像数据自动整理、数据处理任务分配、自动识别结果人工确认、识别结果推送缺陷系统等问题，广东电网根据改进后的航拍图像缺陷隐患分析流程特点，在②A环节通过无人机自动驾驶APP移动端实现，在②B环节研发了航拍图像规范化整理工具软件，最后研发了输电线路航拍图像智能识别系统（简称“图像识别系统”）实现③、④、⑤A、⑤B、⑥等环节的一体化功能，建立起“自动识别+人工识别”输电航拍图像缺陷隐患分析新模式。

3.2 识别算法参数定制化设置

在识别算法参数设置中，误检率低和漏检率低的算法无需特别关注。但假如无法保证识别算法的高质量，则需要调整识别算法参数来控制识别结果的输出，寻找出误检和漏检的平衡点，从而避免在实用化过程中产生人工再次识别的额外工作量。

譬如，杆塔相序牌褪色、塔身有异物等缺陷的识别效果一般，出现概率较大，图像识别时经常发生误检，但此类缺陷又不属于重大缺陷。换句话说，即使出现漏检影响也不大，此类型缺陷则应减少识别结果的输出，降低误检率。

反之，悬垂线夹螺栓螺帽缺失、导地线断股等缺陷的识别效果同样一般的情况下，出现频率较小，但属于重大缺陷，漏判将会造成严重影响，此类型缺陷则应增加识别结果的输出，降低漏检率。

因此，识别算法参数应根据缺陷等级和出现概率进行定制化设置，表1是建议的识别算法参数阈值设置表，实际使用应按具体情况调整。

表1 识别算法参数阈值设置

3.3 识别算法基于设备位置信息优化调整

现阶段，识别算法基本没有利用设备位置信息。设备位置是天然存在的重要信息，3.1节提及的②A、②B环节能够自动赋予每张图像具体的绝对位置信息，比如塔基、塔身横担处、塔身平口处、横担挂点、地线挂点、线路通道等。图像识别系统应根据绝对位置调用不同的识别算法，如绝缘子串图像应调用玻璃绝缘子自爆、螺栓螺帽松动、销钉缺失等识别算法，而不应调用杆号牌破损、藤蔓缠绕、基础积水等识别算法。

下面以某500kV线路N40耐张塔为例，要求拍摄21张图像，中相玻璃绝缘子串出现在其中的4张图像，如图3所示。图像①和②分别拍摄了全塔和塔身横担处，图像③和④分别拍摄绝缘子串的左侧和右侧，中间部分存在重复，根据设备位置排除图像①和②的玻璃绝缘子自爆识别算法的调用，只需对图像③和④进行该算法调用。

设备位置有绝对位置和相对位置之分，部分图像还可以利用不同设备之间的相对位置，比如绝缘子棒和三角板连接金具处在相邻位置、防振锤在导线靠近杆塔的地方。

总结各个设备的绝对位置和相对位置，并将其融入已有的识别算法进行优化调整，将会很大程度上降低误检率。

3.4 航拍图像识别有效区域优化选取

无论直升机航拍，还是多旋翼、固定翼无人机航拍，广东电网均根据塔型属性进行了数据采集的规范性要求，包括图像拍摄顺序、设备在图像中的占比和位置等。按常规的拍摄习惯，既定目标处于图像中心区域，即4个黄金分割点附近及其中心位置，视为识别有效区域。图像周边区域的设备或场景，基本不包含既定目标，无需关注，视为识别无效区域。

根据航拍图像的连续性特征，某设备（既定目标）在图像A处于识别无效区域，但在图像B处于识别有效区域，故仅需对图像B的识别有效区域进行图像识别即可。

以3.3节的图像③和④为例，根据线路航拍的黄金分割线构图法原理，图像③和④的红色虚线矩形（即识别有效区域）已包含绝缘子串既定目标，红色虚线矩形以外的绝缘子串在不同的图像重复出现，如图4所示。

航拍图像识别有效区域的优化选取，一般与3.3节的基于设备位置信息优化调整算法相结合使用，能够大大节省GPU处理资源和处理时间。

3.5 实现与业务系统互联互通

信息系统互联互通，打破数据孤岛，是数字电网发展的必要结果。为实现图像识别系统与缺陷系统等业务系统的互联互通、数据共享，采用公共信息模型CIM 10[11]，以线路设备台账为数据连接点，通过线路名、杆塔号、设备位置等进行缺陷隐患数据的自动关联，并利用图像对比技术快速判断出当前图像与历史图像的区别，修正图像识别结果，进一步提高识别准确率。

4 应用效果分析

广东电网开展线路航拍以来，一直重视图像数据积累，2018年年底建成了国内最大的省级电网线路航拍缺陷隐患图像样本库（28万张），覆盖近40类缺陷隐患类型。同时，开展了输电线路航拍图像智能识别技术研究，逐步着力将科研成果转化为实际生产力，但在实用化过程中发现了第2节的五大问题，效果未达到预期。

通过本次应用研究，广东电网根据改进后的航拍图像缺陷隐患分析流程特点，制定了五项实用化提升措施，2019年4月成功研发了新一代的输电线路航拍图像智能识别系统，如图5所示。该系统部署了19类缺陷隐患识别算法，其中6类识别准确率达90%以上，并实现了图像识别系统与缺陷系统之间的历史数据共享和识别结果自动推送。

实用化应用是一个长期的艰难过程，需通过在基层班组不断的推广和经验总结，研发团队不断的算法迭代更新和提升系统用户体验，方能促进输电线路航拍图像智能识别技术进一步发展[12-13]。