崔坤坤,樊绍胜

(1.长沙理工大学 电气与信息工程学院,长沙 410114; 2.电力机器人湖南省重点实验室,长沙 410114)

0 概述

变电站是电力系统中电能传输与电压变换的核心枢纽,其设备的巡检质量对电力系统安全运行至关重要[1]。传统人工巡检存在劳动强度大、巡检质量低以及异常故障处理慢等问题,经常会出现错检和漏检等情况,难以满足电力系统安全高效的运行需求。随着智能机器人技术的快速发展,采用巡检机器人代替人工巡检完成其难以实现的任务,对提高变电站的巡检质量和效率具有重大意义[2]。

智能导航技术是变电站巡检机器人实现自主行走的关键,其准确性直接影响机器人的巡检质量。目前,移动机器人应用的导航技术主要包括激光导航、惯性导航、GPS导航、地磁导航和视觉导航等[3]。其中:激光导航极易受环境影响,对于变电站等室外环境,其探测范围有限且成本较高[4-5];惯性导航由于自身存在累计误差,因此会造成导航定位出现偏差[6];GPS导航应用于变电站时,其接收信号的准确程度会受到大量电磁干扰的影响[7-8];地磁导航的定位精度较低,且后期改造和维护较困难[9];视觉导航与其他导航方式相比,具有成本低、获取信息丰富以及路径布局柔性大等优点[10]。

在特征识别方面,传统的目标检测算法多数采用图像处理和机器学习算法相结合,主要对图像的梯度、纹理、形状和小波[11]等人工设计特征进行提取,然后将其送入支持向量机(Support Vector Machine,SVM)[12]和贝叶斯分类器[13]中分类学习,从而实现对目标特征的检测。然而人工设计特征需要大量先验知识,特征表达能力弱且提取过程复杂,不适用于背景复杂多变的路径图像特征识别。

近年来,随着深度学习技术的快速发展,特征提取和特征量匹配逐步简化。当前基于深度学习的目标检测算法主要包括以R-CNN系列[14-16]为代表的有区域建议算法和以YOLO[17]、SSD[18]为代表的无区域建议算法。Faster R-CNN是R-CNN系列中性能最好的算法,其采用区域建议网络(Region Proposal Networks,RPN)代替传统选择性搜索(Selective Search,SS)以完成目标候选区域的提取,实现了端到端的训练与检测,在保证检测精度的同时检测速度也得到很大提升。YOLO、SSD等无区域建议算法省去了候选区域提取过程,虽然其计算速度较快,但是检测精度低于Faster R-CNN等有区域建议算法。

为提升变电站巡检机器人的导航精度和巡检工位点特征识别鲁棒性,本文将巡检机器人导航相机采集的图像分为导航窗口图像和特征识别窗口图像,采用基于色调、饱和度和亮度(Hue,Saturation and Value,HSV)颜色空间的灰度图重构方法以及分区自适应阈值分割方法提取导航窗口图像的导航路径,同时对Faster R-CNN算法中RPN网络区域候选框进行改进,搜索特征识别窗口图像的分支路径和巡检点以提高路径特征识别精度,并通过实验验证本文所提方法的工程实用性。

1 动态双窗口设置

巡检机器人导航相机通常采取倾斜安装的方式,以便在较大视野下预判巡检机器人的走向。但是在实际视觉引导过程中,由于受到地面障碍物的影响,导航图像选用相机全视野范围会带来较大误差,因此其采取导航窗口与特征识别窗口分离式设计,导航窗口采用动态设置,而特征识别窗口以导航相机全视野作为其视野范围,从而提高巡检机器人的导航精度和特征识别鲁棒性。

导航相机视野范围如图1所示,其中:AB为相机的视野平面,记为L;BF为导航窗口的最大高度,记为l;DE为垂直于相机光轴OC的无倾斜畸变平面;θ为相机安装倾斜角;α为相机视角的1/2,h为相机安装高度。

图1 导航相机视野范围

导航窗口横向约束即最大高度l的表达式为:

(1)

由于巡检机器人在行走过程中可能受到外界干扰,导致其采集的某帧图像完全错误,因此本文采取归一化互相关匹配算法来避免该干扰,并形成导航窗口的纵向约束。导航图像底部区域受到外界光线干扰最小,在正常光照条件下截取包含导航路径的部分图像作为模板图像T,同时在导航相机采集到的图像底部截取与模板图像等高区域图像S作为待匹配图像。计算模板图像与待匹配区域图像的相关系数μ(i,j)为:

(2)

其中,模板图像T的大小为m×n,Si,j为待匹配图像S与模板图像T对应的子图像,(i,j)为子图像左上角像素在待匹配区域图像S中的坐标。

利用归一化互相关匹配算法在待匹配图像中找到μ的最大值,判断其是否大于设定的阈值μ0:如果μ>μ0,则表示匹配成功,在匹配位置左、右两侧宽度为d的区域形成纵向约束;如果μ<μ0,则表示匹配失败,需丢弃当前帧图像,再次采集图像进行判断。在导航相机视野范围内,通过对导航窗口的横向约束和纵向约束,最终动态确定导航窗口范围。导航窗口和特征识别窗口布局如图2所示。

图2 导航窗口与特征识别窗口布局

2 导航窗口视觉引导

2.1 视觉导航流程

在机器人巡检过程中,由于不同地点的光照条件会不断变化,且存在地面反光、强光照、暗阴影等各种复杂光照干扰,因此为提高视觉导引的稳定性,需要对各种复杂光照条件进行处理。图3为直线型和曲线型导航路径。巡检机器人通过导航相机的前置镜头实时获取地面导航路径信息,将导航窗口范围内的红绿蓝(Red,Green and Blue,RGB)图像转换为HSV图像,并调节R、G、B3个分量的配比系数进行灰度图重构,以减小强光照、阴影和积水等复杂环境的影响。对重构后的灰度图采用双边滤波算法[19]滤除路面干扰特征,同时使用分区自适应阈值分割算法提取导航路径,并将其简化为直线模型,对导航路径中心点进行直线拟合,进而计算出巡检机器人相对导航路径的距离偏差。

图3 直线型和曲线型导航路径

2.2 HSV颜色空间转换与灰度图重构

导航相机采集的图像通常采用RGB颜色空间表示,但是由于RGB颜色空间中两点的欧式距离与颜色距离不为线性关系,颜色受亮度影响很大,且RGB图像中三基色相互影响,不具备颜色空间的独立性,因此RGB颜色空间不适用于变电站等光照随时变化的室外环境图像处理。为避免上述问题,并减少光照、阴影等自然因素对导航路径分割的影响,本文采用HSV颜色空间[20]。

图4为HSV颜色空间分量图像以及经过灰度重构和滤波处理的图像。其中,图4(a)为导航相机采集的强光照下有阴影的导航路径原始图像。从RGB颜色空间转为HSV颜色空间的色调分量(H)、饱和度分量(S)、亮度分量(V)3分量图像分别如图4(b)～图4(d)所示。可以看出,黄色导航路径在色调分量和亮度分量中分别呈现出黑色与白色,同时饱和度分量对光照强度不敏感(彩色效果参见《计算机工程》官网电子版)。

图4 HSV颜色空间分量图像以及经过灰度重构和滤波处理的图像

(3)

(4)

得出系数矩阵后,对与亮度分量和饱和度分量融合后的灰度图点乘做进一步灰度重构,以最大程度地凸显导航路径部分,重构过程如式(5)所示:

f(x,y)=(2×S(x,y)+V(x,y))×H′(x,y)

(5)

为避免路面干扰特征的影响,本文采用双边滤波算法处理重构后的导航图像,从而在实现对图像去噪的同时,能较好保留路径边缘等细节信息。灰度重构和滤波处理后的图像分别如图4(e)和图4(f)所示。

2.3 分区自适应阈值分割

为了从背景图像中分割出导引路径,需要对灰度图像进行二值化处理。本文采用分区自适应阈值分割算法分割图像,并基于引导线宽度先验知识对分割结果进行滤波处理,具体步骤如下:

1)将导航窗口灰度图f(x,y)沿纵向均分为3个子区域Z[i],并计算各子区域的平均灰度值Tavg[i]。

2)运用Ostu算法计算每个子区域最佳分割阈值Tostu[i],并将Tostu[i]与平均灰度值Tavg[i]进行融合得出各子区域的分割阈值Ti,计算公式为:

(6)

其中,n为权重系数,i为分区编号。当n≥2时,导引路径分割效果基本一致。

3)对各子区域Z[i]进行二值化处理,得到导航窗口的二值图像表达式为:

(7)

4)逐行扫描二值图像得到连续白色像素点长度L。由先验知识可知,导引路径在图像上具有一定的宽度范围[lmin,lmax],若L在该范围内,则保留该段连续像素点,否则将其灰度值设置为0。

图5(a)为导航相机采集到的在强光照下有阴影的导航路径原始图像,图5(b)为路径图像做灰度重构并通过分区自适应阈值分割与滤波处理的图像,可见使用分区自适应阈值算法能完整地提取出导航路径。

图5 采用分区自适应阈值分割算法处理前后的对比

2.4 导航路径偏差计算

对二值图像G(x,y)进行逐行扫描,记录连续白色像素起始点和终止点的横坐标:如果当前点值为1,前点值为0,则设置当前点为起始点,并将该点横坐标值记为Sx,n;如果当前点值为0,前点值为1,则设置当前点为终止点,并将该点横坐标值记为Ex,n,n为当前最大扫描行数。连续像素中点坐标(xi,yi)的计算公式为:

xi=(Ex,n+Sx,n)/2

(8)

yi=n

(9)

在实际导航路径中存在直线型和曲线型2种导航路径。由于导航窗口设置的视野范围较小,因此曲线型路径可近似视为直线型。本文将导航路径简化为直线模型,采用最小二乘法对提取到的路径中点进行拟合,计算巡检机器人相对导航路径的距离偏差为:

(10)

3 基于Faster R-CNN的路径特征识别

在实际应用中,导航路径需要根据变电站内的设备分布进行合理规划。本文针对左-前、右-前、左-右、左-中-右4种多分支圆弧转弯路径以及巡检工位点十字标识进行研究,采用Faster R-CNN算法对特征识别窗口中的路径特征进行检测与定位。机器人在检测到多分支路径时,将根据巡检任务选择1条分支路径进行精确导航;机器人在检测到巡检工位点十字标识时,会停止移动并开展巡检任务。

3.1 基于Faster R-CNN算法的路径特征检测

Faster R-CNN算法包含特征提取卷积神经网络、区域建议RPN网络以及基于区域卷积的R-CNN网络3个深度神经网络。用于特征提取的卷积神经网络可根据需要选用不同网络结构;区域建议RPN网络用来输出目标可能的位置;基于区域卷积的R-CNN网络用来输出调整后的目标精确位置,并对目标进行分类。

基于区域建议的目标检测Faster R-CNN模型结构如图6所示。对于任意大小为P×Q的图像,首先按比例缩放至M×N,然后采用1个包含卷积(Conv)层、ReLU激活函数层以及ROI池化(Pooling)层的CNN卷积神经网络提取特征图。若基础卷积神经网络模型层数越多,则特征提取精度越高,但运行速度也越慢。当网络模型层数达到一定数量时,会出现梯度弥散或者消失的情况,造成网络难以训练,并导致提取特征的语义属性减弱,对类别判断能力变差。因此,综合考虑运行速度和特征提取精度,本文选用VGG-16模型,其含有13个Conv层、13个ReLU激活函数层以及4个Pooling层。Conv层卷积核大小为3×3,边缘扩充1个像素,卷积步长为1,从而保证图像在经过卷积后大小保持不变。Pooling 层对每个不重叠的2×2区域进行降采样,每经过1次池化操作,特征图的长度和宽度都减少原来的1/2,降低了卷积层输出的特征向量维度。ReLU激活函数层可避免梯度消失、增加网络稀疏性并减少过拟合,从而提高特征检测速度。大小为M×N的图片经过VGG-16模型处理后大小变为(M/16)×(N/16),生成的特征图中的每个像素点对应原图中1个大小为16×16的区域。

图6 Faster R-CNN模型结构

Faster R-CNN算法采用RPN网络进行候选区域提取。由CNN模型提取的路径特征图输入RPN后,将该特征图中每个像素点定义为1个锚点,然后对每个锚点在原图对应位置的候选框进行检测,进而判断其中是否包含1种物体。Faster R-CNN算法预设9种类型的候选框,分别对应128、256、512这3种尺寸和1∶1、1∶2、2∶1这3种长宽比。由于导航相机在巡检机器人上的安装位置和路径线宽固定,因此路径特征在导航图像中呈现出扁平状。本文从候选框的长宽比出发,总结导航图像中路径特征长宽比的特点,并替换了1组长宽比,此时候选框对应的尺度为128、256、512,长宽比为1∶1、1∶2、2∶3。

RPN的计算过程如图7所示,其中每个锚点对应的候选框个数k=9。对输入的特征图谱进行3×3卷积操作,将每个锚点转换为1个具有统一维度的特征向量,分别传入到分类层和回归层。在分类层,检测该区域是否包含路径特征,2个输出节点分别表示属于前景和背景的概率。在回归层,修正候选框的位置,并分别输出候选区域中心点的坐标(x,y)和候选区域的宽w、高h。

图7 RPN的计算过程

ROI池化层用来接收RPN所输出包含物体的候选区域数据,并采用空间金字塔池化(Spatial Pyramid Pooling,SPP)算法[21]在保证特征信息的基础上归一化输入向量的维数。本文使用1×1、2×2和4×4这3种空间变换因子对特征图进行池化,将任意尺寸的目标候选域转换为21维特征向量,并传入到全连接网络进行分类和框回归。

3.2 数据集建立

巡检机器人在移动采集导航图像时极易受到外界环境中光照、地面杂物以及引导线破损等因素干扰,这极大提高了路径特征识别难度。本文在采集5类路径特征图片建立数据集时,对污损路径进行人工处理,且针对每种路径特征在不同光照和阴影条件下采集7 200幅图像,并将图像旋转180°进行数据增强。

图像样本经标注处理形成PASCAL VOC数据集格式,数据集中图像样本共14 400幅,其中训练集图像和测试集图像分别为10 080幅和4 320幅。在训练过程中再将随机选出的训练集分为n等份,其中n-1份为训练集,另外1份为验证集,每隔n轮训练就计算1次验证集平均误差作为模型误差,最后采用测试集评估模型的泛化能力。

3.3 模型训练

本文Faster R-CNN模型训练是在完成VGG-16模型训练的基础上继续进行的训练。采用近似联合训练的方法,直接将Faster R-CNN算法输入和输出部分之间的3个神经网络看作1个神经网络进行训练,从而实现网络之间的特征共享以及端到端训练。该方法虽然忽略了网络响应的导数,但是并不会造成特征提取精度损失。

训练采用Ubuntu16.04系统、Tensor-flow1.10与Python3.6环境、TITAN X显卡和12 GB显存。所有训练集均迭代训练8万次,在每个训练批次中采用Dropout方式随机忽略一定比例的隐含层节点,以减少神经元之间的相互依赖,进而抑制网络过拟合,缩短网络训练时间。采用衰减学习率的方法将前4万次和后4万次的学习率分别设置为0.001和0.000 1。将平均准确率(Average Precision,AP)作为评价指标,AP值为P-R曲线围成的面积,其中P为准确率,R为召回率,其计算公式为:

(11)

(12)

其中,TP为被正确分类为正例的样本数,FP为被错误划分为正例的样本数,FN为被错误划分为负例的样本数。

4 实验结果与分析

为验证本文所提方法的可行性,研制并使用一款基于视觉导引的变电站巡检机器人,如图8所示。巡检机器人通过前置倾斜安装的导航相机采集路径导航信息,上位机采用TMS320 DM642 DSP处理器完成导航路径偏差计算与路径特征识别,下位机采用STM32F407处理器根据路径偏差对巡检机器人进行运动控制。此外,将实验场地设置在室外,采用黄色树脂涂料铺设视觉导引线,分别设置左-中、右-中、左-中-右、左-右4种圆弧分支路径以及巡检工位点十字标识,圆弧路径半径为550 mm。为模拟变电站实际环境,使用灰尘等覆盖物对部分导航路径和特征标识进行遮盖处理,并使部分路径处于积水或者阴影覆盖状态。

图8 变电站巡检机器人

分别在强光照和弱光照2种自然光照条件下在上述实验场地对巡检机器人进行现场测试,并采用方向梯度直方图(Histogram of Oriented Gradients,HOG)特征描述子结合支持向量机的传统目标检测方法与本文检测方法进行实验对比。巡检机器人以0.7 m/s的速度循环通过并在线识别5种路径特征,且分别对每类路径特征识别100次,记录巡检机器人在视觉导航过程中相对导引线的位置偏移量与特征识别结果。

4.1 导航路径跟踪

图9和图10分别为巡检机器人在强光照和弱光照条件下,在同一直线和弯道路径上进行导航跟踪的距离偏差曲线。导航相机共采集600帧图像,采样频率为10 frame/s。可以看出,在2种自然光照条件下,巡检机器人在直线路径上的偏差保持在5 mm以内,在弯道路径上的偏差保持在25 mm以内,满足导航精度要求。巡检机器人在弯道路径上偏差较大,这是因为当巡检机器人由直线路径切换到弯道路径时,动态导航窗口已经切换到转弯路径并计算其偏差量,但巡检机器人仍在直线路径上,相当于输入了1个路径偏差阶跃信号。巡检机器人下位机跟踪控制器将根据路径偏差值实时调整机器人左、右轮的速度,直到从转弯路径回到直线路径上,整个过程中巡检机器人始终保持对导航路径的精确跟踪。

图9 巡检机器人在强光照下的跟踪偏差曲线

图10 巡检机器人在弱光照下的跟踪偏差曲线

4.2 路径特征识别

表1和表2分别为强光照和弱光照下采用传统HOG+SVM目标检测方法(以下称为传统方法)和本文优化后的Faster R-CNN方法(以下称为本文方法)对5类路径特征进行在线识别的结果。可以看出:在强光照下,本文方法的平均识别准确率为98.8%,比传统方法更高;在弱光照下,本文方法的平均识别准确率为98.4%,与强光照下相比基本未发生变化,但是传统方法的平均识别准确率却由强光下的91.8%降低到85.4%,下降幅度较大。本文方法在2种不同光照下的平均识别准确率为98.6%,对光照条件在一定程度上具有不变性,可满足复杂多变场景下进行目标检测的需求。

表1 强光照下5类路径特征在线识别结果

表2 弱光照下5类路径特征在线识别结果

巡检机器人在不同光照条件下采用本文方法对5类路径特征都具有较好的识别效果,但在识别左-前和右-前路径特征时,出现较大误判,将其识别为相反方向的路径特征。这是因为左-前和右-前路径特征均由1条直线路径及其旁边1条曲线路径构成,由于导航相机采集的图像视野范围较小,因此直线与曲线连接处的圆弧路径外观上接近直线路径,当巡检机器人和导航路径存在较大位姿偏差时,直线路径特征在导航相机视野中发生旋转,使得机器人将圆弧路径误判为当前所在的直线路径,从而造成路径特征分类错误。然而这种分类错误不会导致巡检机器人跟踪错误,例如当巡检机器人收到右跟踪指令时,无论其将多分支路径误判为左-前路径还是右-前路径,巡检机器人始终跟踪路径特征中的右侧分支。采用本文方法对不同场景下巡检工位点路径特征的识别结果如图11所示。可以看出:在常规场景下,本文方法对巡检工位点路径特征的识别精度达到93%,在覆盖、阴影、积水场景下,本文方法的识别精度达到98%以上,可对路径特征进行精准识别,具有较好的鲁棒性。

图11 本文方法在不同场景下对巡检工位点路径特征的识别结果

5 结束语

本文提出一种基于动态双窗口导航的改进Faster R-CNN特征识别方法。将采集到的导航图像动态划分为导航窗口图像和特征识别窗口图像,分别采用分区自适应阈值分割算法和改进Faster R-CNN算法对上述图像进行处理,以提高路径特征识别精度。实验结果表明,与传统HOG+SVM目标检测方法相比,该方法有效提高了巡检机器人导航精度和路径特征识别鲁棒性。后续将提高巡检机器人的视觉避障性能,以满足导航路径存在障碍物时的实际应用需求。