赵建勋,杨文娟,2,张旭辉,2,杜昱阳,2,张 超

(1.西安科技大学 机械工程学院，陕西 西安 710054；2.陕西省矿山机电装备智能监测重点实验室，陕西 西安 710054)

0 引 言

随着我国综合机械化采煤的迅速发展，安全高效的自动化、智能化巷道掘进技术成为当前研究热点[1]。掘进机是综掘工作面的主要设备，掘进机的位姿测量是巷道掘进智能化的关键[2]。目前常用的位姿测量技术包括机器惯性导航定位技术、全站仪定位方法以及视觉定位技术等[3]。惯性导航定位技术受环境因素影响小，具有良好自主检测性，但其使用过程中存在累计误差使得定位困难[4-5]。全站仪可准确快速计算出测量目标空间位置信息，但在煤矿井下应用时，由于粉尘以及巷道空间产生的遮挡都会对定位结果产生影响[6]。机器视觉测量技术的测量信息直观、可靠性高，常以红外光及可见光为特征[7]，根据特征基准位置与巷道坐标系之间的关系来获取掘进机机身的空间位姿，由于该方法使用受井下粉尘、水雾等环境干扰导致特征提取精度下降，使得测量结果不稳定[8-9]。因此，选取有效特征基准，在杂光、粉尘和水雾等复杂背景下准确提取特征信息是利用视觉测量技术精确测量掘进机机身位姿的关键。

文献[10-11]提出了一种基于激光束特征的悬臂式掘进机机身测量系统，该方法以激光束特征构建悬臂式掘进机位姿测量系统，充分利用激光指向仪方向性好、颜色单纯以及亮度高等优点。如何实现煤矿井下高粉尘、低照度环境中的激光特征提取是解算设备精确位姿的关键。该方法中特征提取涉及激光光斑中心和激光束直线的特征提取。传统的光斑中心检测算法有阈值法、重心法、Hough变化法以及圆拟合法[12-14]。吴泽楷等[15]基于改进圆拟合算法，结合了阈值法和中值法的原理,提高了光斑中心位置的精确度。谢欣欣等[16]在天空背景条件下，利用原子滤光片和减小接收机口径进行抑制天空背景，在通过二值化和灰度质心法确定光斑中心位置。对于激光束的直线特征提取，目前针对直线特征检测常用的技术方法有Hough变换检测直线[17-18]和最小二乘直线拟合[19-20]等。闫怀仁等[21]提出了一种改进的Hough变换的直线提取算法，该方法减少了计算量，提高了直线检测精度。目前对于激光特征提取主要是在背景较好的环境中进行检测，对于井下包含杂光、粉尘和水雾等复杂背景中的激光光斑及激光束直线特征提取方法介绍较少。

基于此，进一步研究以激光点和激光束为特征的悬臂式掘进机机身位姿视觉测量方法，提出结合Hough变换与最小二乘法实现杂光、粉尘和水雾等复杂背景下的激光点和激光线的特征提取，再通过空间矩阵变换解算出掘进机机身位姿信息，实现井下悬臂式掘进机的精确定位。

1 悬臂式掘进机位姿视觉测量模型

1.1 系统构成

悬臂式掘进机位姿视觉测量系统如图1所示，由两激光指向仪、CCD彩色防爆工业相机、防爆计算机和悬臂式掘进机组成。将防爆工业相机和防爆计算机固定在悬臂式掘进机机身上，在掘进机后方沿巷道方向水平固定两激光指向仪，安装时保证两激光指向仪激光束平行。利用工业防爆相机采集激光特征的图像，将采集到的图像通过千兆网GigE接口传输到计算机中，并在计算机中实现图像处理及位姿解算。

图1 悬臂式掘进机位姿视觉测量系统示意

图1中坐标系OcXcYcZc为以相机光心为原点建立的工业防爆相机坐标系，利用激光指向仪的两光斑点以及两激光束作为特征，以两激光点的中心点为原点建立激光定向坐标系OdXdYdZd。系统工作时，首先将防爆相机采集到的图像信息传输至计算机中，并在计算机中完成对激光图像的畸变校正、图像处理、特征提取以及机身位姿信息解算。系统流程如图2所示。

图2 悬臂式掘进机机身位姿测量流程

1.2 掘进机机身位姿解算模型

摄像机成像几何模型为针孔成像模型[22]，两激光指向仪平行放置，可以把两激光束以及过两光斑中心点的直线看作围成门形的3条直线，3条直线的位置关系已知，便可将该问题转换为P3L问题，即3线透视问题[23]。图3为基于门形3条直线的悬臂式掘进机机身位姿解算模型。

图3 基于门形3条直线的悬臂式掘进机机身位姿解算模型

图3中坐标系OcXcYcZc为摄像机坐标系，坐标系为OdXdYdZd激光测量坐标系。图中L1、L3是两激光束抽象空间直线，L2则是过两激光光斑P1、P2点的空间直线，激光测量坐标系OdXdYdZd以两激光指向仪的光斑P1、P2的中心点为原点Od，以直线L2为Xd坐标轴，方向指向P2点，Zd坐标轴过Od点平行于L1和L3，利用右手定则确定Yd坐标轴的方向。空间中的三条直线L1、L2、L3共面且成门形，L1与L3平行，L2与L1、L3垂直且相交于两点P1与P2，l1、l3为L1、L3在图像上的投影，q1、q2为P1、P2在图像上的投影，l2为图像中过q1、q2点的直线。此时，根据激光光斑及激光束在图像上的位置可以得到l1、l2、l3在图像平面的直线方程为aix+biy+ci=0(i=1,2,3)。根据文献[10]所述三线透视问题的闭式解可计算得到相机坐标系OcXcYcZc相对于激光定向坐标系OdXdYdZd之间的坐标变换的惟一解，即旋转矩阵M和平移向量T。再结合工业防爆相机坐标系与掘进机机身坐标系之间的转换关系计算得到掘进机在激光定向坐标系下的位置信息。

2 激光光斑中心定位

激光指向仪的激光为波长在650 nm左右的纯净红色激光，井下作业环境存在杂光、水雾等影响因素，无法使用滤镜滤除杂散光源直接进行激光光斑的特征提取，使得目前常用的光斑中心定位算法无法直接使用。为了在井下工作环境中实现对激光光斑中心定位，针对井下存在的杂光等干扰因素，选用CCD彩色工业防爆相机进行图像采集，对采集到的RGB彩色激光图像进行图像处理并结合高斯曲面拟合确定激光光斑中心。

根据激光指向仪的激光光斑和激光光晕的光强和明度不同，对图像中各光斑和激光光晕进行定位。由于光斑亮度高，其RGB三通道值较大，而激光光晕区域的R值高于B和G通道的值，根据图像中像素点的RBG 3通道的值的关系可以在多杂光背景中确定图像中个光斑区域以及激光光晕区域。将得到的光晕区域像素点进行圆拟合得到较精确的激光光晕位置，并将两光晕位置进行标记。利用高斯曲面拟合方法准确获取各区域的光斑中心，结合得到的光晕区域确定激光光斑中心位置。设定RGB 3个通道的阈值分别为R1、G1、B1，设定通道R减通道G的阈值为a，通道R减通道B的阈值为b，图4为激光光斑中心位置具体流程。

图4 激光光斑中心定位流程

激光光斑中心位置确定步骤为：

1)遍历预处理后的图像的像素RGB信息，得到满足(R-G)>a且(R-B)>b的激光光斑边缘区域∑g(i，j)以及满足R>R1、G>G1、B>B1的所有光斑区域∑h(i，j)。

2)对激光光斑边缘区域∑g(i，j)内各激光光斑边缘区域进行分割，确定两个激光光斑边缘的区域∑g1(i，j)和∑g2(i，j)。

3)利用最小二乘法分别对区域∑g1(i，j)和∑g2(i，j)进行圆拟合并确定各圆心坐标O1(i，j)和O2(i，j)。

4)利用高斯曲面拟合方法确定所有光斑区域∑h(i，j)中各光斑的光斑中心位置O′n(i，j),(n=1,2,3,…)。

5)依次计算O′n(i,j)到O1(i,j)和O2(i,j)的距离，并找到O′n(i,j)中的点到O1(i,j)和O2(i,j)的最小距离的点O′q1(i,j)及O′q2(i,j)，O′q1(i,j)及O′q2(i,j)即两激光光斑中心的坐标；按照激光光斑中心位置确定流程，在杂光背景下激光光斑中心提取效果图如图5所示。

图5 杂光背景下激光光斑中心定位

3 激光束直线特征提取

3.1 激光束直线特征提取流程

受井下环境影响导致可能得到存在杂光、短小间断激光束直线图像。根据Hough变换的原理可知，Hough变换检测直线时受其他因素干扰严重、对短直线检测困难。直线拟合方法受到由杂光等引起的图像噪声的干扰降低拟合精度。为防止上述问题对激光束直线特征提取造成的干扰，针对井下激光图像进行基于激光束直线的图像处理，获取可进行直线特征提取的图像信息。

激光束直线提取流程如图6所示，对输入的图像进行图像处理，首先把预处理后的图像由RGB空间转换至HSV颜色空间，并在HSV空间中滤除强干扰因素，得到激光束区域的二值图像，再对激光束区域的二值图像进行边缘提取、骨架提取等处理，得到激光束的轮廓信息以及骨架信息。此时可去除大部分杂光即噪声等干扰信息，再结合Hough变换和最小二乘法去除剩余少量噪声信息，准确、稳定地得到直线方程。

图6 激光束直线提取流程

3.2 激光束图像处理

3.2.1 图像HSV空间颜色特征提取

RGB模型是比较常见的颜色空间模型，但RGB彩色空间之中区分不同颜色近似度困难，HSV是一种，以色调H、饱和度S以及明度V作为颜色参数的直观的颜色模型，根据HSV颜色空间的分量关系区分出含有激光束特征的像素信息。激光指向仪的激光束颜色为红色，根据HSV空间分量H、S、V对应颜色的关系可取H范围为0～10、S范围为50～250、V范围为20～250，此时允许较亮的红颜色的像素点通过。遍历图中像素点，记录通过的像素点的信息，结合Otsu算法获取激光束的二值图像。此时矿灯等其他颜色杂光均可被滤除，可有效地在杂光背景下获取激光束区域。

为进一步减少背景中的噪声，根据计算得到的激光光斑中心位置对图像中激光目标进行分割，得到含有激光束特征信息的区域图像。计算两激光中心坐标(x1,y1)和(x2,y2)点的中心点的坐标(x′,y′)。在图像坐标中划分出矩形的感兴趣区域，其中4个点坐标分别为(x′-400，y′)、(x′+400，y′)、(x′-400，y′-800)、(x′+400，y′-800)。图7为基于HSV空间的颜色特征提取得到的激光束二值图像与分割后的图像。

图7 基于HSV空间的颜色特征提取

3.2.2 图像边缘检测及骨架提取

对得到的激光束二值图像进行边缘检测和骨架特征提取。首先对二值图像进行边缘检测，基于Canny算子对激光束进行边缘检测，使用高斯内核为size=5的高斯平滑滤波器进行降噪。基于形态学对激光束二值图像进行迭代腐蚀实现图像的骨架提取，根据边缘检测得到的图像目标最外层轮廓开始，不断腐蚀目标边界轮廓，直至将图像腐蚀至一条单像素的骨架为止。每次迭代时首先记录获取到的轮廓点信息，然后检测每个轮廓点的8 pix邻域，腐蚀掉含有3或4或5或6或7连通的像素点，直至没有像素点被腐蚀时，便可得到图像的骨架。由于Canny使用了滞后阈值，设置高阈值为100，低阈值为50。如图8所示为对激光束图像进行边缘检测及骨架提取后得到的结果。

图8 激光束边缘检测及骨架信息提取

如图8所示，图8a为激光束图像的边缘检测结果，图8b中紫色像素点和黄色像素点分别为对左右两激光束进行骨架提取得到的骨架信息。由于图像上还可能会存在部分干扰点，再结合Hough变换与改进最小二乘法根据得到的激光束轮廓信息和骨架信息确定激光束直线方程。

3.3 结合Hough变换与最小二乘法的直线检测

Hough变换是将图像中特征检测问题转换为寻找参数空间峰值的检测方法， 通过建立离散参数空间，设置空间累加计数器，根据图像中像素点的信息不断对特征点进行投票，找到累加计数器中峰值所对应的直线来进行图像中的直线检测。由于直线在参数空间的映射容易受到噪声干扰，在算法投票过程中出现无效累积导致虚检、缺检等问题，导致检测精度下降。为提高直线检测精度，结合Hough变换与最小二乘法进行直线方程的获取。

利用Hough变换对直线进行粗定位，通过去除孤立点，利用最小二乘法拟合更精确的直线方程。为提高对整幅图像Hough变换的速度，对激光束图像轮廓信息进行Hough变换。同时，为了准确获取激光束直线位置，设置累加计数器阈值T，当累加数大于T时，提取直线特征。主要步骤如下：

1)获取直线信息。对激光束图像进行边缘检测得到的边缘信息进行Hough变换直线检测，设定阈值T，得到累加计数器中的值大于T时所包含的直线信息。

2)确定初始直线。根据得到的两激光光斑中心点，分别计算两中心点到获得的直线之间的距离，根据两点到直线的最小距离确定两条初始激光束直线l1、l2。

3)骨架特征点信息分割。利用得到的激光束骨架中所有的点计算这些点到两初始直线之间的距离，设置区域外点到直线距离误差D，将到两直线l1、l2的距离范围为0～D的点设为区域∑Q1(xi,yi)和∑Q2(xj,yj)，得到两直线附近区域的点集。

4)分别计算区域∑Q1(xi,yi)中所有到直线l1的距离和区域∑Q2(xj,yj)中所有到直线l2的距离，设置区域内点到直线距离阈值d，将所有距离大于d的点剔除。

6)重复上述步骤4)、5)，直至步骤4)中再无剔除点，即可得到两激光束直线的直线方程。

经过上述算法，通过不断剔除孤立点使得直线拟合过程减少因“野值”引起误差，从而大幅提高激光束直线提取的精确性与稳定性。利用上述算法得到的直线特征如图9所示。图9中蓝色直线为利用Hough变换与最小二乘法计算得到的直线，红色直线则为仅使用Hough变换得到的直线。通过计算左侧激光光斑中心到左侧直线的距离可得，光斑中心到蓝色直线的距离为0，光斑中心到红色直线的距离为3.6 pix。可见，结合Hough变换与最小二乘法计算得到的直线相对于仅利用Hough变换检测得到的直线，不仅具有较高的检测精度，还可以提高直线检测稳定性。

图9 直线检测结果

4 掘进机机身位姿参数解算

以图5原始图像为例，对掘进机位姿解算进行说明。已知相机焦距f=5.134 5 mm，两激光光斑之间距离d=490 mm。通过所述激光光斑中心定位方法，得到图像坐标系中左右两激光光斑中心在图像中的坐标分别为P2(1 434，700)和P1(1 530，699)，左右两激光束直线方程L1和L3分别为710x+373y-1 279 240=0，709x+593y-1 499 277=0，由于直线L3过P1、P2两点，可计算得到L3直线方程为x+96y-68 634=0。可得3个投影面的法向量N1、N2、N3分别为

根据三条激光束在相机坐标系中方向向量V1、V2、V3与投影平面的几何关系有

V3=V1=N1×N3，V2=V1×N2

可解得：

根据摄像机成像模型可得两激光光斑距离相机光心距离k1和k2分别为7 790.5 mm和7 857.8 mm，定义并得到激光点P1、P2在相机坐标系下的坐标为(x1，y1，z1)、(x2，y2，z2)，根据相机成像模型可计算得到P1(793,86，-1 407.49，7 621.14)和P2(1 283,86，-1 408.31，7 623.23)。由于激光测量坐标系位于P1和P2的中心，则可以根据光斑到相机中心距离k1、k2和光斑坐标得到激光坐标系相对于相机坐标系的平移量T：

根据两激光光斑空间坐标，可以计算得到激光测量坐标系计算Xd轴在摄像机坐标系中方向向量为

两激光束直线在图像坐标系中的投影相交于消失点坐标q3(x3，y3，z3)，可得到激光测量坐标系的Yd轴在摄像机坐标系中方向向量为

通过叉乘可以计算得到Zd轴在摄像机坐标系中方向向量为

则可计算得到测量坐标系与相机坐标系之间旋转矩阵M：

通过相机外参标定可以得到相机与机身的转换关系为(90°，90°，-90°)以及(-300，-100，0)，由此可计算得到机身与激光测量坐标系之间的关系为

5 试验及结果分析

5.1 掘进机机身位姿测量试验

为验证机身视觉测量方法的可行性和稳定性，搭建掘进机位姿视觉测量试验平台，如图10所示。试验平台由悬臂式掘进机模型、计算机、MV-EMV510M防爆工业相机以及YHJ-800激光指向仪组成。

图10 悬臂式掘进机机身位姿测量试验平台

为模拟井下巷道环境，利用矿灯以及烟雾制造机进行灯光以及粉尘干扰。试验时工业相机将采集得到的图像信息通过以太网传输到计算机中，在计算机中完成对图像预处理、激光光斑中心以及激光束直线特征的提取，计算获得相机在激光指向坐标系中的位姿。根据激光指向仪坐标系与巷道坐标系之间的已知关系，可得到机身坐标系巷道坐标系之间的关系，实现掘进机机身位姿的实时定位。其中，两平行放置的激光之间距离为55 cm，设定每次移动距离为10 cm，利用计算机编写相机软出发程序，实时触发固定在掘进机上的防爆工业相机采集激光指向仪特征信息，设置采集时间间隔为100 ms。

在实验室进行机身位姿视觉测量精度测试时，将全站仪获得掘进机机身在激光测量坐标系下的位姿真实值与视觉测量计算结果比较，获得视觉测量系统的检测精度。利用本文提出的单目视觉测量系统，计算获得机身和激光测量坐标系之间的转换关系，可确定机身在激光测量坐标系中的机身位姿。研究中也对直线提取算法进行了对比分析，结合Hough变换和最小二乘法的直线特征检测具有一定的优势。表1、图11分别为试验结果数据及试验误差曲线。

表1 悬臂式掘进机机身位姿测量部分试验结果

图11 位姿测量误差

试验结果表明，该方法可以在含有杂光以及粉尘的背景下准确计算出悬臂式掘进机的位置信息。图11中，蓝色曲线为利用Hough变换进行直线提取时的机身位姿测量误差，红色曲线为结合Hough变换与最小二乘拟合进行直线提取时的机身位姿测量误差。

由图11可以看出，结合Hough变换和最小二乘法进行直线提取，计算得到的掘进机机身位置误差，在激光测量坐标系中的误差分别为：X轴方向小于20 mm，Y轴方向小于25 mm，Z轴方向小于18 mm；掘进机机身偏航角角度误差小于0.3°，俯仰角角度误差小于0.25°，横滚角角度误差小于0.3°，小于单一采用Hough变换所解算的位姿误差，实现巷道中掘进机机身位姿的有效测量。

5.2 煤矿井下工业试验

在山西某矿井运输掘进巷道进行悬臂式掘进机机身测量试验，试验平台包括EBZ260型掘进机、防爆工业相机、防爆计算机及激光指向仪等，如图12所示。

图12 井下悬臂式掘进机视觉测量现场试验

现场测试中，将防爆计算机、防爆工业相机等固定在掘进机机身上，在原有激光指向仪旁边再平行固定一个激光指向仪(保证两激光束平行)。利用防爆摄像机采集激光指向仪光斑和光束图像，将图像传输到计算机中完成图像预处理、激光光斑中心定位、激光束直线特征提取以及位姿解算等过程，激光点及激光束图像处理过程如图13所示。

图13 图像处理过程

在井下试验时，2个平行放置的激光指向仪之间距离为60 cm，计算机向防爆相机发软触发指令，间隔100 ms采集巷道图像。考虑掘进机横向移动困难，井下试验时通过移动安装在机身上的防爆工业相机模拟机身横向移动。结果分析时以相机移动距离的人工测量数据为真实值，通过人工测量结果与视觉测量结果对比确定现场的测量误差。由于井下掘进机角度真实值测量困难，故此处仅给出计算得到的掘进机姿态信息。表2、图14分别为试验结果数据及试验误差曲线。

表2 悬臂式掘进机机身井下视觉测量部分试验结果

经过井下视觉测量试验可知，该方法可以在掘进工作面高粉尘、水雾以及杂光的环境下稳定获取激光图像特征，计算出悬臂式掘进机机身位置信息。悬臂式掘进机测量误差如图14所示，采用该方法获得的掘进机机身位置在激光测量坐标系中X轴方向的误差在±40 mm以内，X轴方向的误差在±38 mm以内，Z轴方向的误差在±40 mm以内。根据掘进机现场断面截割成形结果，该方法满足巷道掘进施工精度要求。结合系统选配的捷联掼导系统，近一个月工业试验中保证了悬臂式掘进机精确定位和定向掘进。

图14 悬臂式掘进机位移测量误差

6 结 论

1)采用基于门形三线的单目视觉测量原理，以激光点、线为特征，结合建立的悬臂式掘进机位姿测量模型，可以实现煤矿井下巷道施工中设备精确定位要求。

2)针对井下施工环境设计激光特征提取处理流程，提出结合Hough变换与最小二乘法的特征提取算法，实现了在杂光、粉尘和水雾等复杂背景下激光点、线的精确提取。

3)煤矿井下进行悬臂式掘进机机身位姿测量工业试验表明，采用该方法获得的掘进机机身位置信息的误差在±40 mm以内，可满足巷道掘进施工精度要求。

4)考虑视觉测量在井下应用过程中存在低照度、水雾、遮挡等因素，图像丢帧会导致位姿测试值跳动等异常，下一步应加强与捷联掼导测量等方法的融合机理及方法方面的研究，优势互补提高井下装备位姿测量的稳定性，为实现掘进过程定位、定向和定形截割提供理论和技术支撑。