范红斌张 坤

（1.山西潞安环保能源开发股份有限公司常村煤矿，山西 长治 046102；2.辽宁工程技术大学工商管理学院，辽宁 葫芦岛 125105）

近年来国家一直强调设备的机械化、自动化、信息化、智能化的改造，大多矿企将实现“机械化换人、自动化减人”作为转型升级的重要措施[1]。因此，提出矿用煤流安检杂物预报筛捡机器人关键技术[1-6]，将高清摄像和成像技术应用于煤矿开采领域，通过有针对性的图像、大数据分析实现煤流杂物的识别、筛选、预警及机器人指令驱动[7-10]，解决煤矿开采运输过程（简称“煤流”）中出现的严重影响安全生产的一系列问题，在实际应用中具有非常重要的意义和必要性。

1 国内外研究现状

目前国内外煤炭开采的过程中，仅有巡查、巡检类的机器人开始试用，而开采的煤炭经过顺槽破碎机的一次破碎后很难保证炭块、杂物等物料的体积满足运输、转载过程中不出现卡口、撕裂胶带现象的要求，经常发生各种严重影响安全生产的问题，且煤流中也会混入大块木料、铁器等物品。导致以上问题发生的根本原因是运输沿线没有很好的探测预报装备，仅靠人为的看护和简单的控制装置不能辨识是煤炭还是杂物。

因为诸多不确定因素，适合煤矿井下使用的智能机器人一直处于空白，虽然近两年在试验射线式捡矸机器人，但采用射线式存在诸多问题。同时，使用环境恶劣，粉尘、瓦斯浓度高，对系统的防护等级提出了更高的要求，适应煤矿的“防爆化”要求，也是一项新的技术挑战。另外，由于煤流中杂物的多样性、特殊性，对系统的识别能力和指令是一项重大挑战。再则，煤矿的生产能力、运输速度不断提升，相应的筛选物料任务也在增大，对系统提出了更高的要求。

为了能够实现杂物筛选操作，本文首次提出将国际上成熟的、先进的高清摄像和成像技术应用于煤矿开采领域，使其具有获取外部图像信息的能力，增强其自适应性以满足筛选种类繁多的杂物要求，通过有针对性的图像、大数据分析并应用于煤流杂物识别、筛选、预警、机器人指令驱动等控制技术中。此研究是一次煤矿开采技术的提升，并且可推广应用于煤矿开采技术的其他机器人中。

2 研究关键技术

综合考虑理论及实际情况，选择机器视觉识别+神经网络技术+AI 算法+预警信号的方案，根据现场皮带运转情况，用煤流安检杂物预报筛检机器人对杂物进行识别，将识别后的杂物通过机械动作装置筛选至杂物仓，实现煤流的清理工作。

（1）将抓拍成像技术和卷积神经网络应用于技术中，对物料进行深度识别，将煤流中的大块杂物去除，提升煤质，减少杂物堆积而引起的设备故障。

（2）将识别后的物料通过预警装置预报，预留接口可与机械动作装置进行线路连接，并发出驱动机械装置对物料的转移和定位等指令，有效实现物料分离的智能效果，且通讯能力满足调度一体化需要和信息传输，具备升级改造条件。

3 方案设计

3.1 识别硬件

（1）工业相机。工业相机是图像采集环节中重要的视觉传感器，相较于其他相机，其具备更强的稳定性及抗干扰能力，其与光学镜配合一起构成了图像获取的单元，在视觉筛选作业中，工业相机捕捉图像帧然后送至工业控制计算机处理。

（2）光学镜头。光学镜头的主要作用在于调制光束，通过折射将成像目标物体的光线照射到视觉传感器的感光面上，进而将光信号转换成电信号，最终产生数字图像。

（3）照明光源。在机器视觉系统中，光源照明方案的选取直接影响到目标的成像效果，进而影响到视觉算法的设计和系统运行的稳定性，一般情况下，光源配备有相应的光源控制器。

3.2 系统软件设计

本系统设计基于机器视觉的工业机器人杂物筛选系统总体方案，系统的主要组成部分包括基于广数机器人的筛选抓取子系统和图像获取分析子系统。通过网口从相机端采集图像并完成目标与识别得到位置信息，传递给机器人控制器继而控制机器人完成抓取，系统结构如图1。

图1 视觉筛选系统软件结构图

4 方案实施

4.1 硬件选取

（1）工业相机和光学镜头。采集图像的相机和光学镜头的选取原则基于HALCON 软件数据库的摄像机标定实验进行确认。选用元件检测、识别和引导能力出色的光谱识别相机，能够在杂物表面附着煤粉的情况下准确分辨杂物。

（2）照明光源。由于照明方案不具有普适性，根据现场相应情况提出诸多方案，进行多次杂物和煤的视觉识别测试，基于自然光照条件照射下图像中不同物体的不同灰度进行识别，克服了以往机器视觉对自然光敏感的情况，使得所形成的图像质量高，几乎不含噪声。

4.2 方案实施过程

系统视觉采用国际先进的HOLCON 视觉算法进行计算。其以最新的计算机图像处理和计算机视觉技术为基础，拥有强大的集成开发工具HDevelop，节约程序开发时间。HOLCON 图像处理过程如图2。

图2 HOLCON 图像处理过程

Step1：工业相机首先对图像进行预处理，通过卷积神经网络对原始数据提取特征、降低维度、特征分类并输出结果，有效降低了由于工作环境和数据传输存在干扰而导致的噪声，提升了图像质量，增强了可用的目标特征。Deep ID 模型如图3。

图3 DeepID 模型

Step2：采用Canny 算法对预处理后的图像进行边缘检测；Canny 算法较高的信噪比和定位精度适用于不同环境下的边缘检测，明晰了杂物之间位置关系，剔除了目标识别中不相关信息，提高了后续图像处理的精度和性能。

Step3：杂物特征提取及识别。基于形状的轮廓特征提出目标识别与定位算法，并通过实验验证该算法具有较好的适应性，且具有良好的抗噪性及平移、旋转和尺度不变性，对非线性形变也具有一定的鲁棒性。如图4。

图4 基于模型目标识别方法原理

Step4：杂物位置测定。光谱设备识别杂物后，传递给3D 相机测定数据通过高速通讯传递给杂物抓取设备，从而实现杂物的筛选和拾取，如图5。

图5 相机标定流程图

Step5：机器人控制系统，如图6。PC 机通过向图像采集卡控制CCD 相机进行目标物的图像信息采集，经过PC 机的计算和图像处理得到目标位置的信息，并计算出SCARA 机器人运动位姿，通过运动控制卡向驱动器发出脉冲指令，控制电机运转并带动机械臂运动到相应位姿对杂物进行拾取。

图6 机器人控制系统流程图

5 方案结果

（1）杂物识别分类测试。基于轮廓特征提出的目标识别与定位算法，有效地克服了杂物发生线性形变而造成形状不同时的影响，将杂物归为正确的类别，还可在一定范围内包容非线性形变。同时在多种煤和杂物互相堆积干扰、煤粉覆盖的情况下，光谱识别仍可以有效识别杂物和煤，摆脱干扰。

（2）相机标定测试。通过视觉标定求取出图像中的像素坐标点与其在世界坐标系中三维几何位置之间的转换关系，能够准确地标定杂物位置。

6 结论

煤流安检杂物筛选预报机器人的应用填补了煤矿开采的一项空白，对提升开采技术、降低人工投入和劳动强度、减少人员以及提升煤矿智能化开采水平有着积极作用，是煤矿开采装备智能化技术的巨大提升。

（1）经济效益

煤流安检杂物筛选预报机器人的应用，将极大程度上加快煤炭无人化开采的进程。机器人不受温度和环境的影响，能适应多种人为不适应的恶劣工作环境，运用范围更广，效率相较人工也大幅提升。在煤流杂物筛捡时有效地克服了人工作业看护时的弊端，极大提升了矿井的经济效益。

（2）安全和社会效益

煤流安检杂物筛选预报机器人的应用消除了安全隐患，提升了煤炭开采自动化水平，减少了设备易损坏的可能，提高了设备使用和生产保障效率，减轻了操作人员操作的劳动强度，提升了煤矿安全管理水平和少人化、无人化开采的技术水平。