赵建强 徐宁 王俊鹏 韩海华

摘 要：针对矿山基础自动化控制系统的数据孤岛问题，使用数据集成工具将多个自动化系统的数据集成到数据仓库中，实现数据的高效应用，为矿山大数据的挖掘服务。使用可视化工具Grafana将数据仓库中集成的自动化系统灵活多变的展示出来，可以使矿山管理人员从大量的数据报表和不同的自动化系统中解放出来，轻松高效的掌握矿山数据。

关键词： 矿山大数据；数据集成；可视化；Grafana

DOI：10.16640/j.cnki.37-1222/t.2018.23.092

1 前言

伴随着大数据时代的快速发展，我国大数据产业处于快速推进期，世界各国把各种产业划分为三大类：第一产业、第二产业和第三产业。我国三大产业的划分是农业、工业和服务业。我国当前大数据应用较为普遍和成熟的是服务业，典型的应用包括交通运输、城市安防、医疗、金融、电子商务等。工业和农业的大数据产业发展比较缓慢，主要是和我国农业、工业的现代化基础、信息化程度有关系，也和专业化程度、从业人员组成有着较大的关系。

所有行业都会从大数据的发展中受益。对于实体工业来讲，大多数技术进步是需求驱动的，而实体工业的数据蕴含的需求更加具体和切实，因而作为国民经济支柱产业的矿业更加急需实现矿山大数据的开发。

然而在我国矿业领域普遍存在着如下问题：

（1）作业条件恶劣、环境复杂、安全风险大，检测装置的可靠运行颇为困难，数据自动采集率低。

（2）装备设施不足，网络覆盖、人机交互、数据集成的成熟度和完整度都满足不了矿山的发展与变化。

（3）技术力量薄弱，一方面是面向矿业的人才培养缺乏系统规划、导致人才储备不足；一方面由于矿山的自然环境、生活条件、工作条件等因素无法留住年轻的工程技术人员。

上述问题对矿山大数据业务的开发和实施形成了很大的约束。矿山大数据服务的开发包含矿山企业各业务领域，具体的说，工业技术进步是通过改进一项项具体的业务而实现的，因此“业务数据化”和“数据业务化”是工业大数据应用的动力、目标和主要内容。

本文将以矿山生产最基础的数据提供者—矿山自动化系统为例介绍数据集成和数据可视化的实现。相比于矿山其他业务模块，自动化系统的数据集成更具有代表性和重要性，其数据内容是其他业务模块的基础，然而因為自动化系统的多样性和数据的繁杂性，数据集成度往往很低，其数据价值并没有得到挖掘。

2 自动化实时数据集成设计和实现

矿山自动化系统具有多样性和繁杂性。矿山企业按照生产任务一般分为采矿厂和选矿厂，采矿厂又可分为露天采矿和井下采矿，因为工作场景不同，其工作设备和控制系统也不尽相同，选矿厂按照选矿工艺又有各种不同的自动化控制流程，流程内工作设备和工艺参数等均存在差异，因而，一个矿山企业往往存在多套独立的自动化系统，而这些独立的自动化系统内时刻产生着庞大的基础数据量。这些数据之间有的是具有很强的联系的，有的则是独立存在的，然而这些数据游离于各个数据孤岛中，其数据价值便得不到挖掘。

这些独立的自动化系统因为建设时间和建设单位的不同，控制器（PLC）类型、通讯接口、通讯协议均不尽相同。要想将存在于各个设备和系统中的数据集中到统一的数据仓库中，需要针对各个设备和系统采用针对性的技术手段。对于直接产生实时动态数据的设备，需要使用专用的数据采集工具。图1是数据集成的示意图。

以选矿厂为例，破碎机、球磨机、旋流器、浮选机、空压机、加药机等大中型设备每个都有自己的独立控制系统，而且是不同品牌，不同型号，不同通讯接口，不同通讯协议的控制器；而分散范围更广的各种流量、压力、物位、电能等测量仪表则品牌、型号和通讯接口更加复杂。虽然选矿厂的DCS/FCS系统能将大部分分散的各个设备和仪表都能集中到一种通讯协议下，但数据采集软件也需要考虑对各个设备和仪表单独通讯的可能。工业实时数据采集工具框图如图2所示。数据采集、数据存储和数据转发是工业实时数据采集工具的三大基本功能。

2.1 数据采集

数据采集要求数据采集工具要具有灵活多样的通讯驱动程序，能够与市场上绝大部分PLC系统、仪表系统通讯，能够兼容各种主流的通讯协议，并且开发驱动程序库中没有的驱动程序时要快速和廉价。只有如此才能适应市场上多种多样的终端设备。在实现上可以采用市面上性价比较高的杰控组态软件等。

2.2 数据存储

并非所有采集到运行数据库中的数据都需要存储进历史数据库。数据采集系统需要根据各个信号自身的特性决定其存储的频率。对于快速变化的信号，需要适当增加存储频率，以防止存储的信号失真；对于慢速变化的信号，则要适当降低存储的频率，以节省存储空间；对于基本不大变化的信号，则要采用变化存储的策略等等。

2.3 数据转发

将数据存储进入历史数据库并非数据采集工具系统的最终目的。数据采集工具的最终目的是要将采集到的数据推送转储到数据仓库中。因此数据采集工具必须具备数据转发的功能，能够将临时存储在数据采集工具历史数据库当中的数据转发的数据仓库中。数据转发通道可以是有线网络，WiFi网络，或者3G/4G网络，以便能够方便的在广泛的地域空间部署为现场设备就近部署数据采集系统。

3 可视化设计和实现

人类拥有视觉、听觉、嗅觉、触觉、味觉五种感觉，在借助“五感”所获得的信息中，大约有80%是来自视觉。同时，视觉信息也是人类最容易了解和最可信赖的信息。因此，如何利用人类视觉认知的高通量特点，通过图形的形式表现矿山大数据信息的内在规律，以及其传递、表达的过程，实现大数据资源的可视化表现、分析、推理和决策，是辨析数据关系、整合数据价值、诠释数据意义和理解数据表现的重要手段和途径。

在许多人机交互场景中，都遵循所见即所得的原则，例如文本和图像编辑器等。在大数据应用中，混杂的数据本身是难以辅助决策的，只有将分析后的结果以友好的形式展现，才会被用户接受并加以利用。报表、直方图、饼状图、回归曲线等经常被用于表现数据分析的结果。

在上面的介绍中，我们已经实现了自动化数据的采集和存储，下面就介绍如何将数据做可视化输出。

3.1 可视化工具介绍

Grafana是一个可视化面板（Dashboard），有着非常美观的图表和布局展示，功能齐全的度量仪表盘和图形编辑器，灵活丰富的图形化选项，支持Grafana支持多种不同的数据库数据源，Grafana对每种数据源提供不同的查询方法，而且能很好的支持每种数据源的特性。

3.2 可视化主要表现形式

数据可视化视图中图形的主要表现形式是文本、趋势曲线、柱状图、仪表面板图和表格等，各种图形元素的示例和说明如表格1所示。

3.3 可视化实现

Grafana实现可视化的重要组成是其基于GO语言开发的实现各种数据展示形式的Panel，在安装配置好开发环境后，打开计算机本地端口3000，即可在浏览器下对项目进行开发。

3.3.1 项目开发步骤

（1）解读分析自动化数据集成数据库结构。

（2）规划数据展示内容。

（3）建立数据源，根据不同数据库可以建立不同的數据源。

（4）新建数据模板。

（5）添加需求Panel控件。

（6）进入编辑页，选择数据源，编写SQL查询语句，支持数据聚合。

（7）调整数据展示细节。

3.3.2 数据可视化效果

本文以某矿山自动化数据集成子系统品位分析仪可视化监控系统为例，将数据展示规划为设备监控页和测量数据页：设备监控页面可实时展示设备核心部件状态值，以及报警信息和参数内容等内容，测量数据页面可实时展示仪器测量数据，以及测量班报数据等内容。可视化页面支持选择查询时间，已经数据更新频率等。效果如图3和图 4所示：

4 应用和结论

应用数据集成工具将繁杂的基础自动化系统数据统一的集成到数据仓库内，可以保障数据的高效应用和数据挖掘，但这要求设计者对数据仓库的设计严谨、高效。使用grafana可视化工具将自动化系统数据做数据展示，相较于原有的组态软件系统更加美观和灵活，且可以同时集成多个自动化系统于同一项目下，开发好的本地可视化项目也可以通过网站发布到广域网，方便随时查看系统数据。

参考文献：

[1]黄解军，崔巍等.面向数字矿山的数据仓库构建及其应用研究[B].中国矿业，2009，18（11）：77-79.

[2]僧德文，李仲学，张顺堂等.数字矿山系统框架与关键技术研究[J].金属矿山，2005（12）：47-50.

[3]任磊，杜一，马帅，张小龙，戴国忠.大数据可视分析综述[J].软件学报，2014，25（09）：1909-1936.

[4].https：//grafana.com/.[DB/OL].

作者简介：赵建强（1990-），男，河北康保人，大专，从事工业自动化及计算机应用软件的研究开发工作。