中国电子科技集团公司第二研究所 韩栋梁 贺霄琛

微电子制造企业的设备运维检修模式还是采用传统的检修人员现场运维，工作效率低且占用大量人工，设备出现故障会影响整个生产线运行。为提高现场设备的智能化运维水平，基于工业互联网、大数据等技术建立设备远程运维平台，实现了设备远程数据采集、可视化远程操作、智能化巡检、远程故障处理指导等新型运维。应用结果表明，该平台的应用使设备故障处理更加高效，通过完善故障诊断模型，可实现设备的故障自诊断和预测性维护。

微电子封装设备远程运维预测性维护对于微电子制造生产线上的设备运行、维护及故障维修的执行效率提升起到了关键的作用，传统维护过程存在资源浪费、维护周期不确定等不足。随着新型传感技术、工业互联网、大数据等技术在远程运维中的应用，实现了设备参数远程采集和可视化远程操作，设备故障诊断和预测性维护能力得到快速提升。

数据资源日益成为企业的战略资源，通过建立以数据为中心的大数据平台，利用大数据平台实时对海量数据进行分析处理，使数据可视化，辅助企业决策，全面支撑企业生产设备的管理、运行、维护方面的活动[1]。

本文在以上分析研究的基础上，依托新一代信息技术与智能化设备，构建基于云平台的远程运维系统。利用大数据技术对海量数据进行分析处理，通过远程运维来实现设备巡检与故障预测，将故障事后处理提前为事前预防，提高故障处理的时效性，通过实际应用，效果明显，具有很好的推广前景。

1 系统总体架构设计

远程运维平台设计基于分布式并行的云计算架构，通过并行计算框架和分布式文件系统获取计算和存储资源，快速有效地实现对海量数据的挖掘与分析。采用SOA架构搭建统一的大数据存储与计算、分析与服务技术架构平台，形成大数据深度分析挖掘能力。通过建设高可用、松耦合的系统应用，进而形成数据储量丰富、应用接口开放、业务流程灵活的信息系统体系[2]。

系统总体架构包括基础硬件层、大数据平台层、应用平台层。其核心是设计符合业务管理需要的大数据中心。系统整体架构如图1所示。

图1 系统整体架构图Fig.1 Overall system architecture

1.1 基础硬件层

基础硬件层主要包括：微电子封装生产线的实体硬件设备，用于采集信息的各类传感器，用于数据采集与发送的网关设备，用于部署各个应用系统和存储数据的服务器等。

1.2 大数据平台层

大数据平台层是大数据信息服务系统的核心支撑层，实现数据交换、存储、整合计算以及数据服务等功能，Apache Hadoop针对大规模分布式数据应用，解决大数据存储、大规模数据计算、快速数据分析的基础数据平台。

其核心软件有：分布式文件系统（HDFS）、并行计算框架（MapReduce）、分布式存储系统（HBase）、数据仓库工具（Hive）、数据计算引擎（Spark）、Web应用服务器软件（Apache Tomcat）、消息队列软件分布式消息（Kafka）[3]。

1.3 应用平台层

应用平台层完成大数据操作、数据流操作和任务调度等功能，是大数据信息服务系统的功能实现及UI表达层，基于B/S结构的Java应用技术开发，采用微服务架构，具有灵活的可扩充接口。

2 大数据平台层实现

建立逻辑合理且高质量的数据资源体系，涵盖原始数据、基础库资源、大数据分析资源等，从众多数据源中获取有效数据。

大数据平台针对不同数据建立相应的业务数据抽取、转换清洗和加载模型，并根据业务数据建立数据模型，整理和抽取关键分析指标，基于不同维度的分析结果，实现智能化分析决策。

2.1 数据平台系统架构

大数据平台数据架构包含采集层、整合层、汇总层和应用层四层结构，数据平台架构如图2所示。

图2 数据平台架构图Fig.2 Data platform architecture

（1）采集层。采集层实时采集数据，并进行数据清洗和转换。采用灵活的监测技术手段，快速查找需要进行采集的数据源；同时根据采集任务量，启动多线程进行数据源的快速采集。

（2）整合层。该层是数据中心的数据仓库形成层。数据由各种设备数据采集并完成整合，根据业务类型，进行相关数据的统一归类和存储，形成业务数据整合。

（3）汇总层。汇总层根据业务需要形成相应的业务基础表、明细表和静态表；紧密围绕上层业务应用场景构建数据模型，为数据服务能力的封装、形成与输出奠定好基础。

（4）应用层。应用层是由业务模板需求结合数据统计需求进行适度整合而成，支撑最终的数据服务能力，通过数据服务接口与应用系统进行信息交互，完成数据输出，供上层应用查询、分析计算用。

2.2 数据平台技术架构

根据本平台能力定位和业务需求，采用Hadoop分布式文件存储/处理系统、Hive数据仓库工具、Spark Streaming流式处理系统、Kafka分布式消息系统、Flume日志收集系统、Redis内存数据库等作为平台数据服务支撑架构。

（1）Hadoop分布式文件系统：采用集群方式来整合多个独立的物理存储资源，采用多副本方式保证数据高可用性；系统结构及数据分布策略保证系统的高性能、可扩展性。

（2）Kafka分布式消息系统：其特点是可水平扩展、高吞吐量和高效的数据传输机制；多副本机制解决单点故障问题和容错；数据采集的高吞吐量，防止采集数据积压与丢失。

（3）Spark Streaming流式数据处理架构：通过批处理作业对数据进行抽取、转换、清洗，根据业务类型进行数据统一归类、存储。

（4）Redis高速缓存数据库架构：Redis是基于内存的存储系统，支持内存数据持久化，将所有数据快速加载到内存中。

（5）大数据查询引擎：Hive将结构化数据文件映射为一张数据库表，可以将SQL语句转换为 Map-Reduce任务运行，完成数据仓库的统计分析。

2.3 数据平台功能模块

数据平台对数据进行集中抽取、清洗、加工及整理至数据仓库，根据业务需求建立数据集市。平台由数据采集模块、存储计算模块及访问支撑模块组成。

数据采集模块提供多数据源提取、多通道传输、多种方式聚合的数据采集工具及接口，包括Flume集群日志采集、Sqoop关系数据库数据批量提取、HDFS文件上传下载FTP客户端。

存储计算模块实现海量数据存储、批处理计算、实时计算、实时查询及集群运行监控等功能，包括YARN分布式资源管理系统、分布式文件系统HDFS、Spark/MR批处理、Spark Streaming实时计算、Hbase实时查询。

访问支撑模块提供大数据平台层接口及内存数据库，包括封装了SparkSq1、Hive的SQL查询接口，封装了MR、Spark开发函数库API编程接口。

3 应用平台层实现

3.1 应用平台技术选型

平台设计采用微服务架构（Microservices）。是采用一组服务的方式来构建一个应用，服务独立部署在不同的进程中，不同服务通过一些轻量级交互机制来通信，服务可独立扩展伸缩，每个服务定义明确的边界，不同服务甚至可以采用不同的编程语言来实现和维护[4]。

平台开发环境为Java JDK 1.8，主框架选用Spring Boot，分布式套件主框架为Spring Clouds，持久层选用Apache MyBatis，前端CSS框架为Bootstrap，缓存存储框架选用Redis。

3.2 应用平台功能模块

实现数据的可视化展示及设备全生命周期的信息化管控。大数据平台对外提供访问接口调用来实现信息交换。接口采用封装的WebService接口方式。系统主要功能如下：

（1）设备管理：设备信息管理、关键部件管理、配件管理及供应商信息等。对所有信息进行增、删、改、查，动态配置基础信息。

（2）设备监控：设备状态监控、生产数据监控、关键部件监控以及故障报警等。监控设备运行状态，如开/关机、运行/待机、故障报警、手动/自动等。

（3）分析报表： 从不同维度和时段形成报表数据，报表数据包括生产数据、故障数据、质量数据等。展示设备关键性能指标，形成量化分析指标。

（4）可视化展示：将数据应用平台中的各种报表、分析、图形等信息组合起来，形象、直观、具体的展示各种指标数据，形成面向业务和用户的展示界面。

4 结语

通过建设微电子封装设备远程运维平台，在数据采集、清洗、存储的基础上，利用大数据技术，对数据进行效能分析，实现了设备故障诊断及预测维护，提高了企业的运营效率、降低了运营成本，促进业务和资源整合，全面提高企业核心竞争力。