姜 康，柯 榕，赵小勇，何其昌

（1.合肥工业大学 交通运输工程学院，合肥 230009；2. 上海交通大学 机械与动力工程学院，上海 200240）

当前企业生产车间现场信息繁多、情况复杂，导致车间的管理层和执行层之间的信息交互不及时、不准确、不全面[1-3]，车间管理人员迫切需要一个实时监控系统，实现各工作单元之间的信息交换和生产状态的及时反映。

目前国内外许多学者对车间监控系统进行了研究实现，常仕军等[4]建立了车间监控对象的模型，应用甘特图等方式来展现监控结果，Qiu等[5]建立了一种数控机床加工过程状态的信息模型，用于监测加工过程中的加工状态，这些研究在技术层面上实现了车间状态的实时监控，但是忽略了对于监控数据的处理，会造成监控状态滞后、监控对象不全和监控力度不够等问题。李智等[6]设计了数据采集方案和系统实现方案，提高了实时性，系统采用二维的监控界面，虽然能实现登陆、查询、操作等功能，但不能将车间真实情况可视化。而工业监控中使用的组态软件具有数据采集、数据管理、工程监控等功能，但其二维用户界面与实际工业场景有较大的差距，显示数据的方式比较单调，不够直观和形象，这些都会造成用户操作不便或导致误操作[7-9]。将虚拟现实技术引入到监控系统中来，建立基于实时数据的三维虚拟监控系统，使车间管理人员可以通过客户端实现整个生产车间运行状态的监控，对于工业监控的技术发展具有重要意义。

本文利用虚拟现实技术建立车间三维虚拟监控系统，对车间制造资源状态进行三维可视化，显示车间现场监控信息、生产进度信息、设备信息，并对其进行管理。同时利用现场传感器采集的信息来驱动三维虚拟场景中模型，实时可视化车间中制造资源的位姿和运行状态。

1 系统框架

车间虚拟监控系统能够对车间设备状态，如开机、关机、故障灯等进行虚拟实时监控；可以通过鼠标等外设进行漫游操作，实现整个车间的监控管理；三维虚拟界面上高亮显示与产品生产工序相关的设备，并展示加工路线；此外，系统还可对车间生产信息进行统计分析，可显示生产进度、工单状态以及人员状态等。

车间三维虚拟监控系统通过车间现场传感器及局域网进行车间中各设备资源的位置、姿态和运行状况等数据的采集及传输，利用数据库存储与管理实时状态数据、资源模型数据及生产统计数据等，并通过数据接口与车间其他信息系统如ERP、MES等进行数据交换。系统整体基于C/S架构，三维制造资源模型包括加工设备、物流设备等存储在客户端，监控过程中网络只是传递各种传感信息，减少网络传输的数据量，保证监控的实时性。同时利用车间现场传感器采集的信息来驱动虚拟场景中的模型，在虚拟现实平台Unity3D中实时可视化运输设备的位姿和加工设备的运行状态。用户通过人机交互界面进行状态信息的查询、系统消息处理中心响应用户操作命令，进行信息的可视化。车间虚拟监控系统框架如图1所示。

图1 车间虚拟监控系统整体框架Fig.1 Overall framework of the virtual monitoring system for workshop

可视化模块基于Unity3D平台实现，Unity3D是跨平台的三维图形渲染引擎，它的可视化操作环境便于用户使用，并支持各种脚本语言包括C#、JavaScript，兼容多种操作系统，真正地实现了跨平台，让开发者能简单直观地开发基于各种平台以及硬件设备的实时可视化应用程序[10]。

2 车间虚拟监控关键技术

2.1 数据描述模型

为实现虚拟模型的实时驱动，需要对生产过程中的设备状态参数、在制零件质量与状态、数控加工设备的工况、加工人员的状态等进行监控，并采集这些信息，从而对其进行存储与管理。所建立的数据库分别存储设备参数、在制零件信息、加工设备工作参数、车间生产进度信息、报警信息以及运输设备参数，其数据模型逻辑关系如图2所示。

图2 某制造车间数据模型Fig.2 Data model of a manufacturing workshop

采用XML规范建立系统模块间的数据接口。XML是一种标记语言，具有良好的跨平台数据交换能力，可以实现快速查找、修改、替换等操作。本文用结构化的XML格式描述变量，部分数据形式如下：

<加工设备工作参数>

<部门 NAME=“XX事业部”><车间NAME=“XX车间”><工作参数信息>

< Equipment _NAME=“数控铣床”/>

< Spindle load =“1500”/>

…

以上是采集到的加工设备工作参数数据模型在XML中的部分描述，由此可知基于XML的数据描述具有较好的层次性，能较好地表现出信息的结构层次。

2.2 基于现场实时数据的设备模型驱动

在虚拟监控系统中，监控的运动可视化对象主要3种类型：加工设备如机床的主要加工动作、物料运输设备叉车的运动以及桁架机械手的运动。其中加工设备机床的运动包括机床整体的运动和机床上零件的运动，实时数据驱动父对象机床和子对象零件的运动。叉车的运动路线是由从实时数据中获取的起始位置和终点位置进行插值来设定的。而桁架机械手是由数据实时驱动的，实时数据中包含其运动过程中每个时间点的位置，再根据这些点来确定运动路线。

在Unity3D中，子对象是跟随着父对象进行运动的。一个模型可能拥有多个子对象，每个子对象还可能包含下一层的子节点，而各层级的子对象也跟随着其父对象一起运动。因此，当一个模型发生运动时，组成他的子对象的各个部分也进行相应的运动。这样，当实时数据驱动模型时，也同样驱动了模型中的各个子对象，以模型整体为对象对其实时驱动进行研究。

图3为模型的实时驱动流程图。一个实时性的仿真场景的生成过程是：首先加载配置文件，向服务器请求实时数据并获取[11]，对获取的XML文件进行解析，从而得到模型的位姿数据；根据获取的实时数据进行插值，得到模型的运动路线，并计算出模型运动的旋转角度；得到以上数据后再利用位姿矩阵来实现模型的驱动，最后利用Unity3D平台实现模型运动的可视化渲染。下面以车间虚拟监控系统中的物流设备叉车的运动为例来描述模型驱动。

图3 模型实时驱动流程图Fig.3 Flow chart of real-time driving model

由于采集到的叉车位置、姿态等实时数据是离散的位置点，为保证叉车运动的连续性，需要进行插值。叉车的运动路线上的关键点通过Unity3D平台提供的Mathf.lerp函数插值获取，Mathf.lerp函数的插值方法是线性插值，假设已知坐标（x0，y0）与（x1，y1），要得到 [x0，y1]区间内某一位置x在直线上的y值，则可以根据表达式：

其中，k= （x-x0）/ （x1-x0）= （y-y0）/ （y1-y0）。

从XML文件中解析到叉车运行的实时数据，得到叉车运动前后的两个坐标点，再通过式（2）插值得到运动过程中其他的坐标点，将它们连接起来就得到叉车的运动路线。

叉车是在XOZ平面上做平移和旋转运动，则叉车在原始位置时的向量坐标为已知量，其坐标位置为（x，0，z）。运动终点的向量坐标为，其坐标位置为（x'，0，z'），易知向量坐标=。θ为与的夹角，则由余弦公式可得：

叉车模型的平移和旋转运动都是通过以上2个变换矩阵来实现的，其中dx，dy，dz分别表示叉车在X轴、Y轴、Z轴方向上的平移量，由于叉车是在XOZ平面上运动，因此dy=0。θ表示叉车运动绕Y轴偏移的角度。那么，对叉车先作绕Y轴旋转变换再作平移变换，其运动模型是：

综上可知，由式（2）计算出θ值，再代入（5）式求出叉车的运动模型，并按照插值法确定的运动路线则可完成模型的实时驱动。模型运动的可视化在Unity3D平台上进行，由transform类中的Translate函数和Rotate函数来实现，实现的代码如下：

transform.Translate（1, 0, Time.deltaTime）;

transform.Rotate（Vector3.up * Time.deltaTime）。

2.3 实时数据采集与传输

车间状态数据采集与分析系统主要包括数控机床通讯模块、工业网络、工控上位机、OPC服务、DNC软件系统。利用车间局域网，将网络延伸到各设备节点，从而使数控设备与各个服务器及工作站形成一个统一的网络系统。图4为生产现场信息实时采集。

应用加工设备数字化接口、传感器、检测设备等多形式的数据采集方式，形成针对不同设备不同接口的统一采集方法。定义所有采集数据的表达方式和统一接口，并将不同的数据格式转化为统一的格式。将数据进行分类，通过企业现有的以太网、现场总线、I/O接口卡等多种方式传输到数据库，实现对不同厂家设备运行参数的数据整合。

图4 生产现场信息实时采集Fig.4 Real-time acquisition of information in the production site

为了保证传输速度，必须对大量的实时监测数据进行预处理或取舍，因此如何确保在制品和设备状态信息能被准确、稳定传输就成为一个关键技术问题。解决方法为：一方面，通过大量试验和数据分析确定有用传感信号，然后提取能够表征异常工况预兆的特征量；另一方面，采用时间序列分析方法动态建立传感信号时间序列模型，提取蕴涵丰富工况信息的模型参数，并对非实时性的数据进行定时批量传输，再利用数据的压缩和解压缩的方法，尽量减少网络实时传输的数据量，提高传输速度。

2.4 人机交互

在人机交互系统中系统界面设计占据非常重要的地位，因为在交互操作中界面的方便与否直接影响到用户的使用。Unity3D拥有一套非常完善的图形化界面引擎，包括常见的窗口、文本框、输入框、按钮等，而且它的界面自定义皮肤功能够美化系统界面[12]。本系统利用Unity3D自带的GUI界面组件进行界面设计，实现虚拟监控系统的信息显示、功能流程等交互操作。

虚拟监控系统中鼠标键盘的交互操作使用Unity3D的输入接口Input来实现。利用鼠标和键盘的操作可以实现设备模型的移动、旋转、缩放等功能以及漫游操作，其中模型的运动利用Unity3D的变换类transform实现。双击模型弹出设备状态信息查看窗口功能实现的流程,如下所示：

步骤1:鼠标双击场景中的设备模型;

步骤2:将鼠标在屏幕上点击的位置信息转化为射线;

步骤3:取出碰撞射线检测到的设备名称;

步骤4:从XML文件中解析取出该设备的状态信息;

步骤5:调用已经定义的生成窗口函数，弹出设备状态显示窗口。

3 应用案例

图5为某车间虚拟监控系统，它实时呈现的是整个车间的生产操作情况，车间中设备模型状态以及布局等与现场生产车间保持一致。

系统开始运行后，生产现场传输来的数据驱动虚拟场景中的模型，此时，物流设备叉车接到信号后会到物料堆放地取物料并按照指定路线将物料运送到指定地点。双击图中任意一个设备会弹出设备状态信息显示窗口，实现对车间设备状态的实时监控，被双击拾取的设备会出现包围盒。用户按下鼠标左键、移动鼠标滑轮可从各个角度观察虚拟车间工作情况并进行漫游操作。点击产品，界面上高亮显示与生产工序相关的设备，并显示加工路线。用户可在系统的操作界面上查询生产进度等车间生产信息，当生产车间在加工过程中出现异常或发生故障时，虚拟监控系统中报警灯发出红色报警信号，管理人员可根据信号对异常情况进行处理。

图5 虚拟监控系统Fig.5 Virtual monitoring system

4 结论

本文利用虚拟现实技术与信息集成技术，基于Unity3D平台设计实现了三维制造车间虚拟监控系统，为车间三维虚拟监控提出了可行的方案。

本系统是三维数据的可视化平台，在此平台基础上，可以集成其他管理系统的数据，形成集成的三维数字化生产控制平台。同时本文对从车间采集到的实时数据进行建模，提供了数据存储、模型驱动的方法，对基于实时数据的虚拟仿真研究具有一定的借鉴意义，为三维虚拟监控技术在制造业上的应用提供了技术保证和可行性验证。随着计算机仿真技术的发展，实时虚拟监控技术必将得到广泛应用，这将大大推动整个智能制造技术行业的发展。

[1]徐涛,李彦明,苗玉彬,等. 港口机械远程虚拟监控系统研究[J].计算机工程,2008,34(21):276-278.

XU Tao, LI Yanming, MIAO Yubin, et al. Research on remote virtual monitoring system of port machinery[J]. Computer Engineering, 2008,34(21): 276-278.

[2]林威汉, 高春光, 张海涛. 国内组态软件的现状与未来[J].电气时代, 2002(6): 9-12.

LIN Weihan, GAO Chunguang, ZHANG Haitao. The status quo and future of domestic configuration softwares[J]. Electric Age, 2002(6): 9-12.

[3]王满利, 景俊伟, 朱涛. 基于WEB的提升机监控系统研究[J]. 煤矿机械, 2011, 32(4): 143-145.

WANG Manli, JING Junwei, ZHU Tao. Study of monitoring system of elevator based on WEB[J]. Coal Mine Machinery, 2011, 32(4): 143-145.

[4]常仕军,何卫平,和延立,等. 基于工作流的生产过程监控系统设计与实现[J]. 航空制造技术, 2009(22): 92-97.

CHANG Shijun, HE Weiping, HE Yanli, et al. Design and implementation of production process monitoring system based on workflow[J]. Aeronautical Manufacturing Technology, 2009(22): 92-97.

[5]QIU R G, RUSSELL D W. A formal model for incorporating shop floor controls into plant information systems[J]. International Journal of Advanced Manufacturing Technology, 2004, 23(1/2): 47-57.

[6]李智,汪惠芬,刘婷婷,等. 面向制造过程的车间实时监控系统设计[J]. 机械设计与制造, 2013(3): 256-259.

LI Zhi, WANG Huifen, LIU Tingting, et al. Design of workshop realtime monitoring system for manufacturing process[J]. Machinery Design &Manufacture, 2013(3): 256-259.

[7]张颖,费敏锐.三维可视化虚拟现场监控环境的设计及机理[J]. 上海交通大学学报, 2002, 36(S1): 12-14.

ZHANG Ying, FEI Minrui. Design and principle of 3D visualization virtual field monitor environment[J]. Journal of Shanghai Jiaotong University, 2002, 36(S1): 12-14.

[8]王滔, 费敏锐. 虚拟现实技术在企业自动化流程界面中的初步研究[J]. 系统仿真学报, 2001, 13(6): 707-710.

WANG Tao, FEI Minrui. Preliminary research on virtual reality in process schedule for enterprise automation[J]. Journal of System Simulation,2001, 13(6): 707-710.

[9]易军, 费敏锐, 张颖. 面向三维可视化界面的地下油库网络测控系统设计与应用[J]. 测控技术, 2004, 23(7): 30-32.

YI Jun, FEI Minrui, ZHANG Ying. Design and application of underground oil store network control system oriented to three-dimensional visualization interface[J]. Measurement & Control Technology, 2004, 23(7):30-32.

[10]张利利,李仁义,李晓京,等. Unity3D与数据库通信方法的研究[J]. 计算机技术与发展, 2014, 24(3): 229-232.

ZHANG Lili, LI Renyi, LI Xiaojing, et al. Research on communication method between unity3D and database[J]. Computer Technology and Development, 2014, 24(3): 229-232.

[11]邱建松. 基于Unity3D的实时虚拟仿真系统的研究与实现[J].电子制作, 2012(12):18-19.

QIU Jiansong. Research and real-time virtual simulation system based on unity3D[J]. Electronic Production, 2012(12): 18-19.

[12]宣雨松. Unity3D游戏开发[M].北京:人民邮电出版社,2012.

XUAN Yusong. Unity3D game development[M]. Beijing: The People’s Post and Telecommunications Press, 2012.