姜良奎 杨朝霞 林 蓝 韩 勇

(1.西南交通大学设计艺术学院， 611731， 成都； 2．中车青岛四方机车车辆股份有限公司， 266111， 青岛；3．中国海洋大学信息科学与工程学部， 266100， 青岛∥第一作者， 正高级工程师)

0 引言

目前，我国轨道交通智能制造的基础理论和技术体系建设较为滞后，亟需通过信息化、智能化手段改善设备运维管理现状。对于传统的轨道交通设备运维软件，国内外比较成熟的研究有：文献[1]提出基于B/S(浏览器/服务器)架构的设备OSS(运维支撑系统)，通过传感器在线数据检测及传输进行设备故障分析;文献[2]基于信息化技术手段开发了京沪高铁标准化作业平台，实现了移动端的基础数据共享，由后台进行综合管理;文献[3]提出基于 RFID(射频识别)的列车运维系统，通过标签读取数据进行可视化分析。这些系统的后台大多采用了目前流行的移动互联网技术，但可视化手段单一，用户在客户端的操作感不足，体验感较差。

AR(增强现实)技术的引入突破了传统的二维局限，通过加入三维动画、视频等可视化形式，更有助于用户对信息的理解。该技术通过跟踪用户佩戴的智能眼镜在现实世界中的位姿来判断用户的视线方向，并精确叠加虚拟信息，以增加信息交互的真实感。目前AR在轨道设备方面也有成功的应用案例，例如：文献[4]提出了基于Open Frameworks框架和改进AR码的轨道交通列车仿真系统，该系统实现了虚拟列车在真实的轨道模型上行驶的场景；文献[5]提出搭载在移动端的AR装配系统，用户可使用手指触屏拾取零件与真实设备的交互操作。但这些交互方式相对单一，没有具体针对轨道交通设备运维进行研发设计。

综上所述，传统的轨道交通设备运维软件主要存在以下问题：①在运维计划、实际作业、信息反馈之间没有健全的闭环机制，运维效率低下；②对技术人员的要求较高，各岗位技术职工分工独立明确，不同岗位运维人员难以进行有效沟通；③需要大量的人力、时间来支持这些运维软件的运作。

数字孪生是实现物理与信息融合的一种有效手段，而设备运维车间物理世界与信息世界的交互与融合是实现“工业4.0”、“中国制造2025”、工业互联网、基于CPS(信息物理系统)的制造等目标的瓶颈之一。文献[6]阐述了数字孪生车间的系统组成、运行机制、特点、关键技术等，在此基础上探讨了基于车间孪生数据的车间物理世界和信息世界的交互与共融理论和实现方法。文献[7]为虚拟现实平台的搭建过程提供了清晰有效的建模思路及优化方法。文献[8]提到了Netty(JBOSS公司提供的一个基于客户端服务器的java(计算机编程语言)开源框架)建立在NIO(同步非阻塞)基础之上，对NIO进行封装优化，具有高性能、高可靠性、异步非阻塞、基于事件驱动等优点。

AR与轨道交通设备的紧密结合，对轨道交通设备的智能化有着重要的意义。本文基于移动安卓平台，将AR与VR(虚拟现实)技术混合，集成开发形成轨道交通设备远程运维辅助检修孪生系统，并重点对以下3个方面进行深入研究：①支持用户随时随地在线自我学习，通过局部虚拟三维动画进行教学操作指导，并研发在线自测模块；②将AR技术应用到技术人员的视频通话中，实现在虚拟模型上叠加实时三维标识工具，使不同岗位技术人员间的沟通更加形象、直观；③集成用户手势捕捉，更好地与虚拟模型交互。

1 轨道交通设备远程运维辅助检修孪生系统的架构

轨道交通设备远程运维辅助检修孪生系统采用C/S(客户端/服务端)架构，其系统架构如图1所示。

注：ID——身份标识号;箭头方向代表通常意义上3层架构的逻辑方向，表示整个系统从最底层数据层到离用户最近的最上层应用层的递进。

以动车组转向架的检修指导流程为例，现场检修人员借助移动设备或智能眼镜的摄像头扫描并识别出真实转向架的特征点，覆盖同等比例的虚拟模型后，可支持在线学习指导；现场检修人员也可通过视频通话方式，将现场检修第一视角共享给远程技术人员，此时远程技术人员通过点击移动设备屏幕触屏，在虚拟模型上叠加线条、箭头、扳手、锤子等标记，进行相关维修操作的三维指导动画展示，并实时传输给现场检修人员，以指导现场检修。轨道交通设备远程运维辅助检修孪生系统分为应用层、技术层和数据层3个层次。

1) 应用层。应用层的功能分为3个模块：①用户模块实现用户注册和登录,获取好友列表、视频通话功能；②学习模块实现在线观看设备UI(用户界面)文字介绍、局部三维动画检修操作视频，并可通过在线操作考试检测其学习效果；③远程指导模块可基于视频通话实现双方屏幕共享，通过触屏交互在虚拟模型上实现维修指导操作。

2) 技术层。技术层的主要技术包括：①基于Netty的服务器通信技术，该技术结合Spring开源框架、Mybatis开源框架构建了服务器端，可实现不同客户端之间信息的读取处理和数据交换；②基于混合开发集成的AR远程指导技术,其将Android Studio集成开发工具的讯飞语音和声网通话服务打包成aar文件，并集成到unity平台进行开发操作,该技术结合Vuforia软件实现视频通话、模型识别操作，并导出支持APK(Android应用程序包)的文件，供用户使用。

3) 数据层。数据层的数据存储在MySQL数据库中，主要包括3种类型：①用户数据，用以存储用户ID、用户名、密码等用户基本信息及好友列表信息；②考试数据，用以存储考试题目的名称、难度等；③设备数据，用以存储设备ID及设备特征点数据。数据存储采用SQLite数据库存储、Shared-Preferences数据存储、文件存储3种方式。

2 轨道交通设备远程运维辅助检修孪生系统的关键技术

2.1 基于Netty的服务器通信技术

本系统基于TCP(传输控制协议)的长连接实现可靠、高频率的双向实时通信，基于Netty、Spring、Mybatis的混合框架开发服务器将服务器端分为通信层、业务逻辑层、数据层。其中：通信层使用基于Netty的NIO框架，该框架是与用户进行数据交换的通道，主要负责客户端连接、消息读取、信息处理，并进行相应的业务分发；业务逻辑层接收来自通信层的消息，将不同类型的业务分配至对应的处理方式中；数据层采用Mybatis框架，该框架使用DAO(数据访问对象)模式实现数据库接口，把业务逻辑和数据访问解耦，直接操作数据表。

由于TCP存在粘包问题，本系统可预先对消息包进行处理，将其分为消息头和消息体两部分，并在消息头中加入消息体的长度数据，以设计合适的消息协议栈。消息体分为消息长度、保留字节、消息类型3个部分，其大小分别为2字节、1字节、1字节，以尽量保证消息包的体积，有效解决粘包问题，提高序列化和反序列化的速率。将消息类型设计在消息头中，服务器端收到二进制文件后，将根据消息类型将其反序列化成POJO(简单无规则java对象)。

通过Netty框架中的IdleStateHandler类进行客户端心跳检测，若15 s内客户端未向服务器端发起读写操作，则由服务器主动向客户端发送空闲心跳包，在ConcurrentHashMap类中设置空闲次数。若空闲次数超过3次，则断开Channel连接，以避免资源浪费。

2.2 基于混合开发集成的AR远程指导技术

2.2.1 混合开发技术

由于Unity3D软件出色的渲染功能及多平台兼容的特性，本系统采用基于Unity3D和Android(安卓软件系统)混合开发的模式。为保证系统布局的统一性，本系统的混合开发以C#语言为主导，主要在Unity3D软件中开发，导入由Android Studio中视频通话等模块功能封装成的aar包，通过编写脚本实现系统的基本功能。本系统可导出在Android平台上安装的APK文件，将客户端搭载在手机移动端和智能眼镜端，其客户端框架如图2所示。

图2 轨道交通设备远程运维辅助检修孪生系统的客户端框架示意图

2.2.2 视频通话技术

视频通话是远程AR交互的基础。由于移动设备自带的后置摄像头会与Vuforia软件的摄像头冲突，故采用Vuforia软件的摄像头进行画面传输共享，现场客户端通过截屏推流功能将用户视角共享至远程用户。

2.2.3 坐标转换技术

现场用户需接收远程用户手指触屏数据的屏幕像素坐标，通过坐标转换将屏幕像素坐标绘制在世界坐标系上，并基于追踪算法实现AR效果。坐标轴转换的计算式如下：

式中：

Zc——相机坐标系下的Z坐标；

u、v——表示像素平面坐标；

u0——图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数；

v0——图像的中心像素坐标和图像原点像素坐标之间相差的纵向像素数；

dx、dy——分别表示像素坐标系和图像坐标系之间的转换关系，即x方向和y方向下一个像素所占长度；

f——相机焦距；

R——旋转矩阵；

T——平移向量；

0——零向量;

XW、YW、ZW——分别为世界坐标系下的X、Y、Z三维坐标。

3 轨道交通设备远程运维辅助检修孪生系统的功能模块

3.1 用户模块

3.1.1 用户的注册和登录

如图3 a)所示，在初始界面输入用户名、密码，与已有数据库表进行匹配，实现登录功能。若系统内无该账户，点击注册按钮后将跳转至用户登录界面，如图3 b)所示，此时用户需填写基本信息。系统将检测数据库表中是否存在相同的数据，若不存在，则提示注册成功。

a) 用户登录

3.1.2 获取好友列表

用户登录后，可从系统的数据库中读取在线好友数据，并在列表中显示其基本信息。点击指定的好友对话框可发起一对一的视频通话请求，如图4所示。若对方点击同意，则可建立视频通话。

图4 发送视频通话界面截图Fig.4 Screenshot of sending video call interface

3.2 学习模块

3.2.1 在线学习模块

用户在菜单栏点击“study”(学习)按钮，界面将呈现学习面板。系统弹出提示信息，提示用户将移动设备摄像头对准当前设备。系统将采用物体识别方式利用Vuforia算法提取场景内的特征点，并与Vufoira软件云存储库内的数据进行对比，匹配成功后则精准叠加同比例虚拟模型。点击“细节讲解”，可通过浮动UI面板查看设备指定部位的基本信息，如图5所示，此时指定部位模型将高亮显示。

注:Data——数据;Exam——考试;About——关于;Logout——注销。图5 设备的UI文字介绍界面截图Fig.5 Screenshot of UI text introduction interface of the device

如图6所示，点击“拆解流程”后，系统将以虚实结合的方式展示设备指定部位的相应维修操作分步指导动画，供用户反复观看。

图6 设备的维修学习动画界面截图Fig.6 Screenshot of equipment maintenance learning animation interface

3.2.2 在线考试模块

在普通用户登录模式下，点击“Exam”按钮，可从数据库随机抽取不同难度的考题，以UI面板的方式向用户展示“考试题目”及“考试难度”，用户可以选择“开始作答”或点击“下一题”切换题目，如图7所示。点击“开始作答”时,考试题目将以UI方式切换到右上方予以展示。若点击“下一题”，系统则随机抽取新题目供用户测试。

图7 普通用户的考试界面截图Fig.7 Screenshot of the examination interface of ordinary users

若为管理员登录模式，点击“Exam”按钮，系统将跳转到题库后台的管理界面，支持查看所有题库数据，包括题目的编号、名称、难度等，并可对题目进行增加、删减、修改、查询等操作。

3.3 远程指导模块

3.3.1 屏幕共享模块

当用户双方建立起视频通话时，系统将跳转到用户角色选择界面，此时需根据用户角色先点击选择UI面板中的“现场维修”或“远程指导”。其中：现场维修端采用Vuforia软件自带的摄像头，可将当前设备画面共享至远程指导端；远程指导端则开启移动设备前置摄像头。若视频画面卡顿，可在左侧菜单栏调节当前画面的分辨率，系统默认的分辨率为2 560像素×1 040像素。

3.3.2 模型标记模块

远程指导端通过手指触屏点击“虚拟模型”，基于上文的坐标转换计算式,坐标转换在所点击的屏幕位置处精准添加指定标记(如线条、箭头等)来指示当前需检修部位，也可添加扳手、锤子等维修工具，给现场维修端实时展示维修动画，并提供维修技术指导。现场维修端的巡检人员可在屏幕右侧看到当前所使用的工具，如图8所示。

图8 添加三维标记指示设备检修部位Fig.8 Adding three-dimensional marks to indicate the maintenance parts of the equipment

3.3.3 触屏交互模块

远程指导端通过手指触屏点击模型需维修部位，系统将循环展示设备局部维修的操作指导动画，需拆解部位的设备模型将高亮显示。现场维修端可在右侧对话框中点击“使用工具”和“维修部位”来查看相关信息。用户可使用两个手指触碰虚拟模型，系统将通过判断手指触屏个数和触屏点距离实现模型的放大、缩小、旋转等操作，如图9所示。

图9 现场维修端的触屏交互Fig.9 Touch screen interaction on field maintenance end

4 结语

本文设计的轨道交通设备远程运维辅助检修孪生系统，引入了AR、VR技术，基于Netty服务器通信技术和基于混合开发集成的AR远程指导技术，采用智能化、自动化的手段提高了轨道交通设备运维的指导效率和管理水平。该系统的主要创新之处在于：基于AR智能交互技术构建了以车辆转向架设备为例的轨道交通设备运维指导的可视化平台，支持技术人员进行远程诊断和操作指导，设备的检修效率大为提升；通过立体UI界面和局部模型覆盖的三维指导动画，很大程度给用户带来了虚实结合的观感，使技术人员与用户间的信息交流传递更加直观。

轨道交通设备远程运维指导系统虽然已经实现了其既定的基本功能，系统运行稳定，但仍然存在以下问题需要进一步改善：①基于物体识别的追踪技术，其识别效果和精度受光强的影响较大，应研究解决在不同光照条件下追踪算法的稳定性；②系统目前的应用范围仍较窄，只能为轨道交通车间的少数设备提供运维指导，在下一步的系统开发中应扩充至多个应用场景，实现对其他设备的智能运维。