罗俊 韩辉 徐奎 刘石桥 李小辉 景应刚

一、引言

在核电厂大修期间，参与工作人员数量超过千人，涉及的专业众多，而且人员之间、团队之间的协作关系复杂，核电厂的厂区面积大，各个区域的通信许可管控严格，导致传统的面对面交流方式变得困难重重，不可避免地带来了沟通、效率、成本浪费等问题。核电大修需要更加高效、便捷的沟通方式。

为了提高核电厂相关设备维修的沟通和工作效率，基于维修现场已搭建的无线传输网络，移动终端、触摸式显示屏或台式工作站等设备，面向核电大修沟通、对现场进行远程可视化技术支持，开发一套多方视频会议通讯网络系统与办公协作软件迫在眉睫。

为此，本文设计实现一套远程专家支持系统，目标是在核电厂智能维修系统中建设远程专家支持应用，实现厂内大修指挥中心的大修协调人员或厂外专家与检修现场的视频通讯，通过共享实时检修画面、检修记录数据和相关技术资料，多方专家可实现远程快速维修决策。并提供检修方案，解决大修过程中产生的异常或复杂问题，有效控制大修周期和保证大修质量。具体来说，系统功能划分为四大模块，分别是远程支持、远程见证、远程会议和后台管理。其中，远程支持模块提供核电厂工作人员在现场遇到的问题，或需要请求相关领域专业人士进行支持时的问题解决功能，厂内工作人员发起远程专家支持流程，被邀请或请求的专家在远程或核电厂集中场所进行应答和响应。远程见证模块主要提供质量控制功能，包括人员远程出席见证活动的质量见证平台及电子签字确认等功能。远程会议模块提供远程会议相关功能，主要包括通过手持终端、PC或会议室召开会议，提供实时音视频通话、会议室管理、远程监控视频接入、会议历史管理等功能。

二、系统总体设计

远程专家支持系统采用B/S三层架构体系，将整个业务划分为数据访问层、业务逻辑层和表现层。

三、关键算法设计

远程专家支持系统的技术关键是实时音视频通信和传输，其中，传输视频的帧率是影响所传输的视頻流畅性的关键参数，也是客户对远程视频支持质量判定的直观体现。随着高清多媒体技术的飞速发展，人们需要高帧率的视频。在视频传输过程中，发送端帧率受视频采集和编码器性能影响较大。摄像头采集视频数据传输到编码器，经编码器编码后的实际输入帧率并不等于摄像头采集到的帧率，即若视频采集图片速度快，而编码器编码速度慢，则编码器任务队列中将累积多余的图片帧，为满足实时视频会议的低时延要求，编码器需要及时处理最新的帧，常见措施就是丢帧，即编码器任务队列中有多个视频帧时，仅对最新一帧进行编码。该策略将降低发送端帧率，在实际应用中导致接收端黑屏、卡顿等现象。实时视频会议情况下，网络状况不佳将导致接收端丢帧。同时，与编码类似，解码也会导致丢帧。接收端的帧率减少直接影响视频质量。针对接收端提供良好的帧率提升策略，即在接收端针对接收到的原视频帧序列，计算并插入一组新视频帧，是十分重要的。传统的帧率提升方法包括基于运动估计和补偿的方法，而光流算法以其良好的效果得到了学者们越来越多的关注。但光流算法多通过采用将双向光流和附加网络（如深度估计）相结合的方式来生成中间帧，难以应用于实时视频传输的场景。

（一） 基本思想

为了解决上述问题，本文提出一种改进的基于流的视频帧率提升算法。该法以RIFE（Real-Time Intermediate Flow Estimation）方法为基础，通过简化中间光流估计模型，以达到更快的计算速度，从而满足远程视频会议的实时性要求。算法由光流估计和融合网络两部分构成，其中，光流估计用于输入图像的中间光流估计，融合网络则是一个类似U-Net的网络结构。经后向变形操作后生成对应帧的模糊中间光流，再通过融合网络融合生成最终的结果。

（二） 算法流程

本文使用一种改进的L-K（Lucas-Kanade）金字塔光流法进行光流估计。Lucas-Kanade是由Bruce D. Lucas等人提出的一种两帧差分光流估计方法，它假设光流在像素点的邻域是一个常数，然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程。当图片中物体的运动速度较快时会出现跨度较大的情况，此时算法会出现较大误差。因此，在L-K方法基础上加入图像金字塔结构，最底层为原始图像，越往上图像分辨率越小，上层金字塔中的一个像素可以代表下层金字塔中的两个像素。算法流程包括如下步骤：

1. 金字塔的构建

以原始图像作为金字塔底层，逐层向上，不断降低分辨率，生成上层的图像，构建图像金字塔。

2. 基于金字塔的光流计算

从最上层开始，计算并使得每个点的邻域内匹配误差和最小，以得到该层图像中每个像素点的光流。同时，上一层的结果反馈到下一层作为输入，继续计算位移，重复该步骤，得到大致的图像运动稀疏光流。

3. 残余光流计算

在整个金字塔迭代过程中，还需要对于每一层的残余光流进行计算，最终得到有效的光流估计。

四、系统实现

（一）系统开发环境

系统开发平台的硬件配置为：CPU Corei5-8300H 2.30GHz，硬盘500G（SSD），内存20GB。

系统实现所需相关软件包括：操作系统Windows10，数据库MySQL5.7 社区版，开发环境JDK8和Python3.8，开发框架为SpringBoot、Mybatis、Pytorch。

（二）数据说明

算法在Vimeo90K数据集上进行训练，包含有分辨率为448 * 256分辨率的3000多组图像，每组图像为三元组，即包含3张连续帧。

（三）实验及结果分析

对系统执行功能测试，并展开相关性能测试。

1. 系统响应能力测试

测试系统对正常请求进行及时响应的能力。进入系统首页，通过模拟用户登录的情况，来查看系统响应能力，测试结果表明整个登录过程至进入界面耗时为2.63秒。系统响应登录操作耗时为1.2秒，反映了本系统能够在较快的时间内响应用户的需求。

2. 帧率提升算法有效性测试

分别测试系统在不使用和使用帧率提升算法的情况下，视频会议画面的质量。通过开启多个会议窗口测试视频通信结果，在不使用帧率提升算法的情况下，在网络出现波动的情况下远程会议视频会播放不流畅，出现了明显的卡顿。使用帧率提升算法后，远程会议视频能够保持稳定帧率播放，缓解了网络波动造成的视频卡顿，为与会人员提供了更好的观感。

五、结语

远程专家支持系统开发完成后，经测试后上线运行，经一个月的观察，运行稳定。使用视频帧率提升算法后有效提高了视频会议时画面的流畅度，对关键场景与见证画面的展示提供了更好的支持。该系统的投入使用，大大节省了人力成本，有效解决了现场维修的技术支持问题，提高了质量控制等多方面的企业工作效率。

作者单位：罗俊 中国核能电力股份有限公司

韩辉、李小辉 江苏核电有限公司

徐奎、刘石桥、景应刚 中核武汉核电运行技术股份有限公司