崔岩松，王 方，陈科良

（北京邮电大学 电子工程学院，北京 100876）

高等院校进行电子电路实验由于时间、设备、场地的限制，实验过程被限制在实验课堂的短短数小时内，这对学生动手操作能力和学以致用能力的提升无疑是一种桎梏。基于网络技术的虚拟实验室不仅可以让学生实验摆脱时间、空间的限制，还可以规避真实操作带来的风险。由于虚拟实验室的“设备”与“部件”是虚拟的，可以根据情况随时更新，节约了购买设备的经费。

随着计算机网络和三维图形软件等先进信息技术发展，媒体的呈现形式也不再局限于平面，虚拟现实（VR）产业已经悄然兴起。由于VR 能给予用户新鲜感以及强烈的代入感，因此拥有着巨大发展潜力。以VR 为基础的全景图像、VR 视频、VR 游戏等，在社交、商务、娱乐等领域目前已取得不错的成果。然而，对于传统教育行业，其教学模式经过前一次投影教学的革新之后，一直再未有大的改变。随着对教学质量要求的不断提高，教学内容需要更加直观形象的展现形式，授课方式需要更加便捷和多元化，不再被教室、实验室等空间所束缚。因此，将虚拟现实技术与教育教学进行融合，探索信息技术在教学模式中的深度应用，创新学习授课方式势在必行。VR 技术在教学方式方法的创新上具有很大发展空间与优势。本文旨在设计一种基于VR 直播的具有创新性、多样性、可实现性和发展性的远程教育系统。

1 系统设计

为了应对不同应用场景的需求，基于VR 直播的远程教学系统给用户提供了两种使用方式：（1）针对学校局域网内的学生用户，（2）针对公网环境下的手机用户。

1.1 学校局域网内的学生用户

学校范围内的学生用户主要需求集中于课堂教学。由于VR 视频对网络环境的要求很高，要达到多用户同时同地进行高清流畅的VR 直播是非常困难的。为此，系统设计中引入了“拟直播”的概念：系统将在各个教室、宿舍等地方设置机顶盒路由器，搭建局域网VR 资源平台。根据学校的教学课程表设置后台的定时任务，提前缓存次日的课堂资源[1]。正式上课时，教师端作为主机，通过组播的方式向组成员（学生）发送VR 课堂资源，从而解决了数据的重复拷贝及带宽的重复占用问题。局域网下的系统架构如图1 所示。

图1 局域网下的系统架构

课堂上的师生及时互动也是教学系统不可或缺的功能[2]。系统使用Socket 通信实现了局域网下互联互动功能。教师端可通过机顶盒路由器来查看不同学生的学习状态和学习进度。教师端与学生端之间也可以模拟上课举手回答问题等现实场景。“拟直播”和Socket 通信的结合，能够进行低延迟高清晰的VR 流媒体播放，给学校范围内的学生用户提供更好的直播体验[3]。

1.2 公网环境下的手机用户

公网环境下的手机用户主要需求集中于兴趣式浏览。因此，为不同用户描绘“用户画像”，并对其进行智能推荐尤为重要。系统将记录下用户的浏览历史、点赞、预约、收藏视频、个人资料的设置等原始数据，对原始数据进行统计分析后构建数据标签，并根据这些数据标签构建出用户画像。用户使用频率越高，用户画像的构建将越细致。

手机APP 端主要由VR 直播、课堂推荐、往期课堂、课堂预告4 个模块组成。学生用户可以在VR 直播模块中实时观看学校当前推送的直播内容，使得学生可以不受地域的限制，随时随地参与课堂。课堂推荐模块根据用户的用户画像为其量身推送优质的课堂内容，让学生在兴趣的海洋里深潜。往期课堂模块中会展示用户相关课堂中的历史内容，用户可以通过这个模块来观看历史视频。课堂预告模块主要用于向学生展示未来的课程安排，学生可以通过收藏或订阅的方式来获得课堂的后续推送内容。

虚拟现实技术与课堂的有机结合，让原本枯燥的课堂变得有趣，让原本抽象的概念变得立体，让原本遥远的景象变得咫尺[4]，从而能够激发学生们的学习热情。

2 系统关键技术设计与实现

2.1 VR 技术

VR 虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机生成模拟环境，通过多源信息融合的交互式三维动态视景和实体行为的系统仿真，使用户沉浸到模拟环境中。虚拟现实是多种技术的综合，包括实时三维计算机图形技术，广角（宽视野）立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等[5]。

在本系统设计中，呈现VR 的载体主要是Android手机，搭配可进行手机观看的VR 眼镜，从而实现VR体验效果。VR 眼镜的原理是将内容分屏，切成两半，通过镜片实现叠加成像。与人类眼睛的工作原理类似，两个透镜相当于眼睛，但远没有人眼“智能”，需要通过调节透镜的“瞳距”使之与人眼重合，保证三点一线，从而获得最佳的视觉效果。同时，VR 眼镜需要手机中对应的VR 播放器进行配合，才能获得VR 效果。目前市场上成熟的VR 播放器都是不开源的，因此本研究通过原理分析和拆解，并以Android 系统强大的功能作为基础，设计了一款简单但功能完善的播放器。

VR 视频播放器主要有两个技术难点： VR 效果的渲染和视频播放的控制。由于VR 视频的每一帧都是一张360°的全景图像，因此对于播放器而言，VR效果的渲染工作总结起来主要是两大部分：球体的绘制和球体的全景图像纹理贴图。完成贴图后，为了让观众自由切换视角，还需要使用投影和相机视图，并进行窗口裁剪。这部分工作的实现需要借助Android 系统自带的OpenGL ES 和GLsurfaceView模块，前者是用来完成视频内容渲染工作，后者则是将渲染内容直观地展示在surface 上。VR 全景视频完整的渲染播放流程如图2 所示。在视频播放的控制上，以开源的IJKPlayer 播放器为基础，尽管它提供了一个视频的播放控制组件MediaController，但是不太适合本系统的要求[6]，因此重新定义了一个播放控制类MyMediaController。它继承自FrameLayout，作为一个自定义组件来使用，主要完成视频播放/暂停、进度条拖动播放、陀螺仪开关以及播放模式切换的控制。

图2 VR 全景视频渲染播放流程

2.2 直播技术

直播是当下最火的媒体形式，各种类型的直播丰富着人们的生活。由于直播不受空间的限制，因此在任何地方只要有网络就可以接入直播源播放，学生就可以开始学习，并且没有人员数量限制。本系统将直播与VR 结合起来，使平面化的教学直播向沉浸式的互动直播转变。整个VR 直播架构与流程如图3 所示。

图3 VR 直播架构与流程

本系统主要涉及储存分发与播放流程，而VR 直播源则是由各类教学机构提供。本系统在后台建设上采用当下最流行的CDN（内容分发网络），依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，从而降低网络拥塞，提高用户访问响应速度和命中率。这对于VR 直播延迟的降低起到了至关重要的作用。在播放环节，直播流支持RTMP、HLS、HTTP 3 种流传输协议，通过支持流媒体格式的VR 播放器，将直播内容展示给用户。

由于VR 直播每一帧的内容都是360°的全景图像，并且为了达到基本的观看体验，分辨率至少需要超清，最好达到4K 标准[7-8]，因此VR 直播对网络延迟、带宽、分辨率等的要求极为苛刻。然而，对于当前的网络环境而言，很难实现高清流畅的直播效果。因此，本系统引入“拟直播”的概念，以机顶盒路由器为媒介，设置后台任务提前缓存次日的课程资源，通过局域网组播的形式，并且通过定时服务，做到向用户按时播放课程。这种“拟直播”是当前环境下技术层面的应对方法，它既可以实现流畅高清的“直播”，又能减少用户端的缓存占用。

2.3 远程控制

对用户的管理控制是教育系统的一项重要功能。处于公网的用户在手机APP 中使用HTTP 协议来获取后台资源、接收服务器推送、观看直播等，系统通过管理后台配置用户的观课权限、学期课程等。用户也可以借助请求来发送消息、预约授课。公网环境下的控制模式是一个典型的基于HTTP 云服务器交互访问。

学校内用户的管理控制模式涉及单播广播、TCP/UDP 协议等，并以每个机顶盒路由器为中心，形成以教室为单位的局域网。每个局域网包括一个通过Android 程序架设在机顶盒的服务器以及数十个用于教学的 VR 设备。在教学过程中，客户端通过DatagramSocket 发送UDP 广播搜索服务器设备，对消息采用ByteBuffer 进行数据包装，发送包含特征码的消息。服务器作为接收端，收到消息后对数据进行解析，发现包含的特征码后，将自己的IP 和端口回送给客户端。这样两者就可以尝试建立TCP 通信。具体过程如图4 所示。

图4 UDP 搜索与TCP 连接过程

由于有多个客户端进行连接，为了保证并发性，系统将开启新线程与客户端建立TCP 连接，并且将发送和接受分开。建立连接后，教师可以通过服务器向所有建立连接的客户端VR 设备发送课程资源，实现一对多教学。学生用户可以向服务器发送消息，例如举手、提问，教师通过消息反馈实现了一对一教学。

2.4 用户画像

在大数据时代，许多电商会将用户的每个具体信息标签化，再利用这些标签将用户形象具体化，从而为用户提供有针对性的服务[9]。用户画像不断发展逐渐演变成了当前企业用于识别特定群体客户的标签。本系统将手机APP 的课堂推荐模块与用户画像结合起来，让系统能够对用户进行智能推荐，满足用户的浏览需求。

本系统中的用户画像构建主要通过取自用户的3个维度的课堂描述词，即课堂大类、课堂名和授课老师。基于用户使用此APP 的所有浏览和消费行为，系统可以计算出每个用户的兴趣重点，并将这些用户感兴趣的课堂作为用户的标签[10]。在这3 个维度的课堂描述基础上，再额外增加用户点击、预约、收藏和关注4 个维度，系统构建出专属的用户画像。整个用户画像的构建流程如图5 所示。

图5 用户画像构建流程

3 系统测试

由于本系统应用于VR 教学，VR 播放过程中的网流畅度是最为关键指标，因此主要针对播放过程中的缓存速率和帧率作了组合测试。测试环境的配置如表1 所示。通过编写代码，实时输出日志，记录测试结果。整理统计所得到的数据，取多次测试平均值，具体结果如图6—8 所示。

表1 系统测试环境配置表

从图6 可知，在WiFi 和4G 环境下的视频缓存速率趋势基本相同，播放开始速率较快，随后趋于稳定。从图7 可以看出，播放过程中视频帧率稳定在60 fps左右，符合人眼观看无卡顿的需求。从图8 可以看出，播放开始后GPU 占用率保持在20%左右且稳定。

图6 WIFI/4G 环境下视频缓存速率

图7 视频播放帧率

图8 视频播放中GPU 占用率

测试表明，系统在正常网络环境下，对于超清画质下的VR 视频流播放效果稳定良好，基本无卡顿，用户可以体验到优质的VR 效果，符合教学要求。系统效果如图9 所示。图10 为VR 直播间互动界面。图11展示了系统首页。

图9 VR 直播播放效果

图10 VR 直播间互动界面

图11 系统首页展示

4 结束语

本文设计了基于VR 直播的远程教学系统，并根据不同的应用场景设计不同的使用方式。在校园内应用时，该教学系统通过引入“拟直播”的概念解决了VR 课堂直播中对网络环境高需求的痛点问题。结合Socket 通信的方式，系统将流畅高清的VR 课堂直播传送给每一个学生。在公网环境下应用时，该教学系统为用户提供了VR 直播、课堂推荐、往期课堂、课堂预告4 个模块，不仅能够满足学生日常观看VR 教学视频的需求，还引入了“用户画像”技术，为用户进行个性化的内容推送。

基于VR 直播的远程教学系统将VR 与课堂直播结合起来，颠覆了传统的教学模式，将教师针对全班同学的无差别教学，颠覆为真正的个性化因材施教。每一位学生都可以在虚拟环境中，感受360°沉浸式教学，教学系统让学习的知识可视化、立体化、体验化。本研究对创新教育方式与手段具有积极作用，是对VR与教学融合的积极探索。