孙小期，王晓东，汤锐彬，张婷，刘家璇，陈芬

（宁波大学信息科学与工程学院，浙江宁波315211）

基于TI DM 365的嵌入式智能导播录课系统*

孙小期，王晓东，汤锐彬，张婷，刘家璇，陈芬

（宁波大学信息科学与工程学院，浙江宁波315211）

近年来，随着MOOC、翻转课堂等在线教育产品的推出，互联网正渐渐改变着传统的教学方式，其关键因素在于优质、个性化教学视频的录制。本文介绍了一种基于TI DM365芯片的嵌入式智能导播录课系统，硬件上采用TI DM365 DSP芯片接收3路视频和2路音频，并提供USB、LAN及WiFi接口；软件上采用FFmpeg开源库中先进的音视频编解码库libavcodec，系统上位机软件基于VS2013 C++开发。该系统具有多路音、视频混流解码，六种智能导播和切换模式，本地、云端存储和点播回放等功能。系统测试结果表明：该系统性能稳定、音视频延时率小于100ms，所录制的视频的分辨率达到1080 p、音质效果佳。与现有的录课方式相比，本系统具有简约化、便捷化、经济化和人性化等优势。

智能导播；录课系统；FFmpeg；TI DM365；DSP芯片技术

0 引言

近年来，随着计算机软硬件、互联网等信息技术的飞速发展，信息化教学技术也在不断更新、进步和发展。信息化教学为学习提供了全新的交流通讯手段、丰富的资源和多样化的学习方式，为高效学习带来了更多的契机[1]。MOOC[2]（慕课）作为一种在线课程开发模式，自2012年以来得到了快速的发展。其主要教学内容以个性化的教学视频为主。现在比较受欢迎的慕课教学平台coursera，拥有1 120万以上的成员，与世界118所大学合作提供939门课程。除了慕课之外，SPOC（翻转课堂）[3]这种重新调整课堂内外的时间，将学习的决定权从教师转移给学生的教学方式也随之普及。慕课教学和翻转课堂等新型的教育模式，打破了传统教育资源壁垒，重新整合优质资源的学习方法，随着知名度的提升，必然会成为世界教学的趋势[4]。

慕课教学和翻转课堂等新型教学方式的关键性因素是个性化教学视频的录制。然而，视频录制却存在着种种问题。现有视频的录制主要通过专业拍摄团队录制、录课教室录制、摄像机录制、软件录制四种方式。通过访问调查，通过专业拍摄团队录制其价格为1 000~ 1 500元每课时。而特殊布置过的智慧教室进行录制成本也较为昂贵。以宁波大学为例，2014年，宁波大学花费230万元购置16间教室；2011年，录课教室价格为平均62.5万元/间。除此之外，录播教室受环境因素的制约大，一定程度上打击了老师的积极性。采访通过软件进行录制的老师，发现通过电脑录制视频，由于没有学生参与，教师授课的真实感差，导致教学效果不理想。同时，录制视频后期的剪辑成型需要一系列复杂的工具处理，需要花费大量时间和精力，让许多优秀的老师对新型的教学方式望而却步。

针对上述教学视频录制所存在的问题，设计发明一种基于TI DM365的嵌入式智能导播录课系统，它将庞大的智慧教室的所有设备以及相应的功能浓缩在了一个机器人上，同时将一系列复杂的视频处理精简成为混合输出的方式，可应用于小学、初中、高中、大学等各大教育机构和想要传播想法的个人等。

1 系统总体设计

1.1 系统架构设计

所设计的智能导播录课系统通过一个类人型机器人得以呈现，机器人由摄像头、麦克风、平板电脑、DM365芯片组成。

图1是整个系统的拓扑图，该系统有三路视频源、两路音频源输入，集成在平板上的录制回放下位机提供控制指令和实现人机交互，一路视频信号采集教师的授课图像，一路视频采集教师授课课件的图像，通过路由器将两路视频信号叠加，同时和音频信号混频，并通过RJ45口TS流输出，最终通过开发的软件在PC终端上解码显示。系统提供WiFi、USB、RJ45高速LAN接口，方便教师将课件拷入系统，并将录制完的视频直接上传至服务器或直接U盘输出。

图1 系统拓扑图

1.2 子系统功能

1.2.1 视频采集

视频采集子系统包含三路视频信号采集，第一路是教师摄像头输出的SDI信号，通过BNC接口传递给DM365教师视频采集板；第二路是平板电脑输出的HDMI信号，通过VGA接口传递给DM365平板电脑视频采集板；第三路是学生摄像头输出的SDI信号，通过BNC接口传递给DM365学生视频采集板。所有三路信号均由DM365达芬奇技术编码成TS流。

1.2.2 音频采集

第一路是麦克风采集的教师授课音频AAC信号，通过标准3.5 mm接口输出至DM365教师视频采集板；第二路是平板电脑中讲义声音，由HDMI转VGA和标准3.5 mm接口输出至DM365平板电脑视频采集板。

1.2.3 智能导播

（1）教师端平板识别教师上课指令，对完整架构的视频TS流进行保存，实现一键录制的功能，所录制的视频可以通过U盘输出或直接上传至百度云。

（2）录制回放下位机接收控制指令，解码三路TS流并架构进行导播。导播方式有6种：课件全屏、学生全屏、教师全屏、画中画1（课件右主屏、教师头像左下角小屏）、画中画2（课件全屏，教师头像右上角小屏）、画中画3（课件全屏，学生右上角小屏）。

1.2.4 交互控制

交互控制指的是智能导播的软件控制，通过5224端口识别教师动作并与特殊端口通信。

1.2.5 主存储

智能导播录课系统内置导播模式软件，通过录制下位机整合回放录课视频，以TS流的形式保存MPEG2-TS格式的文件，实现视频流的任一片段都可以进行独立解码[5]。一方面，所录制的视频可通过U盘拷贝，方便后期简单修改；另一方面，视频可直接云端上传，让学生能够第一时间观看课堂视频。

2 硬件设计

2.1 音视频采集与编码

系统的三路视频源、两路音频源输入均采用TI公司的DM365 DSP芯片技术进行处理，高速完成数字音/视频信号的采集、编码等工作。如图2所示。

本系统首先由SDI摄像头模组捕获视频，将捕获的视频数据送入核心处理器DM365中进行图像信号处理（ISP），然后利用处理器的硬件加速器（协处理器）进行相应的编码压缩等操作，得到编码流数据，接着基于TCP/IP协议通过网络将编码后的数据（TS流）传输到与它相连接的下位机中。由于编码所需系统资源较大，所以需要将单一节点的编码运算压力分摊到三路下位机上实现，整个系统可接收3路视频输入和2路音频输入。

图2 高清视频信号的数据流

对3路SDI高清视频信号的处理，其数据流的载体框架如下：一方面SDI视频从输入口经过GV7601并经GV8500后输出；另一方面GV7601与核心视频处理器DM365和CPLD处理视频流的编码压缩等。其中GV7601相当于一个中继器，而GV8500相当于驱动，实时地完成高清视频流从输入到完整输出的整个过程。为了能够对CPLD和DSP编程，专门设置了JTAG接口和RS232接口。

对2路音频信号的处理拟采用基于MPEG-2AAC音频编码技术[6]，其压缩比可达到18：1。AAC的音频算法在压缩能力上远远超过了其他传统音频压缩算法（如MP3等），它能同时支持多达48个音轨、15个低频音轨、更多种采样率和比特率、多种语言的兼容能力、更高的解码效率。

2.2 导播控制

（1）录制过程：一块DM365 DSP芯片采集平板上所显示教师讲义的HDMI信号，编码形成教师讲义TS流，教师按照平板中提示界面对课程进行一键录制，平板同时提取教师对教学讲义的交互信号。使用时，教师手动滑动平板电脑的触摸屏对教学讲义进行操作，或者利用无线遥控器实现对教学讲义的控制，这些行为被提取抽象成控制信号，控制信号通过特定端口同时与三块DM365 DSP芯片输出的TS流信号汇集并传送到录制回放下位机中。

（2）多种导播模式与回放实现：通过设计智能导播录课系统实现了六种导播模式：课件全屏、学生全屏、教师全屏、画中画1（课件右主屏、教师头像左下角小屏）、画中画2（课件全屏，教师头像右上角小屏）、画中画3（课件全屏，学生右上角小屏）。录制回放下位机根据控制端控制指令读取教师授课TS流、学生视频TS流、教师讲义TS流，并接收特定端口传出的控制信号对TS流进行解码架构实现回放，混频输出显示。

（3）网络支持：TS流的读入均采用TCP/IP协议通信，教师授课TS流、学生视频TS流、教师讲义TS流统一采用TCP端口5223进行socket流通信；控制信号通过TCP端口5224进行传输。

2.3 云端存储

系统具有WiFi、USB、RJ45高速LAN接口，提供U盘拷贝和云端上传两种输出方式。通过U盘拷贝和云端上传两种输出方式，教师在授课结束后既可通过U盘拷贝已完成编码的视频，也可选择上传至特殊的百度云账号，依托百度云的海量数据存储和断点上传功能，教师和学生均可登录云盘在线观看或是下载视频，实现多终端多平台的支持，云端录课视频可在电脑端和手机端下载观看。本系统服务器架构的设计实现了系统的脱机工作，更大程度地减轻了教师上传的工作量和运营维护的时间成本。

3 软件设计

3.1 系统整体软件设计

高清SDI音视频编码器以嵌入式视频处理板为系统核心，处理器依靠内部集成的H.264高清编码协处理器HDVICP完成视频的H.264实时压缩编码，输出TS音、视频流。由ARM端程序接收到音视频流，然后按照恰当的封装策略封装成TS包，最后通过以太网卡发送给接收端。

系统整体软件设计图如图3所示。

图3 系统整体软件设计图

智能导播录课系统通过软件层面的设计，让教师们可以随时随地进行课程的录制，并及时地将录制完成的课程进行上传，让学生们可以在第一时间通过手机或者电脑进行课程的学习。

3.2 采集模块

采集模块的软件流程图如图4。主要分为以下几部分：连接IP并确定端口、定义结构体、设置视频图像参数、设置音频声音参数。

3.3 视频数据编码模块

视频数据编码模块的软件流程图如图5。主要分为以下几部分：创建sock、读取预设文件中的对应板子的IP地址、通过socket接受一帧数据、关闭socket。

图4 数据采集模块软件流程图

3.4 智能导播模块

智能导播录课系统通过与视频流相同信道、不同端口进行导播控制指令的发送与接收。教师机控制端实现软件智能切换算法，检测用户录课过程中的特定行为，并判断决定以何种导播模式，通过5224端口向回放端发送指令；终端回放端接收控制端发出的控制指令，读取特定端口的socket，并按导播模式显示。

3.5 存储模块

云端存储流程图如图6所示。智能导播录制系统通过下位机根据内置的导播模式，回放整合后的视频，并形成新的一路TS流实现文件的保存，保存文件的格式为MPEG2-TS。教师可以通过U盘拷贝或者直接通过云端上传存储。

图5 视频数据编码模块的软件流程图

3.6 回放模块

录制下位机根据控制端控制指令读取教师授课TS流、学生视频TS流、教师讲义TS流，并且接收特定端口传出的控制信号。通过开源FFMPEG库实现录课过程中所有的视频编解码、编译及播放功能[7]以及选择导播模式来实现对TS流的解码与架构。通过下位机上的具有智能导播切换功能的软件播放器，将TI DM365输出的H.264视频文件和AAC音频文件以TS流上传至云端服务器，提供点播回放功能。

图6 云端存储流程图

4 结果及分析

4.1 系统成果

系统成果图如图7所示，在智能录课导播机器人正面放置平板、摄像头及麦克风。平板模拟教师与学生面对面交流的情境，机器“学生”面对教师听课，模拟学生课堂反应；摄像头能实时录制教师上课和学生听课的过程，集成智慧教室的功能；麦克风放大老师的声音。通过DM365芯片采集视频信号至路由器，通过路由器及内网交换同时结合多媒体讲义混成输出视频，可直接上传至云端服务器进行广播，通过PC、Android等终端供学生使用。本实验调试时所使用的终端电脑为华硕N53T笔记本电脑。

4.2 软件效果图

如图8是使用智能导播录课机器人录制的教学视频所截取的一张画中画1（课件右主屏、教师头像左下角小屏）的效果图。

4.3 系统性能测试及分析

输出视频格式：MPEG2-TS；

导播方式：两路音频、三路视频混叠后的六种智能导播切换模式；

输出方式：USB、WiFi、网络云盘；视频清晰度：1 080 p；

音视频延时率：＜100 ms。

智能导播录课系统录制的视频格式为MPEG2-TS，MPEG2-TS是一种用于音效、影像与资料的通信协议。对HDV信号的采集与其他DV一样实时采集，视频源文件转换成为MPEG2格式并保存。智能导播录制系统所采用的导播方式为两路音视频混叠，并且音视频的延时率达到小于100 ms。导播视频根据教师上课课件以及教师上课的肢体反应实时进行切换，输出视频的分辨率达到1 080 p。录制结束时，视频可以直接通过USB输出或者通过网络直接上传至云盘，方便学生进行观看。

图7 系统成果图

图8 录制效果图（画中画1）

4.4 系统特色与优势

（1）系统通过简约化的设计，将一个录播教室的一整套功能浓缩到了一个单机中；

（2）系统通过便捷化的处理，把一套繁琐的视频处理程序精简成了直接通过U盘输出和云端存储；

（3）系统具有经济化的思想，成本价格控制在1万元左右；

（4）系统秉持着人性化的理念，将原本枯燥无味的录制过程转换成了一个模拟环境，让教师能够真实地感受上课环境，提高视频的质量。

5 结论

本文设计了一种基于TI DM365的嵌入式智能导播录课系统，该系统能够显著地提高教师录课视频的质量。通过智能导播录课系统进行视频的录制，在节约录课成本的同时，与现有的其他录课方式相比，机器所占的空间明显减少，对操作者的处理技术水平几乎没有任何要求，同时输出视频的分辨率为1 080 p，音频与视频的延时率小于100 ms。与现有的录课方式相比，本文设计的智能导播录课系统简约化、便捷化、经济化和人性化的特点相对突出，输出视频的优质性也更加显著。

[1]刘斌.信息化教学有效性的理论思考——对信息化教学本质的再认识[J].现代教育技术，2013（3）：26-29.

[2]宋德清.MOOC在社区教育中的应用路径探索——基于开放大学建设的视角[J].远程教育杂志，2013（6）：68-74.

[3]张金磊，王颖，张宝辉.翻转课堂教学模式研究[J].远程教育杂志，2012（4）：46-51.

[4]程国均，陈咏陶.注重学生参与的创新教学模式[J].西南民族学院学报：哲学社会科学版，2002（5）：240-242.

[5]陈卫兵，徐重阳，刘卫忠.ES流复用成MPEG-2 TS流的缓冲区控制策略及实现[J].中国有线电视，2003（5）：6-9.

[6]陈涛，黄东军.MPEG-2／4AAC实时音频编码器实现性能优化研究进展[J].电声技术，2008（5）：45-50.

[7]蒋志峰．FFmpeg的快速音视频开发方法[J]．单片机与嵌入式系统应用，2008（1）：69-71.

An embedded intelligent directed lessons recording system based on TIDM 365

Sun Xiaoqi，Wang Xiaodong，Tang Ruibin，Zhang Ting，Liu Jiaxuan，Chen Fen
（School of Information Science and Engineering，Ningbo University，Ningbo 315211，China）

In recent years，with the launch of MOOC，Flipped Classroom and other online education products，the Internet is gradually changing the traditional way of teaching.The key factor of those online education products is recording quality，individualized teaching videos.This paper describes an embedded intelligent directed lessons recording system based on TI DM365，which uses TI DM365 DSP chip receiving three-way video and two-way audio on hardware and provides USB，LAN and WiFi interfaces.Using FFmpeg open source library of advanced audio and video codec library libavcodec，the PC software of this system is developed by VS2013 C++.The system has a multi-channel audio and video francis decoding，six kinds of intelligence directed and switch modes，local，cloud storage and on-demand playback functions.System test results show that the system performance is stable，the delay of audio and video is less than 100 ms and the recorded video resolution reaches 1080 p，which suggest sound quality is good.Compared with the existing lessons record mode，the system has a series of advantages such as simplicity，convenience，economization and humanization.

intelligent directed；lessons recording system；FFmpeg；TI DM365；DSP chip technology

TP399

A

1674-7720（2015）13-0035-04

2015-02-05）

孙小期（1994-），通信作者，女，本科，主要研究方向：数字信号处理技术、视频图像处理与传输。E-mail：273851715@qq.com。

2015年浙江省大学生科技创新活动计划（新苗人才计划）项目；浙江省高等教育教学改革研究项目（jg2013044）；浙江省高等教育课堂教学改革项目（kg2013101）；浙江省普通本科高校新兴特色专业建设项目（通信工程）；宁波市特色专业建设-通信工程（D00635128000）

王晓东（1970-），男，硕士生导师，副教授，主要研究方向：视频图像处理与传输、计算机网络技术等。

汤锐彬（1994-），男，本科，主要研究方向：数字信号处理技术、视频图像处理与传输。