王 亚

(太原理工大学信息工程学院，山西太原030024)

物联网以用户体验和应用创新为核心，将人的眼、耳、口、手无限拓展，是看得见，听得清，能做事的互联网，被视为继计算机、互联网之后世界信息产业发展的第三次浪潮［1］。针对地域分散的分布式生产企业，物联网视频监控有着极为紧迫的需求，成为目前研究开发的热门。但是目前视频监控系统均采用国外音视频标准，潜在专利风险巨大［2，3］。

针对分布式生产企业的视频监控需求，本文开发了一种不依赖国外音视频标准和电信运营商的物联网视频监控系统，包括:自主 AVS标准［4］的 AVS视频编码传感服务器［5，6］，AVS 解码［7］播放客户端［8］和流媒体中间件［9，10］等。具体内容有:双核处理器平台在DSP端实现AVS基准档次编码算法［11］，在ARM端实现视频采集和物联网传输协议，将视频压缩传感器升级为视频传感服务器［12］;客户端实现了AVS实时解码算法和多画面显示播放［13，14］;研制开发流媒体中间件［15，16］，在物联网上m个服务器和 n个客户端之间实现任意媒体流传输的软交换系统。本文将上述独立的部分成果组织在一起，集成优化形成一种基于AVS标准的物联网视频监控系统的完整解决方案。该项目得到2011年度国家科技型中小企业创新基金资助，于2013年底通过山西省科技厅组织的专家鉴定，评价为国际先进水平。

1 视频传感服务器

本文采用国家发明专利［5］瘦服务器技术，在DSP+ARM双核架构上实现了视频传感服务，其基本结构如图1所示。

图1 传感服务器模块划分

其中DSP承担AVS编码，负责图像采集、压缩编码和数据缓冲等视频传感器等任务。为了能够提供流媒体数据服务，ARM端引入流传输控制，使其成为流媒体传感服务器。

流媒体传感服务器的传输控制主要包括视频采集、AVS编码控制、RTP传输以及SIP信令控制4个主要模块。其中视频采集模块采集YUV数据编码压缩后传递给视频控制线程。视频控制模块依据主控函数传入的码率控制参数在循环编码过程中修正QP值，确保目标码率。视频传输模块RTP，与视频控制模块和信令控制SIP模块交互工作，获得客户端的IP和端口等信息后与客户端建立RTP连接，并在视频控制模块中将编码后的AVS视频数据发送到建立连接的客户端。信令控制SIP模块实现物联网流媒体传输的基本协议，通过SIP协议完成包括注册、应答、响应、握手等会话控制功能。

2 客户端

客户端软件包括AVS解码器软件和多画面监控播放软件，已经分别登记了软件著作权。

2.1 解码器

AVS解码器软件采用C代码编写，并利用SIMD指令集的MMX和SSE2指令进行代码优化，软件结构如图2所示。

图2 AVS解码器结构

解码时首先初始化全局变量，之后查找码流中的起始码，并分配所需要的缓冲空间，以帧为单位循环处理。帧为条带，不同的条带对应着不同的起始码，根据起始码判断条带类型，根据判断结果进入不同的解码函数。当解析出起始码值为I图像头或者P、B图像头后，分别进行I帧解码、P帧解码或B帧解码程序，并更新参考帧。最后遇到序列结束码时解码终结，释放所占用的内存空间。

2.2 播放器

多画面监控播放软件功能主要包括:实现SIP协议的信令控制;支持RTP传输协议接收数据并解包;将接收到的码流由GAVS解码转换为YUV格式并显示;显示界面的多画面控制。客户端软件通过SIP协议栈库eXosip2在服务器上注册信息，成功注册的用户可以对多个编码服务器呼叫并建立连接，开始接收码流，进行本地保存并解码显示。在Windows和Linux两个平台上分别使用MFC平台和QT4平台实现播放器，Windows客户端需创建基于MFC对话框的应用程序，以客户端界面的控制选择来编写相关功能程序。

3 流媒体中间件

视频传感服务器与客户端形成一对一的网络通信，但对于m个视频传感服务器和n个客户端组成的物联网视频系统，采用点对点通信则需建立m×n个连接，显然不合理。若通过运营商实现互联会增加系统建设和运营费用。本项目研制开发了流媒体软交换中间件，仅需建立m+n个连接，并且有效避免了码流的重复缓存和传输，该软件已经登记了软件著作权。

流媒体中间件首先集中缓存m个视频传感服务器提交的码流，然后根据需要和权限分发给n个客户端。系统在主线程中完成网上代理注册，即向SIP注册服务器登记自己的代理用户名、IP地址、端口信息等。客户端如需申请某路视频码流，将呼叫请求发送到流媒体中间件。若请求的该路视频信息尚未被任何客户端申请，流媒体中间件先向该路视频传感服务器发出呼叫并建立会话通道;发送响应信息到原发起呼叫的客户端建立与客户端的会话通路;从此通道获取视频流数据传送到客户端。若请求的该路视频已经被其它客户端呼叫并建立了连接通道，流媒体中间件开辟一条新的线程并直接响应呼叫的客户端，并分发传输该路媒体流数据。

研制开发的流媒体中间件还负责客户端的管理调度，涉及到权限、鉴权以及计费等机制。

4 结果与讨论

本文的物联网视频监控系统包括三个可独立销售的装备，分别是视频传感服务器、客户端解码播放软件和流媒体中间件软交换应用服务器。其中AVS编码器能够实时采集D1分辨率每秒25帧图像并进行编码压缩，码率500 k～2 Mbps可调，信噪比PSNR:35～43 dB，主观质量清晰流畅，无马赛克，无抖动，同时实现对AVS视频流的数据打包、本地存储和网络传输。优化后的AVS解码器软件在Pentium双核处理器、1.86 GHz的CPU主频、WindowsXP的操作系统，Visual Studio 2008环境下进行编译，解码图像信噪比测试结果与AVS官方参考软件结果完全一致，D1格式解码速度为50.59fps，完全满足实时要求。流媒体中间件可将注册服务器部署在广域网上支持广域网的软交换。与其他网络交换解决方案相比，本文的流媒体软交换中间件把对运营商的依赖降至最少，运行费用低廉。

［1］刘伟.物联网发展与知识产权保护互动关系研究［D］.湖南:中南大学，2012.

［2］ISO/IEC JTC1/SC29/WG11.MPEG －4 Video Verification Model Version 10.0［S］.MPEG98/N1992，San Jose，February 1998.

［3］Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification(ITU-T Rec.H.264|ISO/IEC 14496-10 AVC)［C］.Joint Video Team(JVT)of ISO/IEC MPEG and ITU-T VCEG，7th Meeting，Pattaya，Thailand，7-14 March 2003，JVT-G050.

［4］黄铁军，高文.AVS标准制定背景与知识产权状况［J］.电视技术，2005(7):4 －7.

［5］常青，张刚，张胜，等.廋服务器［P］.中国发明专利，200910074235.4［P］.2009，9，7.

［6］山西达鑫核科技有限公司.视频传感服务器软件［P］.软件著作权登记:2013SR136408.

［7］山西达鑫核科技有限公司.AVS解码器软件［P］.软件著作权登记:2013SR136419.

［8］山西达鑫核科技有限公司.监控系统客户端软件［P］.软件著作权登记:2013SR136402.

［9］山西达鑫核科技有限公司.流媒体中间件软件［P］.软件著作权登记:2013SR136413.

［10］王雷.AVS视频监控系统的设计与实现［D］.太原:太原理工大学，2012.

［11］王瑞.SOA架构下的AVS实时编码器(D1)的关键技术研究［D］.太原:太原理工大学，2011.

［12］郝敏.流媒体中间件及基于以太网的视频监控系统应用研究［D］.太原:太原理工大学，2013.

［13］关艳华，张刚.AVS视频解码器的PC实现［J］.电视技术，2013(3):8－10.

［14］高誉菊.支持时间索引的文件系统在流媒体存储系统的应用［D］.太原:太原理工大学，2014.

［15］展鹏飞.物联网视频监控系统关键技术研究［D］.太原:太原理工大学，2014.

［16］吕鹍.物联网视频云系统架构研究［D］.太原:太原理工大学，2014.