韩永亮

摘 要：结合当前大数据信息化时代背景的发展，在分析了MapReduce 计算模型的基础上，提出了基于大数据技术的海量网络视频处理系统结构，希望能有效结合新时代的网络发展特点来有效处理网络视频，符合新时代背景下的视频处理要求。

关键词：大数据技术;网络视频;视频处理;关键技术

1 引言

在信息化时代背景下，多媒体信息则是互联网信息中不可或缺的重要内容。随着人们越来越关注网络直播商业化的发展，移动视频直播平台则是网络技术发展的重点方向，这也给传统的网络视频采集以及识别处理带来一定的问题[1]。这里结合实际的情况，从多方面论述了如何借助于新型互联网技术来满足视频数据的处理需求。这里结合基于大数据技术，提供了如何有效进行海量网络视频处理的方案，在此系统中，应该采用多机集群并行方式来开展有效处理相应的视频数据，以便高效处理网络视频问题。

2  MapReduce 计算模型

这里选择的MapReduce算法则是能有效进行大规模数据集处理的模型，能有效实现自动化的实现并行性的要求，能符合普通商用计算机的集群组成运行的要求。针对MapReduce算法的过程，主要算法思想为：通过客户机所提出的计算任务则是结合Master 管理要求，能够进行往下分配处理到多台机器进行相应的处理以及执行，在此基础上，通过Master进行结果收集者能够将多台机器的收集结果来实现将其发送给提出请求的客户机，这就基本完成了Map 阶段的任务分配以及Reduce阶段中的收集执行结果的基本流程。

3 海量网络视频处理系统结构

结合实际的需求，系统主要涉及到客户机集合以及分布式计算机集群两部分。前者的数量不固定，且主要是进行视频数据的采集工作;后者则是进行视频数据处理以及分析，具有上述的MapReduce 算法模型。其中，数据输入以及视频数据处理界面都在每个客戶机上进行配置，Master节点主要是能实现客户机的交互活动，全力保障能满足Worker节点的资源分配任务要求;而Worker节点则是负责进行视频数据的相应处理内容。

3.1 系统功能

系统能满足通过关键词的形式来进行海量视频内容的检索功能，在此过程中，能结合实际情况来进行人物以及事物的特征提取、特征设定以及相应的对比位置追踪等工作。相比传统的工作来看，这种方式能够有效提升处理速度，满足新时代背景下的互联网上呈现出几何式增长速度的视频数据的要求，同时表现出较强的可扩展性的要求[2]。

3.2 系统处理内容

（1）视频输入

结合相关的网络多媒体数据来源情况，可以具体涉及到Ftp Server、Web Server和Media Server等模块中，并能结合相关的输入视频的类型，保障满足多种格式的支持要求。在进行视频数据系统中，这里选择分布式的存储管理结构，并进行相应的Worker节点存储。

（2）视频片段帧提取

在此模块中，能够实现特定的帧提取的操作，这样能为后续的目标识别奠定良好的基础工作。在此环节中，结合实际需求来预先指定相应的特定位置。

（3）目标特征识别和提取

相关内容在Worker 节点满足实现，则是通过自定义的Map函数来实现，能够有效进行特征信息的识别提取，则是检测中的重要内容。具体来说，涉及到对于数据时间、来源、地域等方面的外部特征提取;以及数据文件大小、固定图帧、偏移数据片等内部特征的提取情况;以及信息指纹、特征向量方面的工作，这样有利于提升视频检索效率。

（4）视频内容重复性检测

结合实际需求来看，还应该重视视频内容的重复性检测工作，避免出现重复的视频情况。这里主要是采用视频特征向量的重复检测算法，并结合实际确定相关的相似度，给予重复内容进行必要的标注处理。

（5）视频片段信息量计算

结合系统的整体要求，选择视频数据信息量的计算方式，有效能够搜索预期的目标视频。这种算法中，能够把视频中的事件、地点、时间以及人物等关键属性进行作为描述视频的一个维，在此过程中，结合实际进行相应的权重赋值，利用相关的数据库中的视频各维的属性与该维上预设属性的相似程度进行判断，并给定相关的数值，并通过合理的计算判定得到这个视频的信息量。通过信息量的计算以及比较，能够体现出视频的重要程度，如果其数值越高则说明前越符合目标视频的要求[3，4]。

3.3 内容识别

（1）文字识别

通过文字识别技术，能将视频中文字进行有效的提取处理，这部分主要涉及到字幕以及图上文字等部分，一般来说，处理的方法主要为：针对字幕情况来说，采用分离于视频文件的情况进行处理;如果难以进行分离处理，则可以开展相应的方法提取;当存在难以识别的情况，则应该开展图片的截取处理。

（2）人识别

针对视频中的人部分内容来说，先识别出在进行处理。在具体的识别环节中，主要是通过人脸识别以及人身体姿态的识别。这里系统仅对于视频中的人进行识别，并没有能够分清楚识别者的身份，所以，选择基于人脸特征点的识别算法，同时，进行人身体识别的过程中，则融入相应的特定算法内容。整体系统中则是通过人脸识别为主，且身体识别为辅的方式。

4 结束语

综上所述，这里结合大数据技术而提出了有效的海量网络视频处理方案，结合MapReduce模式的视频处理并行算法的优势，能保证系统符合实际的项目需求，能实现一定的容错性以及可扩展性要求，能更加符合时代发展的特点，性能优于集中式的处理系统，具有一定的推广应用的前景。

参考文献：

[1] 韩丽杰， 邢伟华， 苏志恒. 基于无线网络设计视频监控系统[J]. 数码世界， 2019年9期.

[2] 李强. 基于Blackfin处理器的网络视频服务系统实现[J]. 电子技术与软件工程，2016年013期.

[3] 刘鸿雁， 杨超， 崔旭. 网络软视频系统常见故障分析与处理[J]. 电力信息与通信技术，2015年10期.

[4] 李辉， 吴强， 凌志祥，等. 基于卷积神经网络的视频会议内容与质量检测系统[J]. 福建电脑， 2018年5期.