李　哲，李虎俊，张天凡

(1.湖北工程学院 新技术学院，湖北 孝感 432000; 2. 湖北职业技术学院 继续教育学院，湖北 孝感 432000；

3.西北工业大学 自动化学院，陕西 西安 710072)

基于MapReduce海量视频数据并行计算系统的设计

李哲1，3，李虎俊2，张天凡1，3

(1.湖北工程学院 新技术学院，湖北 孝感 432000; 2. 湖北职业技术学院 继续教育学院，湖北 孝感 432000；

3.西北工业大学 自动化学院，陕西 西安 710072)

摘要：在总结视频图像数据处理现状的基础上，针对海量视频数据的并行化处理问题，提出一种基于MapReduce的并行计算系统设计方法。该系统使用NVIDIA JETSON TK1搭建并行计算集群，在此基础上利用Hadoop实现了MapReduce。 在此平台上设计基于CUDA的并行数据处理算法对千万条文本数据进行处理，分析了其数据装载时间、处理时间和全部任务处理时间。结果表明，该系统当前加速比约为4.73，与C/S单机相比，处理速度有较大程度的提高，为实现实时海量视频图像处理奠定了良好基础。

关键词：并行计算；海量视频数据；MapReduce；Hadoop

中图分类号：TP311.11

文献标志码：码：A

文章编号：号：2095-4824(2015)06-0026-06

收稿日期：2015-09-17

基金项目：湖北工程学院自然科学基金(2013016,201515)；湖北工程学院新技术学院自然科学基金(Hgxky14)；湖

作者简介：李哲(1986-)，男，湖北汉川人，湖北工程学院新技术学院讲师，博士研究生。

Abstract：On the summary of the status of video image processing, this paper proposes a parallel processing method for the parallel processing of massive video data which is based on parallel processing system by using the MapReduce technique. This system utilizes the NVIDIA JETSON TK1 to build parallel computation clusters and employs the Hadoop to perform the MapReduce. With the developed platform, a CUDA based parallel processing algorithm is designed to process tens of millions of text data for the analysis of the data loading time, the processing time of each task and the processing time of all tasks. The test results indicate that the acceleration rate of the system is about 4.73, which is much higher than the C/S mode in a single computer and offers a good foundation for the implementation of real-time massive video data processing.

当今，世界范围的信息化变革几乎使每个行业都面临着大数据(Big Data)问题[1]。大数据及其应用也一直是学术界关注的热点问题。由于大数据具有体量大、速度快和异构性的特点，给数据的存储、管理和分析带来了巨大挑战。特别在处理视频图像等非结构化数据方面上述问题尤为突出。……