张舜

【摘 要】目前的分布式转码系统忽略了计算节点的处理能力，分配的转码任务量过大，容易对转码造成影响，降低转码效率。文章针对这一问题，提出一种新的算法，即任务调度算法，建立在Hadoop平台上进行视频转码，将视频分成不同段，根据复杂程度进行转码映射，提高转码处理能力，让节点获得更多视频块，使所有的计算阶段能够达到平衡。经过实验证明，基于Hadoop视频转码的任务调度算法能够显著提升转码效率，改善转码系统的性能。

【关键词】Hadoop;视频转码;任务调度算法

【中图分类号】TP338.8 【文献标识码】A 【文章编号】1674-0688（2018）12-0067-02

如今，网络视频快速发展，如何为移动终端提供可靠的服务是目前互联网视频转码面临的一项严峻挑战。视频数量不断增加，导致传统视频转码技术的存储能力及处理能力无法满足人们的需求，因此研究人员提出了一种Hadoop视频转码系统以提高视频转码效率。现有的视频转码系统没有将机器处理转码任务量考虑其中，一种关于任务调度的算法将输入的视频进行分段处理，然后根据视频的复杂程度进行映射，减少转码时间，提高转码效率。

1 Hadoop

Hadoop是一个转码框架，用于处理海量数据，具有可用性、健壮性及可扩展性特点。Hadoop平台由HDFS和MapReduce两部分共同组成Hadoop系统。MapReduce计算框架搭建在HDFS分布式文件系统之上，用户只需要编写map（）函数与reduce（）函数即可完成分布式程度的设计。HDFS最基本的内容是数据块，数据块可以保存比较大的文件、简化存储系统、便于数据复制等。……