霍　达，宋　利

(上海交通大学 电子工程系 图像通信与网络工程研究所，上海 200240)

基于Celery的分布式视频计算处理框架

霍达，宋利

(上海交通大学 电子工程系 图像通信与网络工程研究所，上海 200240)

摘要:为了实现能够快速高效的使用计算集群解决视频计算问题，提出一种基于Celery的分布式视频处理框架，该框架借鉴了Hadoop的架构设计，提出了API服务器层，JobTracker和TaskTracker的三层架构，并对其进行了优化使之能够兼容计算资源与存储资源的横向扩展和新的计算应用的纵向扩展。详细描述了框架的架构设计和优化设计。实验数据证明分布式计算框架能够高效地利用多节点实现视频计算。

关键词:分布式计算；云计算；转码

1分布式视频计算研究现状

分布式计算由于其易于进行横向扩展的特性，通常被用来处理海量数据。目前也有不少研究试图采用分布式计算框架Hadoop[1]进行视频处理，基于Hadoop的转码器都采用了类似的架构：使用FFmpeg分割合并视频，同时在Map任务中调用FFmpeg进行转码。为了提高基于Hadoop的视频计算框架的效率，研究者们做了许多工作，比如文献[2]分析了在分布式转码中数据本地化的重要性，据此提出了基于数据本地化的调度策略，文献[3]提出了一种能够负载均衡的文件存储系统，使用该系统能够提高分布式文件系统的工作效率，文献[4]提出了一种任务槽配置算法，能够使得I/O资源和计算资源能够并行化利用，有效提高了转码系统的整体效率。这些策略试图集中解决两个问题，其一是工作节点中I/O等待和CPU计算的并行化设计，其二是提高HDFS的读写效率，其优化的思路值得借鉴，但是限于Hadoop的架构限制，很难取得进一步的优化。……