白玉辛，刘晓燕

（昆明理工大学，云南 昆明 650500）

0 引言

大数据的时代已经悄然来临，信息技术发展上升到了一个新的历史阶段，影响着社会生产模式和人们生活的方方面面。我国高度重视大数据技术的研究和产业发展，把大数据技术研究纳入国家战略发展的重要项目，以期在“第三次信息化浪潮中”占得先机、引领市场。近年来，华为公司提出5G概念并将其投入生产实践，使得5G 网络逐步取代第四代移动通信网络，峰值理论传输速度可达10 Gb/s，比4G 网络的传输速度快数百倍。可见，大数据正在改变着人们的生活、工作和思想[1-2]。

2004 年Google 的3 篇 论 文MapReduce[3]、GFS[4]和BigTable[5]开启了针对大数据问题的关键技术研究。Cutting 等人根据论文的描述实现开源的MapReduce 计算框架，将其和NDFS 结合在一起，使其成为今天熟知的Hadoop，并在2008 年成为Apache软件基金会旗下的顶级项目，命名为Hadoop[6]。

2008 年，柏林理工大学开发了一套大数据处理平台，此为Flink 的前身。随后，在2014 年被Apache 孵化器所接受，然后迅速成为阿帕奇基金会（Apache Software Foundation，ASF）的顶级项目之一。Flink 是一个用于分布式数据处理的开源平台，可以用于Google 数据流模型[7]。它使用户能够编写可以分布在多个工作节点的程序，使得可以比单个计算机更快地处理大规模数据集。Flink 核心是一个流式的数据流执行引擎，提供抽象层的API，以便用户编写分布式任务。目前，互联网领域的实时搜索、数据平台整合、数据分析和机器学习任务等，都可以在Flink 平台上运行。

Flink 和MapReduce 相比较具有各种优点，但Flink 始终是一款大数据的计算框架，与Hadoop 中的MapReduce 具有类似的数据处理功能，都是拿来做数据处理的计算引擎。……