大数据流式计算环境下的阈值调控节能策略
2017-09-03蒲勇霖王跃飞侯冬雪
蒲勇霖,于 炯,,王跃飞,鲁 亮,廖 彬,侯冬雪
(1.新疆大学 软件学院,乌鲁木齐 830008; 2.新疆大学 信息科学与工程学院,乌鲁木齐 830046; 3.新疆财经大学 统计与信息学院,乌鲁木齐 830012)
大数据流式计算环境下的阈值调控节能策略
蒲勇霖1,于 炯1,2*,王跃飞2,鲁 亮2,廖 彬3,侯冬雪1
(1.新疆大学 软件学院,乌鲁木齐 830008; 2.新疆大学 信息科学与工程学院,乌鲁木齐 830046; 3.新疆财经大学 统计与信息学院,乌鲁木齐 830012)
(*通信作者电子邮箱yujiong@xju.edu.cn)
在大数据实时分析计算领域,流式计算的重要性不断提高,但是流式计算平台处理数据的能耗不断上升。针对这一问题,改变流式计算中节点对数据的处理方式,提出了一种阈值调控节能策略(ESTC)。首先,根据系统负载差异确定工作节点的阈值情况;其次,通过工作节点的阈值对系统数据流进行随机选择,确定不同数据处理情况调节系统的物理电压;最后,根据不同的物理电压确定系统功率。实验结果和理论分析表明,在20台普通PC机构成的流式计算集群中,实施ESTC的系统比原系统有效节能约35.2%;此外,ESTC下的性能与能耗的比值为0.080 3 tuple/(s·J),而原系统性能与能耗的比值为0.069 8 tuple/(s·J)。ESTC能够在不影响系统性能的前提下,有效降低了能耗。
流式计算;阈值;负载差异;随机选择;系统性能
0 引言
随着物联网、云计算、车联网、深度学习、量子通信、大数据等新兴技术的发展[1],且大规模的数据中心在全球范围内进行部署,其高费用、高污染、高能耗等问题也日益突出[2]。因此,如何更绿色更节能地处理新兴信息技术的能源问题,一直是世界广大研究者共同探讨的热点。……
