MapReduce框架下的Skyline结果优化算法*
2017-02-18马学森王晓洁韩江洪王营冠
传感器与微系统 2017年2期
关键词:实验
马学森, 王晓洁, 韩江洪, 王营冠
(1.合肥工业大学 计算机与信息学院,安徽 合肥 230009;2.中国科学院 上海微系统与信息技术研究所 无线传感网络与通信重点实验室,上海 200050)
MapReduce框架下的Skyline结果优化算法*
马学森1,2, 王晓洁1, 韩江洪1, 王营冠2
(1.合肥工业大学 计算机与信息学院,安徽 合肥 230009;2.中国科学院 上海微系统与信息技术研究所 无线传感网络与通信重点实验室,上海 200050)
随着大数据时代的到来,数据量和数据复杂度急剧提高,Skyline查询结果集规模巨大,无法为用户提供精确的信息。MapReduce作为并行计算框架,已广泛应用于大数据处理中。本文提出了MapReduce框架下基于支配个数的结果优化算法(MR-DMN),解决了大数据环境下的Skyline结果集优化问题。大量的实验表明:算法具有良好的时间和空间效率。
大数据; MapReduce; Skyline; 支配个数
0 引 言
Skyline查询[1]是指从给定数据集中选择一组不被其他数据支配的数据,所谓支配是指一个数据在所有维度上都不比其他数据差,且至少在一个维度上优于其他数据。典型的Skyline查询例子是业务选择问题,由于经营调整,企业需要保留一些销量高且单件利润高的业务,Skyline查询的结果集是销量和利润上都不比其他业务差,且至少在一个属性上优于其他的业务。Skyline查询广泛应用于用户推荐、决策支持以及数据可视化等领域。
在现实生活中,数据在各个维度上的取值是有优有劣的,随着数据维度的增大,支配的条件越来越难满足,一个点支配另一个点的可能性越来越小,因此,结果集中将包含很多互不支配的数据点。……
登录APP查看全文
