基于折叠技术的大数据样本洗牌算法研究
2021-06-03刘涵阅张春生
计算机技术与发展 2021年5期
关键词:效率
李 庆,刘涵阅,张春生
(内蒙古民族大学 计算机科学与技术学院,内蒙古 通辽 028043)
0 引 言
大数据分析是目前研究和应用的热点,近几年在大数据分析领域的研究取得了长足的发展,但大数据分析的效率问题仍然是发展的瓶颈。舍恩伯格和库克耶指出:大数据不用随机分析法这样的捷径,而采用所有数据的方法。所谓“所有数据”是一种相对的说法,但在问题思路上,似乎又回转向了“全面调查”,数据科学家甚至提出了“样本=总体”的准则。
对“样本=总体”的观点存在争议,事实上不可能完全利用存在无效信息的全部大数据进行分析,因此采样调查仍然具有可行性。采样调查强调的是“窥一斑而知全豹”,从充分均匀的样本中选取一部分,就能有效推断总体的情况[1-6]。
但在大数据时代,面对大量的数据及源源不断的数据流,如何科学地从中选取合适的样本,从而达到保证采样调查样本的精度和统计分析的目的,这是大数据时代下采样调查面临的最大问题。另外,采样后的局部数据是否能真实反映全局数据的规则也是探讨和研究的一个重要课题。一个潜在的解决方案是给出近似结果,也就是由抽样产生的局部数据生成的隐知识来近似表示全局的隐知识。
得到正确可用的局部数据的前提是要有一个好的大数据洗牌算法,鉴于随机抽样算法存在样本分布不够理想的现实[7-11],该文首先提出一种基于折叠技术的洗牌算法。该算法来源于生活中的扑克洗牌原理,算法简单易行,不受时间种子的影响,具有较高的时间效率、离散度和均匀度。……
登录APP查看全文
