APP下载

浅析大数据挖掘中抽样估计法的应用

2019-10-21刘逸萱

现代信息科技 2019年21期

摘  要:信息技术的发展使我们进入了大数据时代,海量、异构的大数据挖掘给我们提出了新的挑战。但是,发展大数据并不应该以“更大、更多、更快”为终极目标,而应该走成本合理、惠及大众、公正法治的发展道路。也就是说我们不应完全否认抽样估计的作用,相反的,树立传统的抽样理念并合理应用抽样技术才是大数据挖掘的精髓。

关键词:大数据挖掘;抽样数据;抽样估计

中图分类号:TP311.13       文献标识码:A 文章编号:2096-4706(2019)21-0076-03

Abstract:The development of information technology has brought us into the era of big data. Massive and heterogeneous data mining has brought us new challenges. However,the ultimate goal of big data development should not be “bigger,more and faster”,but should take the development path of reasonable cost,benefit the public and just rule of law. That is to say,we should not totally deny the role of sampling estimation. On the contrary,the essence of big data mining is to establish the traditional sampling concept and apply sampling technology reasonably.

Keywords:big data mining;sampling data;sampling estimation

0  引  言

朋友圈知道,你今天心情怎样;支付宝知道,你买了什么东西,花了多少钱,近期准备买什么;知乎、今日头条知道,你喜欢浏览哪些帖子和新闻;优酷和爱奇艺知道,你喜欢看什么视频;饿了么知道,你喜欢什么菜系和口味;等等。

與以往相比,人们的生活已发生了根本性的变革,这就是大数据时代,不同领域的大数据已对全球范围生产、流通、分配、消费等诸多领域都产生了重要的影响。随着手机APP、各种传感器和安全监视器等基于互联网的硬件和软件的不断普及,来自不同领域、不同过程的数据不断产生,除了数据之外,更多的还包含了文字、图像、音频等类型数据。

1  何为大数据挖掘

1.1  大数据

大数据又称海量数据,是指以不同形式存在于数据库、网络等媒介上的丰富且巨大的数据。其基本特征包括以下几个方面。

(1)Volume:体量巨大,可以是TB级别,甚至可以是PB级别、EB级别。随着数据存储能力的提升,人们衡量数据规模的尺度也在不断的增加。

(2)Variety:数据类型繁多,结构化数据之外,还包含了更多的非结构化数据和半结构化数据。……

登录APP查看全文