刘晓飞

【摘要】    随着科技的快速发展，信息激增，人类开始进入了大数据时代，大数据技术开始广泛应用于电信，金融，零售，物流等行业，为了精准的发掘数据潜在的巨大价值，就需要保证数据采集环节的准确和稳定。阐述了大数据时代下数据的复杂性和多变性，并结合电商大数据平台建设与应用中数据采集所面临的巨大挑战，分别针对不同的场景以及数据类型提出对应的数据采集方案。

【关键词】    大数据时代    电商大数据    数据采集

引言：

大数据时代背景下，信息种类越来越丰富，数据产生的速度更是超乎想象。传统的数据分析已经无法处理如此多的数据，众多企业开始建立自己的数据仓库。对数据进行多角度的分析，以期实现数据的最大价值。但是数据仓库的创建以及上层业务的精准分析都需要依赖真实可靠的数据，本文的目的就是以电商大数据平台为例让人们了解大数据采集的关键技术以及不同场景下的数据采集方式。

一、大数据时代

随著科技的发展，信息交互越来越频繁，数据开始呈现“爆炸式”增长，人类逐渐从IT时代走向DT时代。如果说在IT时代是以自我控制、自我管理为主，那么到了DT（Data Technology）时代，则是以服务大众，激发生产力为主。以互联网（或者物联网）、大数据和人工智能为代表的新的技术革命正在渗透至各行各业。

在DT时代，数据作为一种新的能源，正在发生着聚变，变革着我们的生产和生活，催生了当下大数据行业发展热火朝天的盛景。……