郭子英

（北京化工大学 北京市 100029）

随着信息化技术的迭代发展，各个领域都已经开始运用信息化技术，使用数据信息的数量和种类越来越多。在当前的时代背景下，数据获取数量与途径呈现出几何增长趋势，降低了数据获取的成本。但是面对庞大的数据，如何分析和利用成为一项难题。为了在繁杂的信息当中挖掘出具有价值的信息，需要应用大数据分析与挖掘技术，构建出信息管理系统，使各项数据能够发挥出更高的价值，推动社会各行业领域高质量发展。

1 大数据技术

在大数据时代，为了更好地利用各类信息与数据，需要选择相应的大数据技术，获取具有价值的信息。目前，大数据主要包括数据采集、数据存储、基础架构、数据处理、数据挖掘以及结果呈现几项技术（如图1所示）。

图1：大数据技术主要种类

1.1 数据采集技术

在数据采集过程中，通常会运用到多个数据库，接受来自客户端或者传感器途径的信息。但是这样的大数据采集工作具有一定的难度，主要是受到了并发性高的影响。在某个特定时间段，一个网站的并发访问量很可能是其他时间段的几倍或者几十倍。这对网站系统造成了沉重的压力，甚至会导致网站运行系统的崩溃。为了促进大数据的有效分析，应当将各项数据上传至一个大型分布式数据库当中，或者导入到分布式存储集群内。在数据传输导入的过程中应当进行筛选和甄别处理，除去杂乱、无价值的信息数据，实现预处理的作用。……