赵亮 梁胜彬 楚广琳

摘要：该文在开篇介绍了大数据的基本内涵、主要特点和研究价值。随后浅述了数据挖掘的三种工具和四类主要算法，并在第三部分简述了一种以Spark为基础的数据挖掘算法的模型结构。

关键词：大数据挖掘；数据挖掘引擎；Spark模型优化

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）24-0261-01

随着信息技术的不断发展，互联网科技的不断进步，人们日常生活中接触到的数据呈爆炸式增长，现有的很多数据已经超过了传统软件的处理能力，人们将这类数据称为大数据。大数据的特点也十分明显，例如其数量庞大、种类繁多、产生的速度十分快、研究价值极大等。也正是基于这几点，所以现在很多研究机构都对大数据的相关处理进行分析。例如，在生物医药方面，大数据可以帮助医生快速判断病情；在商业方面，采用大数据相关技术可以根据用户搜索的记录来向商家提供用户的偏好，提高用户的购买欲望；在交通运输上，采用大数据相关技术可以动态观测庞大的交通信息网，为用户出行及时规避拥堵路段。因此研究大数据是时代科技进步的趋势。

1 数据挖掘概述

1.1 数据挖掘的主要算法和工具

现代开发出来的数据挖掘算法可以分为以下四类：（1）关联规则分析算法：此类算法通常是用来寻找两类关联性较大的数据，例如在购买早餐时，发现购买了包子的人都会选择购买一包餐纸，因此在包子铺里面提供餐纸会提高两者的销量。……