赖丽君

（泉州经贸职业技术学院信息技术系，福建泉州362000）

推荐系统通过分析海量信息来挖掘、 学习用户的兴趣或喜好，结合推荐技术及系统支撑框架，为每个用户推荐其感兴趣的产品或内容。 目前解决“信息过载”的两种重要的手段即是利用推荐系统与搜索引擎[1],两者均能协助用户获取感兴趣的内容， 不同于搜索引擎， 推荐系统在进行深度挖掘、分析用户数据，推测用户兴趣和喜好时是通过选用合适的推荐算法来进行处理， 把用户主动搜索的方式转化为系统主动推送其感兴趣的内容或产品，为用户提供智能化、个性化的推荐服务。

1 Spark 框架

推荐系统目前已经广泛应用于电影、 音乐、电子商务等网站中，并取得较好的推荐效果，推荐系统以往是基于Hadoop 框架下的MapReduce 的分布式计算平台的，能解决海量数据的高效存储和分布式计算问题， 但是随着网络和大数据技术的发展，对推荐系统的计算速度、实时性要求更高，而传统的基于Hadoop 计算平台不能满足需要，Spark 框架以其计算速度快、 实时性强等特点， 逐渐取代MapReduce 成为目前热门的推荐系统框架。

Apache Spark 是用于针对大规模数据处理的一种统一分析引擎[2]。 Spark 由Scala 语言实现，支持Python、Java、Scala 等语言开发， 可以和其他大数据工具如Hadoop、Kafka 等很好地整合。 Spark是基于内存计算的，且具有易操作的特点，能够快速、 简洁、 高效的进行并行化应用的开发[3]。 与Hadoop 相比，Spark 因其数据结构RDD 强大的计算能力， 对于处理数据挖掘与机器学习算法更加适合[4]，能够更高效地实现MapReduce 的操作。……