陆君之

中国电子科技集团第二十八研究所

0 引言

随着人民生活水平的不断提高，观看电影已经成为了大家日常生活中不可或缺的娱乐方式之一。我国作为全球第二大电影市场，电影产业规模一直保持着每年30%左右的增长，焕发出旺盛的生命力和巨大的可持续发展潜力。然而整个市场的电影质量却是参差不齐，每年都会有大量大家俗称的“烂片”上映，并且各大电影评分网站存在制片公司雇佣“水军”刷评分的现象，导致观众在观看前没有信息渠道真正判断一部电影的好坏，电影评分预测模型可以对尚未上映的电影做出客观的评分，供观众进行参考。

本文主要结构如下：第1节介绍本实验所使用的相关技术和资源介绍；第2节介绍基于随机森林算法的电影评分预测模型的建模过程；第3节是实验内容与结果的分析，最后一节是总结与展望。

1 相关介绍

1.1 Spark MLlib

Spark是一个用来实现快速而通用的集群计算的开源簇运算框架。它扩展了广泛使用的MapReduce计算模型，适用于各种原先需要不同分布式平台的场景，大大减轻了原先需要对各种平台分别管理的负担。spark可以在内存中进行计算，因而它比MapReduce更加高效，即使在硬盘上进行运算，它也比MapReduce更快。

MLlib是Spark中提供机器学习函数的库，它是专为在集群上运行的情况而设计的。MLlib可使用许多常见的机器学习和统计算法，这些算法用来在集群上针对分类、回归、聚类、协同过滤等，简化大规模机器学习时间。其中一些算法也可以应用到流数据上，例如使用普通最小二乘法或者K均值聚类（还有更多）来计算线性回归。……