刘艾侠，刘丹丹 (.宝鸡职业技术学院，宝鸡 7203； 2. 中国科学院大学，北京 00039； 3.中国科学院 国家授时中心，西安 70600)

基于Minhash的协同过滤技术在推荐系统中的应用

刘艾侠1，刘丹丹2，3
(1.宝鸡职业技术学院，宝鸡 721013； 2. 中国科学院大学，北京 100039； 3.中国科学院 国家授时中心，西安 710600)

传统协同过滤的推荐机制应用在大规模数据上时，如果在要保证推荐质量会导致占用运行时间和存储空间的增加。研究分析了Minhash在大规模数据上的降维原理，论证了将minhash应用到协同过滤，设计并实现基于Minhash算法的协同过滤模型。实验结果表明Minhash能在保证推荐质量的前提下很大程度上缩短计算时间和存储空间，能有效地扩展到大规模数据集。

协同过滤； 大规模数据集； Minhash

0 引言

协同过滤技术基于寻找相似邻居来预测目标用户将来行为，在数据集不大，并且类别数量或者称为数据维度不高的情况下，通过实验能证明算法的推荐结果的精准度比较高，质量比较好。但是该算法的运算依赖于内存，并具有平方数量级以上的复杂度，当类别数量很高的时候，即使很小数量级的数据，算法的运算时间都会远远超出能接受的范围，因此很难扩展到大规模的数据集上。本文针对协同过滤技术的这点局限性，利用基于概率的聚类方法——minhash来完成高维度数据集的降维工作，从而降低在给目标用户寻找最近邻居花费的时间，提高运算效率。

1 基于Minhash的协同过滤

Minhash是一种概率的聚类方法，根据两个用户项目行为集合的交集，有一定概率将两个行为分到同一个组。……