鲁棒概率矩阵三分解*
2020-07-10史加荣陈姣姣
史加荣,陈姣姣
1.省部共建西部绿色建筑国家重点实验室/西安建筑科技大学,西安710055
2.西安建筑科技大学 理学院,西安710055
1 引言
在人工智能与大数据时代,推荐系统、图像处理和运动结构重建等诸多应用领域的科学研究都是在处理数据矩阵。这些矩阵不仅规模庞大,还可能伴随数据缺失、被污染和存在异常值等情况。解决上述问题的常用方法是低秩分解,例如主成分分析(principal component analysis,PCA)[1]、奇异值分解(singular value decomposition,SVD)[2]和非负矩阵分解(non-negative matrix factorization,NMF)[3]等。传统的矩阵分解方法一般采用l2范数来度量逼近误差,但它对数据中的异常值具有很高的敏感性。
为了克服PCA 对稀疏噪声的敏感性,文献[4]提出了鲁棒主成分分析(robust PCA,RPCA),该模型假设噪声是稀疏的,通过求解非凸的l1范数最优化问题来获得低秩逼近。随后,一些学者研究了RPCA的凸优化模型[5-8],并提出了求解模型的主成分追踪方法(principal component pursuit,PCP)[9]。在鲁棒主成分分析等鲁棒矩阵分解模型中,仍假设低秩矩阵的元素是确定性的,这可能会导致过拟合现象,也不利于研究数据的生成方式。为了避免上述弊端,概率低秩矩阵分解模型假设低秩成分和噪声矩阵均服从某种随机分布[10]。对于概率低秩矩阵分解模型,可以通过期望最大化(expectation maximization,EM)算法、Gibbs 采样或变分贝叶斯来求解模型参数[11-20]。为了增强模型的鲁棒性,可假设噪声矩阵的元素服从拉普拉斯分布[21-22]。
概率矩阵分解(probabilistic matrix factorization,PMF)[23]和鲁棒概率矩阵分解(robust PMF,RPMF)[24]是两种重要的概率分解模型。在PMF 中,均假设低秩矩阵和噪声矩阵服从高斯分布。RPMF 基于马尔科夫链蒙特卡洛(Markov chain Monte Carlo,MCMC)技术,能达到比PMF 更高的预测精度。……