白姗姗,史加荣

(西安建筑科技大学 理学院,陕西 西安 710055)

非负矩阵分解(Non-negative matrix factorization,NMF)将非负数据表示为非负基下的非负线性组合,已被广泛应用于图像处理、文本数据挖掘等诸多领域[1,2]。面对结构更加复杂的高维数据,若仍运用NMF方法将待研究的数据向量化,将会导致局部数据信息缺失,破坏数据的空间几何结构[3]。为此,Welling等[4]提出了具有更高数据压缩性能的非负张量分解。

现有的张量分解一般分为两类:标准分解/平行因子分解(CANDECOMP/PARAFAC,CP分解)和Tucker分解[5]。这两种分解模型分别可看作奇异值分解(Single value decomposition,SVD)和主成分分析(Principle component analysis,PCA)的高阶推广,并且CP分解是Tucker分解模型的特例。非负Tucker分解(Non-negative Tucker decomposition,NTD)将高维非负张量分解为一个低维非负核心张量与一系列非负模式矩阵的模式积[6]。NTD使模型具有较强的可解释性,近年来受到很大关注,已成功应用于计算机视觉[7]与信号处理[8]等领域。

Kim等[9]最先引入NTD的乘性更新(Multiplicative update,MU)算法,Hazan等[10]提出了具有梯度思想的MU算法。尽管现有的算法取得了较好的效果,但它们收敛速度较慢,尤其不适用于高维数据。随着深度学习的迅速兴起,随机梯度下降算法(Stochastic gradient descent,SGD)已成为求解大规模机器学习优化问题的主流方法[11-14]。该算法具有参数更新过程简单、收敛速度快且计算复杂度低等特点。尽管SGD具有许多吸引人的特性,但到目前为止,尚未见到将该算法扩展到非负Tucker分解模型的研究。因此,本文基于随机梯度下降思想提出了求解非负Tucker分解的一种新算法:随机方差缩减乘性更新(Stochastic variance reduced multiplicative update for NTD,SVRMU_NTD)。该算法将随机方差缩减梯度和乘性更新规则相结合,对非负的高维数据进行Tucker分解,可在提高张量分解性能的同时降低计算复杂度。……