L1-L1/2非负矩阵分解及算法
2022-03-21罗申星
刘 丹,罗申星
(河北工业大学 理学院,天津 300401)
0 引 言
非负矩阵分解(NMF)[1]是一种有效的降维技术,它将非负矩阵V∈R+m×n近似分解成低秩非负矩阵W∈Rm×r和H∈Rr×n++的乘积,即

其中r<<min{m,n}.NMF具有存储空间小、实现简单等优点,并已成功应用于信号处理[2]、医学[3]、计算机视觉[4]和聚类[5]等.
为了得到矩阵W和H,人们通常用Frobenius范数度量V与WH的距离

其中W≥0和H≥0表示W和H的元素是非负的.
由于稀疏性便于数据的分析以及图像的特征提取,Hoyer等[6]考虑稀疏NMF,在问题(1)中引入L1正则项,提出L1-NMF模型

其中λ﹥0,,i=1,2…r,j=1,2…n.因为H≥0,所以.
Xu等[7]发现与L1正则项相比,引入L1/2正则项能得到更稀疏的解.进一步,Cui等[8]在问题(1)中引入L1/2正则项,得到L1/2-NMF模型

为了得到更稀疏的系数矩阵H,本文在模型(1)中引入L1和L1/2正则项,提出L1-L1/2-NMF模型,这样可以同时保留这两个正则项带来的稀疏性效果,即
其中参数λ﹥0,β﹥0.我们提出两种算法求解L1-L1/2-NMF:(1)梯度下降算法;(2)受文献[9]的启发,基于交替非负最小二乘算法框架[10],提出块坐标下降算法.数值实验中,测试了ORL、CBCL、YALE和Extended-YALE 4个人脸数据集.实验结果表明,与其他稀疏NMF模型相比,求解L1-L1/2-NMF得到的矩阵更稀疏,相对误差更小.
本文将详细介绍求解问题L1-L1/2-NMF的梯度下降算法和块坐标下降算法.同时给出相应的数值实验结果,并对结果进行分析.
1 稀疏非负矩阵分解算法
1.1 梯度下降算法
下面给出GDSNMF算法的推导过程.我们对问题(4)中H的列H:j求导,求导公式为



表1给出了GDSNMF算法的详细框架.

表1 GDSNMF算法的详细框架
1.2 块坐标下降算法
基于交替非负最小二乘算法框架,提出一种块坐标下降算法(CDSNMF)求解L1-L1/2-NMF.算……
