基于狄利克雷过程高斯混合模型的变分推断
2021-09-29万志成
万志成,郑 静
(杭州电子科技大学经济学院,浙江 杭州 310018)
0 引 言
高斯混合模型(Gaussian Mixture Model,GMM)是一种常用的统计建模工具,通过多个高斯分量混合来描述一个复杂的数据分布,具有易处理的概率密度函数,可以得到显式表达式,广泛应用于机器学习和数据挖掘等领域。马敬山等[1]将GMM与反向传播神经网络(Back Propagation Neural Network, BPNN)结合起来,提出一种针对质谱数据的三分类模型。欧丰林等[2]融合GMM和深度学习算法实现了高效目标跟踪。何冰倩等[3]运用改进的GMM对视频中的人体动作进行识别,扩展了GMM的使用场景。然而,在有限的高斯混合模型建模过程中,需要确定适当数量的混合分量,分量个数过多或过少都会导致过拟合或欠拟合。解决GMM选择问题的主要方法包括确定性方法和贝叶斯方法。确定性方法主要是在期望最大化(Expectation Maximization, EM)框架下,通过极大似然估计来优化模型的似然函数[4]。贝叶斯方法中,最常用的是选定贝叶斯信息准则(Bayesian Information Criterion, BIC)来确定模型的复杂度[5]。上述2种方法都是通过比较多个模型的复杂度来选择模型,可能导致过拟合或欠拟合。与之不同的非参数贝叶斯方法则通过拟合单个模型,并根据观测数据来调整自身复杂度,避免手动进行模型选择的同时加快了收敛速度[6-7]。Rasmussen[8]将有限高斯混合模型与狄利克雷过程结合起来,提出一种无限高斯混合模型,并通过蒙特卡洛马尔可夫链(Markov Chain Monte Carlo, MCMC)来解决模型参数的估计问题。尽管MCMC方法能有效估计参数,但收敛速度较慢,计算成本过高。变分贝叶斯方法作为一种强大的确定性近似技术,计算成本小,收敛速度快,近年来备受关注。……
