张 健, 丁世飞,3, 张 楠, 杜 鹏, 杜 威, 于文家

1(中国矿业大学 计算机科学与技术学院,江苏 徐州 221116)

2(矿山数字化教育部工程研究中心,江苏 徐州 221116)

3(中国科学院 计算技术研究所 智能信息处理重点实验室,北京 100190)

1 引 言

RBMs、基于 RBMs的拓展模型及其应用是本文综述的重点.从目标函数的角度来看,在基于极大似然估计的RBMs中需要计算由配分函数产生的模型期望,而配分函数的计算需要对所有节点的状态求和,其计算复杂度极高,因此,基于极大似然估计的精确计算是不可行的.在基于近似计算的训练方法中,大致可分为采样算法和变分推断(variational inference)两种[15,16].采样算法的基础是马尔可夫链,其目标是极大化似然函数(极小化KL散度),几种比较有效的采样方法为:持续的马尔可夫链(persistent Markov chain)[17]、对比散度(contrastive divergence,简称CD)算法[15]、持续的对比散度(persistent contrastive divergence,简称PCD)算法[18]以及基于快速权值的PCD(fast persistent contrastive divergence with,简称FPCD)算法[19]等.为了促进马尔可夫链收敛,模拟退火和模拟回火算法被应用于采样中[20-23].当可见层单元的激活不再条件独立时,可以使用混合的蒙特卡罗算法替代吉布斯采样.RBMs另一种有效的训练算法是变分推断,在变分推断中,假设存在一个近似分布q,其目标是最小化RBMs联合概率分布和近似的后验分布q之间的KL散度,常用的变分推断方法有平均场算法(mean-field method)等[24].另一种思路是修改 RBMs模型训练的目标函数,极大似然估计等价于最小化模型分布和数据分布之间的KL散度,KL散度是f散度的一种特殊形式,可以有效地缩小两个分布之间……