张 健,丁世飞,丁 玲,张成龙

1(中国矿业大学 计算机科学与技术学院,江苏 徐州 221116)

2(矿山数字化教育部工程研究中心,江苏 徐州 221116)

3(中国矿业大学 徐海学院,江苏 徐州 221008)

近年来,深度学习引起了广泛关注.基于概率图和神经网络的受限玻尔兹曼机(restricted Boltzmann machine,简称RBM)、变分自编码(variational autoencoder,简称VAE)和生成对抗网络(generative adversarial network,简称GAN)被广泛应用于图像分类和图像生成任务中[1,2].与此同时,近年来对RBM 的研究遇到了一些困难[3,4],其原因在于,其他方法、特别是GAN 在实践中效果更好.事实上,RBM 及其衍生模型一般都有足够的特征表达能力来学习复杂的数据分布,其应用和拓展上的困难往往出现在训练过程中,RBM 训练需要显式的激活概率和梯度表达式.因此对于RBM 而言,在保证显式梯度前提下构建有效的方法来学习数据分布是比较困难的.为了建模实值数据,人们提出了多种实值RBM 模型[5-7].但是RBM 模型的特征表达问题和深度拓展问题一直没有得到很好的解决.具体而言,RBM 最常用的训练算法是基于Gibbs 采样的对比散度算法(contrastive divergence,简称CD)算法,而在CD 算法中,可见层单元的状态x˜总是从条件概率p(x|h)中采样得到,因此,一个充分参数化且易学习的条件概率p(x|h)对于建模数据分布而言是非常重要的.通常我们希望可见层单元的边缘概率和条件概率具有足够的表达能力,从而最大程度地拟合数据分布.然而在大多数RBM 中,隐藏层单元是二值的,二值隐藏层单元限制了RBM 对可见层单元条件概率的参数化能力,因为可见层单元……