来学伟

（三门峡职业技术学院 信息传媒学院，河南 三门峡 472000）

许多概率模型是很难训练的，其原因是很难进行推断。在深度学习中，我们通常有一个可见变量v的集合和一个隐变量h的集合。推断的挑战往往在于计算p(h|v)或者计算在分布p(h|v)下期望的困难性。而这样的操作在一些任务比如最大似然学习中往往又是必需的[1]。

1 推断是一个优化问题

为了构造这样一个优化问题，假设我们有一个包含可见变量v和隐变量h的概率模型。我们希望计算观察数据的概率对数logp(v;θ)。有时候如果边缘化消去h的操作很费时的话，我们通常很难计算logp(v;θ)。作为替代，我们可以计算一个logp(v;θ)的下界L(v,θ,q)。这个下界叫作证据下界（Evidence Lower Bound，ELBO）。这个下界的另一个常用名字是负变分自由能（Variational Free Energy）。具体地，这个证据下界是这样定义的：

L(v,θ,q) =logp(v;θ)−DKL(q(h|v)||p(h|v;θ)) （1）在这里q是关于h的一个任意概率分布。

因为logp(v)和L(v,θ,q)之间的距离是由KL散度来衡量的。因为KL散度总是非负的，我们可以发现L小于等于所求的概率的对数。当且仅当q完全相等于p(h|v)时取到等号。

令人吃惊的是，对某些分布q，L可以被化得更简单。通过简单的代数运算我们可以把L重写成一个更加简单的形式：

这也给出了证据下界的标准定义：

对于一个较好的选择q来说，L是容易计算的。对任意选择q来说，L提供了一个似然函数的下界。越好的近似q的分布q(h|v)得到的下界就越紧，换句话说，就是与logp(v)更加接近。当q(h|v) =p(h|v)时，这个近似是完美的，也意味着L(v,θ,q)=logp(v;θ)。

2 期望最大化

第一个最大化下界L的算法是期望最大化（Expectation Maximiza-tion，EM）算法，在隐变量模型中，这是一个非常热门的训练算法。……